大數據的出現是資料量變累積到質變的結果。
大數據(big data),IT行業術語,是指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的大量、高成長率和多樣化的資訊資產。
大數據出現的原因:
大多數的技術突破來自實際的產品需要,大數據最初誕生於Google的搜尋引擎中。隨著web2.0時代的發展,網路上資料量呈現爆炸性的成長,為了滿足資訊搜尋的需要,對大規模資料的儲存提出了非常強勁的需要。
基於成本的考慮,透過提升硬體來解決大批量資料的搜尋越來越不切實際,於是Google提出了一種基於軟體的可靠文件儲存系統GFS,使用普通的PC機來並行支撐大規模的儲存。
存進去的資料是低價值的,只有對資料進行過加工才能滿足實際的應用需要,於是谷歌又創造了MapReduce這個計算模型,該模型能夠利用集群的力量將複雜的運算拆分到每一台普通PC上,計算完成後透過匯總得到最終的計算結果,這樣就能夠透過直接增加機器數量就獲得更好的運算能力了。
有了GFS和MapReduce之後,檔案的儲存和運算得到了解決,這時候又出現了新的問題。 GFS的隨機讀寫能力很差,而谷歌有需要一種來存放格式化資料的資料庫,原本透過單機的資料庫就能解決的問題到了谷歌那裡就悲劇了,於是神器的谷歌就又開發了一套BigTable系統,利用GFS的檔案儲存系統外加一個分散式的鎖定管理系統Chubby就設計出來了BigTable這樣一個列式的資料庫系統。
以上是大數據的出現是什麼的結果的詳細內容。更多資訊請關注PHP中文網其他相關文章!