目前，單一數據集容量超過幾十TB甚至數PB已不罕見，其規(guī)模大到無法在容許的時間內用常規(guī)軟件工具對其內容進行抓取、管理和處理。數據規(guī)模越大，處理的難度也越大，但對其進行挖掘可能得到的價值更大，這就是大數據熱的原因。
首先，大數據反映輿情和民意。網民在網上產生的海量數據，記錄著他們的思想、行為乃至情感，這是信息時代現(xiàn)實社會與網絡空間深度融合的產物，蘊含著豐富的內涵和很多規(guī)律性信息。根據中國互聯(lián)網絡信息中心統(tǒng)計，2012年底我國網民數為5.64億，手機網民為4.2億，通過分析相關數據，可以了解大眾需求、訴求和意見。其次，企業(yè)和政府的信息系統(tǒng)每天源源不斷產生大量數據。根據賽門鐵克公司的調研報告，全球企業(yè)的信息存儲總量已達2.2ZB(1ZB等于1000EB)，年增67%。醫(yī)院、學校和銀行等也都會收集和存儲大量信息。政府可以部署傳感器等感知單元，收集環(huán)境和社會管理所需的信息。2011年，英國《自然》雜志曾出版?？赋?，倘若能夠更有效地組織和使用大數據，人類將得到更多的機會發(fā)揮科學技術對社會發(fā)展的巨大推動作用。
大的數據并不是一種特定類型的數據。每一種非結構化數據均可被視為大數據。這包括在社交網站上的數據、在線金融交易數據、公司記錄、氣象監(jiān)測數據、衛(wèi)星數據和其他監(jiān)控、研究和開發(fā)數據。大數據的量是巨大的而且是非結構化的。
1、通過隔離管理大數據存儲
如果您在您的企業(yè)中有多個存儲箱，那么將數據庫、線交易處理(OLTP)和微軟Exchange應用到特定的存儲系統(tǒng)絕對是一個好主意。而專其它存儲系統(tǒng)則用于大數據應用，如門戶網站，在線流媒體應用，等等。
如果您的企業(yè)負擔不起分隔的存儲系統(tǒng)，將特定的前端存儲端口到數據庫，OLTP，等等;致力于大數據應用到其他端口。背后的基本原理是使用專用端口，而大數據流量是以千字節(jié)或兆字節(jié)衡量，OLTP應用流量是以每秒的輸入/輸出操作(IOPS)衡量，因為數據塊的大小是比大數據更大而比OLTP應用程序更小。OLTP應用程序是CPU密集型的，而大數據應用程序更多的使用前端端口。因此，更多的端口可以專注于大數據應用。
2、大數據分析
如今，很多公司提供兼容數據管理的存儲系統(tǒng)。你應該在尋找你的大數據存儲管理解決方案時評估這些公司。如EMCIsilon的集群存儲系統(tǒng)對于大數據存儲管理是一個更好的選擇，因為在一個單一的文件系統(tǒng)中大數據能增長到多字節(jié)的數據。除了存儲，大數據管理的另一項大的挑戰(zhàn)是數據分析。一般的數據分析應用程序無法很好的處理大數據，畢竟涉及到大量的數據。
目前，諸如EMCGreenplum這樣的公司就在采用專門針對大數據的管理和分析的工具。這些應用程序運行在集群存儲系統(tǒng)上，緩解大數據的管理。建議選擇應用程序可同時工作在群集存儲系統(tǒng)，并迅速有效地分析數據。快速索引，確保元數據始終駐留在固態(tài)硬盤(SSD)，如果存儲箱為您提供了這樣的選擇的話。
管理大數據的另一個需要重點考慮的是未來的數據增長。你的大數據存儲管理系統(tǒng)應該是可擴展的，足以滿足未來的存儲需求。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團旗下的專業(yè)媒體平臺，自1994年品牌成立以來，一直專注于安全&自動化產業(yè)前沿產品、技術及市場趨勢的專業(yè)媒體傳播和品牌服務。從安全管理到產業(yè)數字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會資源以及豐富的媒體經驗，提供媒體、活動、展會等整合營銷服務。
粵公網安備 44030402000264號
