大數(shù)據(jù)已經(jīng)成為安防行業(yè)不能不提的話題，它涵蓋了4V面向，分別是處理時(shí)效、數(shù)據(jù)格式、數(shù)據(jù)量與真實(shí)性，通過快速的采集、發(fā)現(xiàn)和分析，從大量化、多類別的數(shù)據(jù)中提取價(jià)值。安防大數(shù)據(jù)時(shí)代最顯著的特征就是數(shù)據(jù)共享，提高數(shù)據(jù)處理能力。安防行業(yè)也不例外，天網(wǎng)工程就是最具代表性的案例，近年來天網(wǎng)工程已經(jīng)在全國多個(gè)城市推廣。

　　大數(shù)據(jù)推動(dòng)存儲(chǔ)市場發(fā)展

　　近日，美國市場研究公司IDC發(fā)布報(bào)告稱，大數(shù)據(jù)技術(shù)和服務(wù)的不斷升級(jí)，拉動(dòng)全球存儲(chǔ)市場將在2011至2016年間實(shí)現(xiàn)53%的復(fù)合年增長率。在可預(yù)見的未來，多數(shù)組織產(chǎn)生、處理、存儲(chǔ)的數(shù)據(jù)都將繼續(xù)保持快速增長。“在可預(yù)見的未來，存儲(chǔ)是大數(shù)據(jù)和分析領(lǐng)域最大的基礎(chǔ)設(shè)施開支之一。”IDC存儲(chǔ)系統(tǒng)研究總監(jiān)阿西什·納卡尼說，“大數(shù)據(jù)和分析領(lǐng)域所產(chǎn)生的存儲(chǔ)開支將從2011年的3.799億美元，激增至2016年的60億美元。”

　　在受訪企業(yè)中，有68.6%在選擇存儲(chǔ)架構(gòu)時(shí)主要看重性能，有59.5%更加看重成本。接近31%的受訪企業(yè)表示，雖然尚未針對(duì)數(shù)據(jù)分析基礎(chǔ)架構(gòu)部署企業(yè)存儲(chǔ)系統(tǒng)，但準(zhǔn)備在今后6個(gè)月內(nèi)部署。

　　在實(shí)際應(yīng)用方面，63.7%的受訪企業(yè)主要借此分析運(yùn)營數(shù)據(jù)，還有53.3%主要分析交易數(shù)據(jù)。IT是數(shù)據(jù)分析基礎(chǔ)架構(gòu)的最大影響因素，遠(yuǎn)高于排名第二的運(yùn)營。有超過61%的受訪企業(yè)，將提升客戶滿意度作為數(shù)據(jù)分析方案所應(yīng)解決的最大商業(yè)挑戰(zhàn)。

　　大數(shù)據(jù)存儲(chǔ)容易出現(xiàn)問題

　　在大數(shù)據(jù)時(shí)代來臨之際，我們面臨的挑戰(zhàn)還有存儲(chǔ)問題。大數(shù)據(jù)中的大容量通?？蛇_(dá)到PB級(jí)的數(shù)據(jù)規(guī)模，那么對(duì)于海量數(shù)據(jù)存儲(chǔ)系統(tǒng)擴(kuò)展能力的要求也會(huì)很高。以國內(nèi)某省為例，公共視頻監(jiān)控已經(jīng)超過100多萬個(gè)攝像頭，總保有量近400萬，以此估計(jì)，全國攝像頭數(shù)量不少于4000萬，某投行的報(bào)告稱行業(yè)每年還在以20%加速增長，行業(yè)龍頭?？低?2年的年報(bào)披露的銷售量就達(dá)570萬套(含前后端)，增長37%。而另一個(gè)數(shù)據(jù)也很驚人，英國的攝像頭數(shù)量與人口數(shù)量之比已經(jīng)達(dá)到1：15。

　　粗略計(jì)世界至少有1億個(gè)攝像頭在角落靜靜的看著，這樣的視頻監(jiān)控將是數(shù)據(jù)的大生成器。從攝像前端的海量數(shù)據(jù)和到有效數(shù)據(jù)之間的也存在矛盾，攝像頭不停歇的工作，如實(shí)記錄鏡頭覆蓋范圍發(fā)生的一切，但對(duì)于客戶來講大部分信息是無效，有效信息可能只分布在一個(gè)較短的時(shí)間段內(nèi)，大量的數(shù)據(jù)存儲(chǔ)給數(shù)據(jù)庫帶來不小的壓力，而無效的數(shù)據(jù)更是對(duì)于資源的浪費(fèi)。

　　與此同時(shí)，存儲(chǔ)系統(tǒng)的擴(kuò)展一定要簡便，盡量能通過增加模塊或磁盤柜來增加容量，甚至不需要停機(jī)?；谶@樣的需求，客戶現(xiàn)在越來越青睞Scale-out架構(gòu)的存儲(chǔ)。Scale-out集群結(jié)構(gòu)的特點(diǎn)是每個(gè)節(jié)點(diǎn)除了具有一定的存儲(chǔ)容量之外，內(nèi)部還具備數(shù)據(jù)處理能力以及互聯(lián)設(shè)備，與傳統(tǒng)存儲(chǔ)系統(tǒng)的煙囪式架構(gòu)完全不同，Scale-out架構(gòu)可以實(shí)現(xiàn)無縫平滑的擴(kuò)展，避免存儲(chǔ)孤島。

　　大數(shù)據(jù)存儲(chǔ)平臺(tái)必須具有彈性

　　1.大數(shù)據(jù)之“大”

　　“大”是相對(duì)而言的概念。例如，對(duì)于像SAPHANA那樣的“內(nèi)存數(shù)據(jù)庫”來說，2TB可能就已經(jīng)是大容量了;而對(duì)于像谷歌這樣的搜索引擎，EB的數(shù)據(jù)量才能稱得上是大數(shù)據(jù)。

　　“大”也是一個(gè)迅速變化的概念。HDS在2004年發(fā)布的USP存儲(chǔ)虛擬化平臺(tái)具備管理32PB內(nèi)外部附加存儲(chǔ)的能力。當(dāng)時(shí)，大多數(shù)人認(rèn)為，USP的存儲(chǔ)容量大得有些離譜。但是現(xiàn)在，大多數(shù)企業(yè)都已經(jīng)擁有PB級(jí)的數(shù)據(jù)量，一些搜索引擎公司的數(shù)據(jù)存儲(chǔ)量甚至達(dá)到了EB級(jí)。由于許多家庭都保存了TB級(jí)的數(shù)據(jù)量，一些云計(jì)算公司正在推廣其文件共享或家庭數(shù)據(jù)備份服務(wù)。

　　2.有容乃“大”

　　由此看來，大數(shù)據(jù)存儲(chǔ)的首要需求存儲(chǔ)容量可擴(kuò)展。大數(shù)據(jù)對(duì)存儲(chǔ)容量的需求已經(jīng)超出目前用戶現(xiàn)有的存儲(chǔ)能力。我們現(xiàn)在正處于PB級(jí)時(shí)代，而EB級(jí)時(shí)代即將到來。過去，許多企業(yè)通常以五年作為IT系統(tǒng)規(guī)劃的一個(gè)周期。在這五年中，企業(yè)的存儲(chǔ)容量可能會(huì)增加一倍。現(xiàn)在，企業(yè)則需要制定存儲(chǔ)數(shù)據(jù)量級(jí)(比如從 PB級(jí)到EB級(jí))的增長計(jì)劃，只有這樣才能確保業(yè)務(wù)不受干擾地持續(xù)增長。這就要求實(shí)現(xiàn)存儲(chǔ)虛擬化。存儲(chǔ)虛擬化是目前為止提高存儲(chǔ)效率最重要、最有效的技術(shù)手段。它為現(xiàn)有存儲(chǔ)系統(tǒng)提供了自動(dòng)分層和精簡配置等提高存儲(chǔ)效率的工具。擁有了虛擬化存儲(chǔ)，用戶可以將來自內(nèi)部和外部存儲(chǔ)系統(tǒng)中的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)全部整合到一個(gè)單一的存儲(chǔ)平臺(tái)上。當(dāng)所有存儲(chǔ)資產(chǎn)變成一個(gè)單一的存儲(chǔ)資源池時(shí)，自動(dòng)分層和精簡配置功能就可以擴(kuò)展到整個(gè)存儲(chǔ)基礎(chǔ)設(shè)施層面。在這種情況下，用戶可以輕松實(shí)現(xiàn)容量回收和容量利用率的最大化，并延長現(xiàn)有存儲(chǔ)系統(tǒng)的壽命，顯著提高IT系統(tǒng)的靈活性和效率，以滿足非結(jié)構(gòu)化數(shù)據(jù)增長的需求。中型企業(yè)可以在不影響性能的情況下將HUS的容量擴(kuò)展到近3PB，并可通過動(dòng)態(tài)虛擬控制器實(shí)現(xiàn)系統(tǒng)的快速預(yù)配置。此外，通過HDSVSP的虛擬化功能，大型企業(yè)可以創(chuàng)建0.25EB容量的存儲(chǔ)池。隨著非結(jié)構(gòu)化數(shù)據(jù)的快速增長，未來，文件與內(nèi)容數(shù)據(jù)又該如何進(jìn)行擴(kuò)展呢?

　　3.不斷“生長”的大數(shù)據(jù)

　　與結(jié)構(gòu)化數(shù)據(jù)不同，很多非結(jié)構(gòu)化數(shù)據(jù)需要通過互聯(lián)網(wǎng)協(xié)議來訪問，并且存儲(chǔ)在文件或內(nèi)容平臺(tái)之中。大多數(shù)文件與內(nèi)容平臺(tái)的存儲(chǔ)容量過去只能達(dá)到TB級(jí)，現(xiàn)在則需要擴(kuò)展到PB級(jí)，而未來將擴(kuò)展到EB級(jí)。這些非結(jié)構(gòu)化的數(shù)據(jù)必須以文件或?qū)ο蟮男问絹碓L問?；赨nix和Linux的傳統(tǒng)文件系統(tǒng)通常將文件、目錄或與其他文件系統(tǒng)對(duì)象有關(guān)的信息存儲(chǔ)在一個(gè)索引節(jié)點(diǎn)中。索引節(jié)點(diǎn)不是數(shù)據(jù)本身，而是描述數(shù)據(jù)所有權(quán)、訪問模式、文件大小、時(shí)間戳、文件指針和文件類型等信息的元數(shù)據(jù)。傳統(tǒng)文件系統(tǒng)中的索引節(jié)點(diǎn)數(shù)量有限，導(dǎo)致文件系統(tǒng)可以容納的文件、目錄或?qū)ο蟮臄?shù)量受到限制。HNAS和HCP使用基于對(duì)象的文件系統(tǒng)，使得其容量能夠擴(kuò)展到PB級(jí)，可以容納數(shù)十億個(gè)文件或?qū)ο蟆?/p>

　　位于VSP或HUS之上的HNAS和HCP網(wǎng)關(guān)不僅可以充分利用模塊存儲(chǔ)的可擴(kuò)展性，而且可以享受到通用管理平臺(tái) HitachiCommandSuite帶來的好處。HNAS和HCP為大數(shù)據(jù)的存儲(chǔ)提供了一個(gè)優(yōu)良的架構(gòu)。大數(shù)據(jù)存儲(chǔ)平臺(tái)必須能夠不受干擾地持續(xù)擴(kuò)展，并具有跨越不同時(shí)代技術(shù)的能力。數(shù)據(jù)遷移必須在最小范圍內(nèi)進(jìn)行，而且要在后臺(tái)完成。大數(shù)據(jù)只要復(fù)制一次，就能具有很好的可恢復(fù)性。大數(shù)據(jù)存儲(chǔ)平臺(tái)可以通過版本控制來跟蹤數(shù)據(jù)的變更，而不會(huì)因?yàn)榇髷?shù)據(jù)發(fā)生一次變更，就重新備份一次所有的數(shù)據(jù)。HDS的所有產(chǎn)品均可以實(shí)現(xiàn)后臺(tái)的數(shù)據(jù)移動(dòng)和分層，并可以增加 VSP、HUS數(shù)據(jù)池、HNAS文件系統(tǒng)、HCP的容量，還能自動(dòng)調(diào)整數(shù)據(jù)的布局。傳統(tǒng)文件系統(tǒng)與塊數(shù)據(jù)存儲(chǔ)設(shè)備不支持動(dòng)態(tài)擴(kuò)展。大數(shù)據(jù)存儲(chǔ)平臺(tái)還必須具有彈性，不允許出現(xiàn)任何可能需要重建大數(shù)據(jù)的單點(diǎn)故障。HDS可以實(shí)現(xiàn)VSP和HUS的冗余配置，并能為HNAS和 HCP節(jié)點(diǎn)提供相同的彈性。大數(shù)據(jù)存儲(chǔ)平臺(tái)需要將文件、塊數(shù)據(jù)和內(nèi)容集成到一個(gè)統(tǒng)一的HitachiCommandSuite管理平臺(tái)之上，以滿足大數(shù)據(jù)處理和應(yīng)用的需求。