整編/胡學慧
平安城市的大數據時代
大數據支撐平安城市應用
新一輪平安城市建設具有某些物聯(lián)網的特質,其架構分為“感、傳、知、用”四個組成部分。
在感知層,采用視頻采集設備、車載移動探頭進行信息采集;在傳輸層,構建視頻專網,實現信息的可靠傳輸;
在認知層,搭建應用支撐平臺,提供公共信息接入、信息整合、信息交換等云服務;
在應用層,提供動態(tài)監(jiān)控、預測預警、智能分析等功能。
感知層由無處不在的末端設備和設施組成,包括具備“內在智能”的傳感器、移動終端、視頻監(jiān)控系統(tǒng),在內網、專網或互聯(lián)網環(huán)境下,采用適當的信息安全保障機制,提供安全可控乃至個性化的實時在線檢測、定位追溯、應急聯(lián)動、調動智慧、預案管理、遠程控制、安全防范、遠程維保、決策支持等管理與服務功能,實現高效、節(jié)能、安全、環(huán)保的“管、控、營”一體化。
不同種類、數量眾多的末端設備和設施的接入,必然會產生大量的數據。平安城市的建設和應用離不開大數據做支撐,平安城市的應用過程實際上就是對數據采集、分析、存儲和利用的過程。如何從紛繁復雜、不同類型的結構化、非結構化數據中準確無誤的提取出有價值的信息,需要IT服務提供商打破行業(yè)壁壘,深度挖掘行業(yè)應用,使大數據在政府決策、公共安全、城市應急防控、社會公共服務等方面發(fā)揮更大的作用。
平安城市大數據的特征
現階段,平安城市系統(tǒng)大數據的特征通常用4個V來概括,即: Volume、Variety、Value、Velocity。
特征一:數據體量巨大(Volume)。以視頻數據存儲為例,一個分辨率為1920×1080的200萬像素的高清攝像機,碼流為8Mbps,每月產生的視頻數據為2.47TB。對于一個擁有10萬個攝像機的中等規(guī)模的城市而言,每個月產生的數據在250PB左右。海量的視頻數據對數據存儲、并發(fā)處理的要求極高。
特征二:數據類型多(Variety)。平安城市產生的數據由結構化數據和非結構化數據組成。其中結構化數據以文本為主,非結構化包括網絡日志、音頻、視頻、圖片、地理位置信息等。這些多類型的數據對數據的處理能力提出了更高要求。
特征三:價值密度低(Value)。價值密度是有價值的數據量與數據總量的比值,如何在平安城市產生海量的數據提取出有價值的信息是平安城市建設的關鍵所在。
特征四:處理速度快(Velocity)。目前平安城市運行中產生的數據從PB級至EB級不等,并呈快速增長趨勢,從這些海量的數據中提取數據速度的快慢決定了平安城市提供服務的效率。
大數據存儲面臨挑戰(zhàn)
分布式大數據架構
平安城市在日常應用中會產生視頻、圖片等大量數據,并且隨著時間的推移,數據量增長速度極快。通過對這些海量數據的分析和處理,提取出有價值的信息,是平安城市在公共安全、城市應急防控、社會公共服務等方面發(fā)揮作用的前提。Hadoop系統(tǒng)在處理這類問題時,采用了分布式存儲方式,提高了讀寫速度,并擴大了存儲容量。Hadoop是一個能夠讓用戶輕松架構和使用的分布式計算平臺。用戶可以輕松地在Hadoop上開發(fā)和運行處理海量數據的應用程序。
大數據的存儲與管理
大數據給傳統(tǒng)的數據存儲管理方式帶來了嚴峻的挑戰(zhàn),關系型數據庫在容量、性能、成本等多方面都難以滿足大數據管理的需求。云數據庫可以不受任何部署環(huán)境的優(yōu)勢,隨意地進行拓展,進而為客戶提供適宜其需求的虛擬容量,并實現自助式資源調配和自助式使用計量。NoSQL數據庫適合于以下場景,即龐大的數據量、極端的查詢量和模式演化NoSQL數據庫通過折中關系型數據庫嚴格的數據一致性管理,在可擴展性、模型靈活性、經濟性和訪問性等方面具備很大的優(yōu)勢,可以更好地適應大數據應用的需求,成為大數據時代最重要的數據管理技術。這樣的云數據庫需滿足以下幾個方面:
高并發(fā)讀寫:對平安城市產生的海量數據,需要具有高并發(fā)讀寫的能力,需要能夠處理PB級的數據,同時應對百萬級的流量;
高效率存儲和訪問:存儲適應不同數據類型,盡量簡化數據操作,提升效率;
高可擴展性和高可用性:支持水平擴展,可簡單的通過添加服務節(jié)點來擴展數據容量和負載能力,數據庫升級不影響服務持續(xù);
降低建設與運維成本:在建設期的軟硬件成本和運維期產生的人力成本都要求有大幅降低。
西部數據——大數據時代的主角
平安城市的建設是當前國家城市發(fā)展的重點議題,不論是新技術的應用和改進,還是數據的安全存儲,都是地方政府以及公安等關聯(lián)部門需要考慮的重點要素。
硬盤是平安城市大數據中心的核心部件,不僅關系到云計算與大數據的服務、計算和性能,更關系到整個云數據中心平臺的TCO。平安城市跨入云計算和大數據時代后,爆炸式數據的增長對容量要求越來越大,以及不斷增長的數據備份、歸檔等需求,這些快速增長的需求將以存儲立業(yè)的西部數據推到平安城市建設的舞臺中央。
“眾所周知,在平安城市的應用中,數以萬億計的數據會產生,無論是從數據量還是存儲數據類型、存儲時間等方面來說,都是計算機私人用戶無法可比擬的。“西部數據在存儲領域擁有領先的技術和客戶資源,經過多年的合作和實際應用的反饋,能夠充分了解用戶的需求,并在產品研發(fā)中以實現。最新上市的西數紫盤是專為安防監(jiān)控設計的產品,在使用中能夠大大減少丟幀率,另外最高可支持32路視頻,大大提高效率的同時更可實現節(jié)能,更支持高清視頻技術, 西數紫盤穩(wěn)定可靠的效能更是行業(yè)領先。”西部數據中國區(qū)業(yè)務經理俞稚鷗先生在受訪中提到,“此外,西部數據攜手??低?,打造HV78專屬解決方案硬盤以及打包整合計劃。我們從性能、兼容性以及可靠性各個方面去滿足當前智慧城市對安防監(jiān)控的需求,滿足越來越嚴苛的環(huán)境考驗。”
監(jiān)控存儲王牌——WD紫盤
WD紫盤(WD Purple)監(jiān)控存儲系列是西部數據BGBRP五色家族最新成員,以獨特紫色樹立最佳安防監(jiān)控存儲盤形象。WD紫盤監(jiān)控存儲系列不僅擁有1TB至4TB的不同容量可供用戶們選擇,還能支持多達8個盤位視頻監(jiān)控存儲系統(tǒng),并支持高達32個高清攝像頭和同時32路讀/寫操作,采用獨家的AllFrame(全幀)技術可以大大減少監(jiān)控畫面丟幀,播放與回放更為順暢,可靠的性能容許其在7天24小時的超大負荷環(huán)境下無誤運行。
WD紫盤能真正的成為各領域視頻監(jiān)控存儲完美存儲解決方案。在物聯(lián)網的應用中,存儲產品的安全性和穩(wěn)定性備受考驗,并以其領先的技術支持用戶高枕無憂輕松應對多重復雜環(huán)境,兼容各種安全系統(tǒng)。特別是在平安城市、智能交通等領域,WD紫盤可謂是最完美的選擇。
專為??刀ㄖ苹O(jiān)控專用硬盤:HV78
HV78誕生于2012年,該產品是由西部數據與??低曊归_首度合作而誕生的首款專業(yè)安防監(jiān)控定制設計的解決方案。以??低暶?ldquo;HV78”也成為了名副其實的“??低暥ㄖ苹O(jiān)控專用硬盤”,這款WD針對??低暜a品特性設計生產的定制化DVR專用工業(yè)級監(jiān)控硬盤,作為全球第一款為安防監(jiān)控應用而定制的硬盤,經過WD多方研究,并從性能、兼容性等多方面進行優(yōu)化,配合海康威視的解決方案足以為打造平安城市提供更完善,更智能的解決方案。
WDSeTM海盤技術特性
西部數據早已看到云數據中心對硬盤的巨大需求,在2013年6月份,西數就推出了全球首款專為橫向擴展的云數據中心設計的存儲驅動器--WD Se海量企業(yè)盤。
WDSe最大的特點是高可靠性和長時間運轉,基于企業(yè)級平臺打造,支持最新SATA6Gbps規(guī)格,64MB緩存,轉速7200rpm。非常適合24×7×52不間斷的安防監(jiān)控存儲使用。WDSe系列硬盤在性能、大規(guī)模復制環(huán)境的高可靠性、中型的網絡附加存儲部署(NAS)以及備份/歸檔應用程序等方面做到了良好的平衡。該系列經過至少500萬小時的功能與發(fā)熱測試,以及超過2000萬小時的服務器與存儲系統(tǒng)真實負載測試。提供2TB、3TB、4TB容量,所有型號享受5年質保。
企業(yè)級WDReTM技術特性
可靠、穩(wěn)定的WDRe標準企業(yè)級存儲系列,在持續(xù)讀取和寫入性能方面發(fā)揮出色。140萬小時的MTBF平均無故障時間為企業(yè)在7×24的高強度運轉環(huán)境下,為安防監(jiān)控存儲提供了高度可靠性。它還能滿足企業(yè)云和數據中心所追求的高密度儲存,低耗電量和安全可靠性的諸多需求。WDRe具有64MB緩存、7200RPM轉速,含有最久長達五年的質保售后服務和24/7技術支持。
為什么是西部數據?監(jiān)控級!
“您不能騎著自行車到全國拉貨物,這不適合這項工作。”打開西部數據官網,您可以見到這樣一條宣傳語。“同理,您不能在監(jiān)控安全系統(tǒng)中使用臺式硬盤,這也不適合這種用途。”
24×7 全日值守型
西部數據監(jiān)控級硬盤經過測試,可兼容各種安全系統(tǒng)。這些硬盤可替代并不適用于 24×7 全日值守型惡劣高清監(jiān)控環(huán)境的標準臺式硬盤。臺式硬盤在構造上只能持續(xù)較短的時間,在設計上不能承受一般監(jiān)控應用中常見的高溫波動和設備振動。
AllFrame 帶來更高的性能
WD Purple 監(jiān)控級硬盤配有 AllFrame 技術,該技術結合 ATA 流式傳輸技術可減少失幀,改善播放效果,增加支持的盤位數量。AllFrame 可以減少錯誤地在安全系統(tǒng)中使用臺式硬盤作為存儲器所常見的視頻中斷次數。當發(fā)生事故后需要查看監(jiān)控畫面時,失幀和畫面丟失是一個嚴重的問題。而采用 AllFrame 的 WD Purple 則不同,它可以在播放和審查關鍵監(jiān)控鏡頭時為您提供如愿以償的可信性。
主要優(yōu)點:
監(jiān)控級存儲器可以減少視頻失幀。
專為監(jiān)控安全系統(tǒng)進行了優(yōu)化。
高速緩存算法針對監(jiān)控應用中常見的寫密集型、低碼率的多流應用程序進行了優(yōu)化;
優(yōu)先更改寫分配和搶先式緩存策略;
TLER 支持 ATA 流式傳輸;
支持多達八塊硬盤;
專為優(yōu)越的兼容性而設計。
其中,WD Purple 監(jiān)控硬盤專為兼容行業(yè)領先機箱和芯片組制造商而設計,可無縫地集成到新建或現有的視頻監(jiān)控系統(tǒng)中。
優(yōu)化性能,支持多達 32 個高清攝像頭
WD Purple 硬盤經過優(yōu)化,支持多達 32 個高清監(jiān)控攝像頭,讓您可以在今后靈活地升級和擴展您的安全系統(tǒng)。
低功耗
在高溫全日值守型監(jiān)控環(huán)境中,低功耗至關重要。由于采用了獨家的 IntelliSeek 技術,西部數據監(jiān)控級硬盤可計算最佳的尋道速度,從而降低功耗、噪音以及可迅速損壞和導致臺式硬盤磨損的振動。
監(jiān)控系統(tǒng)最佳選擇
作為專為安防領域專屬定制的監(jiān)控級硬盤,WD Purple、HV78等設備已在平安城市、智能交通、銀行等多個應用領域落地開花,并用實力在用戶圈贏得較好的口碑。
據接近西部數據公司的人士透露,未來西部數據將進一步完善西部數據在監(jiān)控級硬盤領域的布局。在大數據與云計算快速發(fā)展的當下,西部數據將為更多的平安城市用戶提供更佳的存儲解決方案。
—專家點評—
“西數+???rdquo;方案,視頻存儲革命性的又一舉動
朱明初/a&s編輯咨詢委員、上海市公安局技防專家?guī)斐蓡T、上海保安服務總公司高級工程師,熟悉行業(yè)標準驗收規(guī)范。擁有豐富的項目驗收經驗。
西部數據是數字存儲領域的知名廠商,現在也是享譽安防圈的視頻存儲專家。其推出的視頻監(jiān)控專用“紫盤”可配合采用全新的流媒體直寫存儲技術使用,它的優(yōu)點是:目前和同類產品相比,視頻存儲效率最高,功耗最小,存儲可靠性最高,存儲成本最低,系統(tǒng)最穩(wěn)定。
西部數據監(jiān)控專用硬盤與??低暤拇鎯夹g相結合,可以快速地寫入流媒體數據,并且可以快速地完成視頻數據的檢案。這正是公安和智能交通目前最需要的技術。大量的案件是發(fā)生在小區(qū)、公共場所和道路等地方的,而這些地方的視頻監(jiān)控方案大多采用DVR硬盤錄像機和NVR網絡硬盤錄像機。如果都能采用西部數據和??低曂瞥龅拇鎯?、檢索技術,那將是革命性的又一舉動。
利用HDCVI創(chuàng)新技術在SYV75電纜上傳輸高清視頻,大華做到了。我們期待著在普通DVR和NVR上更新軟件和“紫盤”后能實現圖像直存和秒級視頻檢索。
Q:是否方便透露一下,西部資料針對視頻監(jiān)控產業(yè)的設備研發(fā)進程以及戰(zhàn)略布局?
A:在西部數據前一個年度的統(tǒng)計中,使用在非PC設備的硬盤首次超過應用于PC設備的硬盤數量,在應用于非PC設備的硬盤中,最主要的部分就是應用在監(jiān)控設備中的硬盤,這也是西部數據非常看好的一個行業(yè),因此西部數據也會在這方面保持持續(xù)的關注和投入。
在產品方面,自今年年初西部數據發(fā)布監(jiān)控紫盤產品,并順勢成為第一個在全球市場出貨的4TB監(jiān)控級硬盤產品;同時,隨著監(jiān)控領域技術的發(fā)展,全高清甚至4k分辨率技術的普及,對存儲的容量的需求也在不斷的增長,西部數據也會根據市場的要求推出更大容量的產品。除了在容量方面的增長外,另外一個發(fā)展的方向是針對監(jiān)控設備的兼容性及性能的不斷優(yōu)化,在此次紫盤產品發(fā)布的同時,已經完成了20多個市場主流廠商的兼容性測試,并且隨后推出了與監(jiān)控行業(yè)領先廠商??低暵?lián)合推出了全新一代HV78監(jiān)控定制硬盤,以達到針對設備的進一步優(yōu)化,以改變過去一個產品配合所有設備和應用的方式。
Q:西部資料監(jiān)控級存儲方案有哪些特點?其應用于平安城市監(jiān)控系統(tǒng)中有哪些優(yōu)勢?
A:西部數據最新推出的監(jiān)控紫盤產品,主要針對現在監(jiān)控存儲的數字化和高清的趨勢推出了AllFrameTM技術,可以更好的配合支持多路高清數字攝像機的NVR產品,在多路高清影像數據的記錄的同時進行流暢的實時回放。同時,西部數據的監(jiān)控級存儲產品一直以低功耗節(jié)能技術更著稱,全新一代的紫盤產品更是達到了業(yè)界領先的功耗水平。
在應用于平安城市監(jiān)控系統(tǒng)的多級存儲方案中,可以更好的支持基于網絡傳輸的高清視頻記錄存儲的應用,以更合理的容量價格比為平安城市提供更高效、綠色、可靠的海量視頻存儲方案。西數的監(jiān)控紫盤最高支持8塊硬盤和32各攝像頭的監(jiān)控設備,為用戶提供24x7全日值守的高清監(jiān)控服務。
Q: 相較金融、智慧建筑等行業(yè),平安城市對視頻監(jiān)控數據存儲也有自身的特殊需求,比如海量數據存儲、數據信息高安全、查詢快速便捷。對此,西部資料在技術研發(fā)上是否有一些針對性的策略或產品開發(fā)?
A:視頻監(jiān)控領域一直對于存儲容量方面有比較高的要求,西部數據也一直在這方面技術保持領先位置,隨時準備在客戶需要的時候提供更大容量的產品;在西部數據監(jiān)控級紫盤產品研發(fā)規(guī)程中,通過對視頻監(jiān)控應用市場的調研和針對性的開發(fā),推出了全新的AllFrameTM技術,在保證可靠的數據記錄的同時,也為實時的數據回放進行了全面的優(yōu)化,保證減少視頻,高速緩存算法針對監(jiān)控應用中常見的寫密集型,低碼率的多流應用程序進行優(yōu)化,并且優(yōu)先更改寫分配和搶先式緩存策略。可以支持最高8塊盤和最大32路高清視頻影像的同時記錄和回放,改變了以往市場上的監(jiān)控級硬盤產品側重記錄性能情況。
Q:從2014年公開的招投標檔來看,“云存儲”已經被寫入不少平安城市監(jiān)控項目的技術要求中。西部數據是如何看待這種現象或趨勢?對于“云存儲”或“云計算”,西部資料是否有做相應的技術儲備?
A:西部數據在云存儲方面已經與全球多家領先的互聯(lián)網、數據中心行業(yè)的領先企業(yè)進行合作,并專門推出了針對云存儲應用的WD Se系列海量存儲硬盤產品,這個系列產品基于西部數據企業(yè)級WD Re產品,在提供企業(yè)級硬盤產品可靠性和支持RAID技術的同時專門針對基于分布式存儲的云存儲方案進行了全面的優(yōu)化,是應用于視頻監(jiān)控云存儲系統(tǒng)的可靠性、功能性、性價比的最優(yōu)之選,目前已經在國內多個平安城市項目中進行了應用。
Q:作為一家專注于數字存儲的企業(yè),西部資料是如何審視當前國內的平安城市乃至智慧城市市場,以及其存儲應用發(fā)展趨勢?
A:從整個行業(yè)來看,在國家的大力扶持下,平安城市正在大規(guī)模的普及,不僅是傳統(tǒng)監(jiān)控行業(yè),許多IT巨頭也在關注智慧城市、物聯(lián)網等科技的應用。
在西數看來,整個行業(yè)擁有非常好的前景,同樣的大數據時代對于存儲解決方案的需求也不斷的增加也為西數帶來了非常多的發(fā)展機遇。從產品的角度出發(fā),國內的平安城市、智慧城市應用,在高清、IP、云存儲這幾個大的趨勢的引導下,會需要更多針對應用特點開發(fā)的系統(tǒng)及存儲產品,西部數據也會密切關注這個市場的發(fā)展,有針對性的推出可以滿足用戶應用需求的存儲產品。