問題與挑戰(zhàn)
某用戶配置了16塊1TB磁盤做RAID5,承載其在線關鍵業(yè)務。運行3年后,磁盤開始陸續(xù)損壞,發(fā)現其重建過程漫長。在其業(yè)務未中斷的情況下,完成一次重建所需時間長達5天,這種情況還不是最糟的。更糟的是,在某次重建過程中,重建進程完成到60%時,過程被異常中止,RAID組fail,整個數據卷損壞,數據丟失。經檢查發(fā)現,在重建過程中,該RAID組中的另一塊磁盤發(fā)生了讀錯誤,導致磁盤failed,被RAID組踢出。

通過這個案例可以看出幾個問題:
1、磁盤屬于消耗品,發(fā)生老化后,會產生潛在故障盤或假象故障盤;
2、故障盤或假象故障盤都將導致RAID組重建;
3、大容量磁盤RAID重建時間過長,重建過程風險巨大;
4、潛在故障盤將導致RAID重建失敗;
隨著云時代的到來,數據量越來越多,磁盤容量越來越大,發(fā)生磁盤損壞的機率也越來越高,如何解決磁盤故障對存儲帶來的危害成為重要課題目。
磁盤維護新方式-IDDC主動式磁盤診斷中心
基于多年存儲維護經驗的深刻理解,MacroSAN開發(fā)了一套可以在不增加任何附加投資的條件下,最大化提高磁盤及RAID組安全性的、智能存儲磁盤維護檢測修復工具,即下述的IDDC。
IDDC:Initiative Disk Diagnosis Center,主動式磁盤診斷中心

該診斷中心包含了4個模塊(磁盤檢測、快速修復、壞塊復位、磁盤診斷),它可以通過預先設置的策略定期對磁盤進行錯誤檢測,用于發(fā)現磁盤中是否存在錯誤碼。再根據錯誤碼判斷磁盤錯誤類型,并進行相應的壞塊修復、磁盤遷移或磁盤修復等操作,以提早處理磁盤潛在的故障隱患,降低RAID組重建損壞機率,提高設備穩(wěn)定性。
? 磁盤檢測:
? 對所有磁盤進行周期性全盤檢測,提前發(fā)現故障;
? 支持磁盤檢測速率動態(tài)調整,不影響應用性能;
? 發(fā)現問題的磁盤交由診斷中心統一處理;
? 快速復位:結合CRAID的局部重建機制,可快速修復磁盤邏輯錯誤,降低全盤重建機率。
? 壞塊修復:經過檢測的磁盤發(fā)現存在壞塊(扇區(qū))后,會觸發(fā)磁盤自身的remap機制,將壞塊的指針重定向到好的保留扇區(qū)中。然后調用RAID組的校驗功能,重建該數據塊,確保數據一致性。
? 磁盤診斷:所有告警磁盤、故障磁盤會在診斷中心進行復診并嘗試修復,減少磁盤故障誤判。修復后的磁盤自動轉為全局熱備磁盤。[nextpage]
RAID維護新方式-CRAID
根據統計數據分析,存儲系統的硬件故障90%以上是磁盤故障,而故障磁盤中,只有12%是完全的物理損壞,88%屬于部分/完全可用。如果磁盤發(fā)生錯誤后立即被踢出陣列,一方面客戶需要為100%的故障磁盤買單,另外一方面客戶還需要承擔故障磁盤被踢出陣列到被更換過程中其他磁盤再次故障所導致的數據丟失風險。ODSP存儲軟件平臺在分層次、模塊化設計的基礎上,在多個層次上進行了磁盤錯誤處理,其目標是:“盡量嘗試修復,盡可能減少踢盤”,以提高用戶的投資回報率,提出基于Cell的RAID同步和重建技術。

Cell,稱之為“細胞”,指帶“活性”的數據單元,是存儲資源管理的基本單位。引入Cell的概念后,資源管理層次如下圖所示,在具體的實現上,首先用物理磁盤創(chuàng)建RAID,然后把RAID的可用空間根據指定長度(默認1GB)劃分為多個Cell,創(chuàng)建LUN時,系統自動分配空閑Cell,破除了LUN與RAID、Disk之間的捆綁關系,使RAID的最小維護單位由原來的磁盤變成了更小更靈活的Cell,實現了完全的虛擬化存儲架構。

CRAID(基于Cell的RAID)技術是宏杉科技在RAID機制上的一項創(chuàng)新技術。CRAID通過更精細的資源管理單元——Cell來實現對磁盤的精細化管理,不僅能有效提高系統對于磁盤故障的容忍度,減少數據處于臨界危險狀態(tài)的機率,而且能數倍地提升磁盤故障后的恢復效率。MS1000的CRAID技術能夠做到:
1、容忍多塊磁盤故障:在RAID組內,只要同一Cell內的兩個數據塊不同時出現故障,RAID組允許多塊磁盤發(fā)生介質損壞,而數據不會丟失。借助CRAID技術既能解決傳統RAID6、RAID10磁盤浪費嚴重的問題,降低成本,又能解決2塊及以上磁盤出現介質錯誤導致數據丟失的問題,甚至可做到所有磁盤出現介質錯誤,系統和數據依然正常,極大地增強了可靠性。
2、數據重建時間減少80%:傳統的RAID機制數據重建恢復過程非常漫長,尤其是2TB等大容量硬盤普及后,數據丟失風險大幅升高。據統計,在正常的監(jiān)控業(yè)務流量下,2TB硬盤故障的重建恢復時間長達5天—30天。MS1000通過下述幾項技術,能夠減少80%-95%的數據重建恢復時間,大大提高了存儲系統的數據保護能力。
?只對已寫數據的Cell進行重建,空閑Cell不重建;
?只重建數據發(fā)生變化的Cell,不對整個硬盤進行重建;
?只對發(fā)生介質錯誤的Cell進行校驗重建恢復,其它Cell通過拷貝的方式重建;
傳統存儲與IDDC+CRAID比較

結語
在高清視頻監(jiān)控迅速發(fā)展的今天,大規(guī)模、高容量硬盤的廣泛部署,在滿足越來越高的容量需求的同時,也面臨著更高的磁盤故障率和數據丟失風險,傳統的RAID機制已不能滿足需求。而宏杉科技創(chuàng)新性提出了IDDC+CRAID技術,具備高效靈活的磁盤重建和同步策略,可容忍一組RAID5磁盤出現多塊磁盤介質錯誤數據不丟失,同時減少80%的磁盤重建時間,大大提升了整套存儲系統的可靠性。