XVE世界領先的華為存儲操作系統(tǒng)
華為 張鵬 發(fā)表于：13年06月24日 10:21 [來稿] DOIT.com.cn
古老的岷江水順著漫漫的歷史長河流淌到今天，站在都江堰渠首安瀾索橋上向下看去，它依然是那么清澈。岷江上游水流湍急，進入成都平原以后，地勢突然低平，水勢減緩，所挾帶的大量沙石沉積下來，淤塞河道，時常泛濫成災。兩千多年前，秦蜀郡郡守李冰父子創(chuàng)造性的提出“深淘灘、低作堰”的設計理念，并興建了都江堰水利工程，保證了大約三百萬畝良田的灌溉，使成都平原成為旱澇保收的“天府之國”。至今都江堰水利工程仍然灌溉著成都平原，是世界上少有的保存兩千多年至今仍然在服務的水利工程。
華為存儲操作系統(tǒng)
距離都江堰不到四十公里的華為存儲研發(fā)中心秉承都江堰“深淘灘、低作堰”的設計理念，創(chuàng)新地開發(fā)出來系列的存儲產(chǎn)品，這些產(chǎn)品的核心——存儲操作系統(tǒng)則是該設計理念的集中體現(xiàn)。
操作系統(tǒng)（Operating System）是一種特殊的系統(tǒng)軟件，它負責管理整個計算機系統(tǒng)的軟硬件資源，一個良好的操作系統(tǒng)對計算機至關重要。同理，存儲操作系統(tǒng)就是存儲系統(tǒng)中負責管理所有存儲資源的系統(tǒng)軟件，它對于存儲設備的可靠性、功能、性能起決定性作用。在存儲業(yè)界，設計一個存儲產(chǎn)品大概有兩種思路，一種思路偏硬件，即采用特殊的硬件形態(tài)和存儲專用芯片作為基礎構件存儲系統(tǒng)。這類系統(tǒng)一般設計簡單可靠，單位成本的性能比較高。但是由于硬件尤其是專用的芯片改動成本較高、研發(fā)周期長，因此這種設計越來越不適應存儲技術的快速發(fā)展。另一種的思路偏軟件，即基于通用的硬件，比如說x86體系結構，將存儲的基本功能設計為基礎的系統(tǒng)軟件，然后將這套軟件部署在不同系列的硬件平臺之上，快速形成豐富的產(chǎn)品組合。這個基礎的軟件就是存儲操作系統(tǒng)，如NetApp的統(tǒng)一存儲操作系統(tǒng)Data ONTAP，EMC Symmetrix的存儲操作系統(tǒng)Enginuity。
一款存儲的操作系統(tǒng)的生命周期很長，一款優(yōu)秀的存儲操作系統(tǒng)可能在設計之初非常領先，但是隨著新技術、新功能不斷涌現(xiàn)，由于軟件架構限制，即使曾經(jīng)優(yōu)秀的操作系統(tǒng)也慢慢顯現(xiàn)疲態(tài)。比如說Data ONTAP在設計之初即采用統(tǒng)一存儲的設計理念，通過WAFL融合了文件系統(tǒng)和塊設備層，同時在底層RAID技術、快照技術等關鍵點上具有創(chuàng)新性的設計，使Data ONTAP成為業(yè)界最優(yōu)秀的存儲操作系統(tǒng)。NetApp憑借這塊先進的操作系統(tǒng)快速推出產(chǎn)品，成為存儲市場的三強之一。時至今日，雖然Data ONTAP依然可以說一款優(yōu)秀的存儲操作系統(tǒng)，但是其弱點和限制也逐漸顯現(xiàn)。
華為自研的存儲操作系統(tǒng)取名XVE，它的全稱是“Extreme Virtual Engine”。 研發(fā)XVE的初衷源于華為要開發(fā)一款高端存儲，進而以這款存儲產(chǎn)品的軟件做為平臺移植到全系列的存儲產(chǎn)品上去。在預研的初期，正是存儲虛擬化得到廣泛認可的時候，業(yè)界也不斷推出所謂的“虛擬化存儲”。設計團隊經(jīng)過仔細的研究發(fā)現(xiàn)，發(fā)現(xiàn)某些廠商所謂的虛擬化只是在原來的傳統(tǒng)技術上包裝一層虛擬化的外衣，技術上沒有本質變化。但是華為沒有選擇這條“偽虛擬化”的捷徑，毅然采用了真正的虛擬化設計，實現(xiàn)從磁盤虛擬化到卷虛擬化從而使得徹底解決了在大容量存儲下故障恢復時間的問題和性能均衡問題。圖1所示是XVE的簡化架構圖。
圖1 XVE的簡化架構圖
高可靠性
XVE作為一款存儲操作系統(tǒng)，高可靠性是設計的重中之重。為實現(xiàn)所有代碼的可控性，XVE重寫了通用操作系統(tǒng)的硬盤管理模塊，使之成為一個存儲專用的硬盤管理模塊。它直接和芯片驅動、硬盤交互，按照上層業(yè)務特點有針對性地處理硬盤的故障。并且，硬盤管理與華為自研的SSD硬盤相結合，最大化發(fā)揮SSD的性能優(yōu)勢，提高SSD的使用壽命和可靠性。
基于可靠的硬盤管理模塊，XVE針對RAID技術采用大膽創(chuàng)新，采用了業(yè)界先進的RAID2.0+技術。從所周知，RAID重構過程中數(shù)據(jù)沒有可靠性保障，如果在重構完成前再出現(xiàn)壞盤就將造成數(shù)據(jù)丟失，不可恢復；所以對于一個存儲系統(tǒng)而言其可靠性的最重要標志就是其RAID重構時間越小越好。傳統(tǒng)硬盤重構的瓶頸主要在目標盤（熱備盤），因為所有成員盤將所有數(shù)據(jù)讀出后全部寫入到目標盤，目標盤寫帶寬就成了整個重構速度的關鍵，以一塊2TB 7.2K rpm盤為例，重構時平均寫入速度為30M/s左右，完成重構時間長達18個小時。華為存儲RAID 2.0技術采用虛擬化RAID技術，消除RAID的重構性能瓶頸——當一個物理硬盤故障時，同時更多的目標硬盤參加重構，大大縮短重構時間，從而提高了存儲系統(tǒng)的可靠性。同時XVE為了保證數(shù)據(jù)的一致性，XVE支持端到端的數(shù)據(jù)校驗，能夠監(jiān)測到任何偶然的數(shù)據(jù)錯誤，并自動修復，從而保證了關鍵業(yè)務的數(shù)據(jù)一致性。
作為一款支持Scale-out多控的存儲OS，XVE設計了專用的集群管理系統(tǒng)。通過與自研硬件、驅動的緊密結合，最大化的提高了節(jié)點間故障切換時間。比如，典型情況下，如果一個控制器發(fā)生故障，該控制器的IO能在1秒之內(nèi)切換到另外一個控制器。
高性能
為了追求極致的性能，XVE對通用操作系統(tǒng)的線程調(diào)度、內(nèi)存管理等進行了優(yōu)化，使其更適合存儲處理大規(guī)模IO并發(fā)處理的特點。XVE采用統(tǒng)一的IO線程調(diào)度機制，最大化的減少線程切換帶來的時延開銷。內(nèi)存管理也繞開通用OS復雜的內(nèi)存管理機制，直接在底層實現(xiàn)專用高效的內(nèi)存管理機制。為了最大的利用節(jié)點間通信的性能，在底層實現(xiàn)了低時延高帶寬的通信模塊。為了保障系統(tǒng)端到端的QoS，線程調(diào)度、內(nèi)存管理和節(jié)點通信都擁有相應的優(yōu)先級控制機制。以上機制都是XVE為存儲系統(tǒng)量身定做的，基于這些基礎框架，XVE擁有了一個高性能的基礎。
高效率
XVE作為一款面向海量數(shù)據(jù)、虛擬化環(huán)境的存儲OS，對于存儲資源實現(xiàn)高效管理和自動資源調(diào)配。它支持資源按需分配，數(shù)據(jù)被均勻分布到陣列內(nèi)所有的硬盤上，可以防止局部硬盤過熱，當存儲池中的硬盤數(shù)量增加或減少，以及隨業(yè)務變化硬盤讀寫壓力發(fā)生變化后，系統(tǒng)通過IO記錄智能分析計算，并自動調(diào)節(jié)熱點Extent在同一類硬盤上的實際存儲位置以確保每一塊硬盤的壓力均衡，從而實現(xiàn)均衡硬盤磨損，有效降低故障率、延長硬盤壽命。同時，XVE還可以根據(jù)數(shù)據(jù)的訪問熱度在不同存儲介質之間實現(xiàn)動態(tài)分級存儲，分級存儲實現(xiàn)自動監(jiān)控，分析出冷數(shù)據(jù)和熱數(shù)據(jù)，將數(shù)據(jù)遷移至合適的存儲介質。總而言之，XVE是一款針對存儲系統(tǒng)的特點，端到端優(yōu)化、端到端可控的存儲操作系統(tǒng)。
展望
“深淘灘，低作堰”是都江堰的治水名言，深淘灘是指河道要深淘，深淘的標準是古人在河底深處預埋的“臥鐵”。歲修淘灘要淘到臥鐵為止，才算恰到好處，才能保證灌區(qū)用水。正如XVE的采用底層虛擬化技術，對創(chuàng)統(tǒng)RAID技術進行了深刻地創(chuàng)新，為系統(tǒng)的提供堅實可靠的基礎。低作堰就是說飛沙堰有一定高度，高了進水多，低了進水少，都不合適，自動調(diào)節(jié)流入成都平原的水量。正如XVE的智能資源管理，使得數(shù)據(jù)能自由的流動，隨需地擴展。“深淘灘，低作堰”看似平平常常、簡簡單單的，但卻是中國古代人民智慧的結晶，XVE將這個理念運用到設計中，并且安裝了XVE這顆存儲之心的中端、高端存儲產(chǎn)品已經(jīng)規(guī)模應用，在市場上不斷取得客戶的認可。相信有一天XVE會和華為存儲一道取得更大成功，成為國人自主創(chuàng)新的驕傲。
