這是為什么呢?
有人說了,這是因?yàn)榇笕萘看疟P的容量太大,萬一容量磁盤壞了,Raid重構(gòu)的時(shí)候需要的時(shí)間就更長了。
恢復(fù)一塊10TB的盤數(shù)據(jù),跟恢復(fù)一塊20TB的盤,工作量能一樣嗎?
小容量磁盤的重構(gòu)時(shí)間短,對(duì)性能壓力小,對(duì)業(yè)務(wù)連續(xù)性更有好處。
對(duì)業(yè)務(wù)人員的血壓有好處,對(duì)存儲(chǔ)管理員的人身安全有好處。
為了幫存儲(chǔ)廠商安心用上大容量磁盤,還得從技術(shù)上解決大容量磁盤重構(gòu)的難題。
為此,硬盤大廠希捷搞了一個(gè)叫ADR(自動(dòng)容量重生)的硬盤技術(shù),配合ADAPT技術(shù),可將系統(tǒng)重構(gòu)所需的大幅縮短,最多能縮短95%的時(shí)間。
傳統(tǒng)RAID技術(shù)下,壞一塊盤需要五十多個(gè)小時(shí)重構(gòu),而現(xiàn)在需要幾個(gè)小時(shí)甚至幾十分鐘即可。
重構(gòu)時(shí)間縮短,好處多多:系統(tǒng)性能更穩(wěn)定,對(duì)性能影響更小,還能減少恢復(fù)過程中可能帶來的二次損壞,比如,恢復(fù)過程中又有別的盤壞了。
能縮短95%就很誘人吧,但是,聽著很簡單的技術(shù)原理,實(shí)際用起來還比較有挑戰(zhàn)。
目前,希捷自家的Exos CORVAULT存儲(chǔ)系統(tǒng)支持,其他存儲(chǔ)廠商,想要用上這一良心技術(shù),還得需要投入一些人力物力才行。
想了解,希捷Exos CORVAULT的神奇之處的話,可以接著往下看。(看完整版視頻)
Part 2:為什么希捷Exos CORVAULT能讓存儲(chǔ)系統(tǒng)用上大容量磁盤?
Exos CORVAULT是希捷的一塊高性能塊存儲(chǔ)系統(tǒng),雙活架構(gòu),5個(gè)9的可靠性,還有頗具行業(yè)突破性的硬盤故障自愈技術(shù)。
4U的空間,裝硬盤之前,空蕩蕩的跟被打劫了一樣。說一個(gè)人腿長,脖子以下全是腿。說一個(gè)存儲(chǔ)系統(tǒng)容量大,除了風(fēng)扇全是硬盤。
一個(gè)人想插滿硬盤,得需要大概兩個(gè)小時(shí),塞硬盤的人嫌時(shí)間過的慢,旁邊圍觀的,總?cè)滩蛔∠雭韼兔Α5捕嘁粋€(gè)人,裝盤的過程都會(huì)快得多。
插滿之后,2.12PB,容量高到嚇人。106塊的20TB的大容量磁盤滿滿當(dāng)當(dāng)擠在一起,壯觀,我是頭一次見到。
這這這,全都是硬盤,這么多磁盤這么高的密度放在一起沒問題吧。
嗯,好問題。
防止因?yàn)橛脖P發(fā)熱,硬盤轉(zhuǎn)動(dòng)振動(dòng)對(duì)性能以及穩(wěn)定性的影響,Exos CORVAUL從控制器到機(jī)箱都進(jìn)行了特別的設(shè)計(jì)。
硬盤怕噪音的震動(dòng),特別是噪音大戶的風(fēng)扇,這次也被特別針對(duì),希捷開發(fā)了一種叫Acoustic Shield的技術(shù),給硬盤提供了非常安心的工作環(huán)境。
106塊硬盤老老實(shí)實(shí)的擺在這里,滿滿的,強(qiáng)迫癥朋友說了,那個(gè)角上的是啥?
是控制器啊,本以為這又是基于英特爾至強(qiáng)的控制器。
仔細(xì)一看,原來是希捷自己搞的ASIC芯片,ASIC芯片的成本低,性能呢,做的好的話,性能也挺高的。
上圖顯示,順序讀性能是14GB/s,順序?qū)懶阅苁?2GB/s,額外查了一下資料,最高IOPS為17680,磁盤存儲(chǔ)的重點(diǎn)不是IOPS。
今天,性能不是重點(diǎn),控制器配合ADAPT和ADR縮短磁盤構(gòu)建時(shí)間才是重點(diǎn)。接下來簡單介紹一下。
如圖所示,左面是一張圖片,代表用戶要存的數(shù)據(jù)。右邊是一堆磁盤,代表CORVAULT存儲(chǔ)系統(tǒng)。
在計(jì)算機(jī)的視角里,圖片被切成了很多個(gè)碎片Shards。右側(cè)的硬盤會(huì)組成ADAPT池,什么是ADAPT?
ADAPT全稱叫Advanced Distributed Autonomic Protection Technology (ADAPT),直譯為自動(dòng)分布式分配保護(hù)技術(shù),一種希捷專有的替代傳統(tǒng)Raid的技術(shù)。
ADAPT池里有一堆硬盤,負(fù)責(zé)存數(shù)據(jù),存什么數(shù)據(jù)呢?
一種是用戶的碎片Shards數(shù)據(jù),一種是CORVAULT的ASIC控制器為用戶數(shù)據(jù)生成的奇偶校驗(yàn)(Parity)。
奇偶校驗(yàn)是干啥的?保護(hù)數(shù)據(jù)用的,硬盤壞了,數(shù)據(jù)丟了靠它就能找回來。
系統(tǒng)中,奇偶校驗(yàn)會(huì)和數(shù)據(jù)碎片一起均勻地散布到ADAPT池中的硬盤里。
值得注意的是,數(shù)據(jù)均勻散布到ADAPT池中的硬盤里的操作,其實(shí)就是ADAPT技術(shù)(分布式自動(dòng)保護(hù)技術(shù))得名的由來。
眾所周知,磁盤出問題,一般都是劃痕什么的,傷到磁頭或者盤片,出問題時(shí),CORVAULT的控制器能分析磁盤產(chǎn)生的日志,根據(jù)日志找出是哪個(gè)磁盤的哪個(gè)盤片出了問題。
CORVAULT控制器發(fā)現(xiàn)問題后,先把壞掉的硬盤放一邊,依靠奇偶校驗(yàn)數(shù)據(jù)從其他硬盤中,很快就恢復(fù)一份Rebuild Data,也就是壞了的硬盤里的數(shù)據(jù)。
這些剛恢復(fù)來的數(shù)據(jù)存放在哪呢?也繼續(xù)散布到其他硬盤里。
接下來,就輪到ADR上場了。
剛才不是找出了出問題的盤片或者磁頭了嗎,CORVAULT控制器就跟硬盤配合,屏蔽掉出問題的盤片或者盤片對(duì)應(yīng)的磁頭,此時(shí)的硬盤容量會(huì)縮減。
現(xiàn)在一塊磁盤最多有20個(gè)磁頭和對(duì)應(yīng)的盤片,壞了一個(gè)之后,就剩下95%了。
磁盤重生后,控制器就跟別的磁盤打聲招呼說,這塊盤又活過來了,把他該存的數(shù)據(jù)扔給他吧。
于是,一聲令下,一群硬盤都快速把數(shù)據(jù)還給了它。最后,它又把原來屬于它的數(shù)據(jù)存起來了,一切又恢復(fù)了事故之前的狀況。
問題來了,為什么它的恢復(fù)速度快95%那么多呢?
因?yàn)?,ADAPT技術(shù)把奇偶校驗(yàn)和數(shù)據(jù)碎片散布到其他硬盤里,恢復(fù)的時(shí)候,實(shí)際是由多個(gè)硬盤共同完成操作,而不是靠原來一塊盤干活。
換句話說,一個(gè)ADAPT池里的磁盤越多,恢復(fù)速度就越快。
頗有韓信點(diǎn)兵,多多益善的意思。
結(jié)束語
如此一番操作,地球上就少了一塊壞的硬盤,少了一塊電子垃圾,用戶少買一些硬盤,存儲(chǔ)管理員少開一次機(jī)箱蓋子,少拔出來一塊硬盤。
對(duì)了,不知道大家注意到了沒有,這場硬盤故障前后,所有操作都是在一臺(tái)CORVAULT里完成的,完全不需要外部網(wǎng)絡(luò)。
如上圖所示,希捷CORVAULT的集群里,完全沒有因?yàn)橄到y(tǒng)重建時(shí)的流量造成網(wǎng)絡(luò)的擁堵,系統(tǒng)的性能表現(xiàn)會(huì)更高和更穩(wěn)定。
以上就是存儲(chǔ)廠商在大容量磁盤使用方面的技術(shù)挑戰(zhàn),而希捷能讓存儲(chǔ)系統(tǒng)用上大硬盤這一話題的全部內(nèi)容。
相關(guān)閱讀: