除了極少的用戶仍然在使用非LTO格式磁帶,LTO幾乎成為磁帶的“唯一格式”,LTO現在可能也是唯一還在繼續(xù)支持未來2~3代路線圖的磁帶技術。

前有業(yè)界對磁帶可靠性與應用領域的唱衰,后有磁盤技術的圍追堵截,加之SSD對磁盤正在形成壓倒性優(yōu)勢,磁盤對磁帶的進攻必然將越發(fā)激烈,磁帶——或者說是LTO——到底能否堅持到LTO-8出現的那一天?

Bruce Master

5月31日,在2011中國SNW大會上,來自LTO聯盟的LTO項目高級經理同時也是IBM旗下磁帶與存檔系統(tǒng)的負責人Bruce Master以及HP公司企業(yè)業(yè)務集團服務器、存儲和網絡事業(yè)部存儲產品部高級業(yè)務拓展經理張梅生女士,作為LTO聯盟的代表,回答了有關磁帶發(fā)展的問題。

磁帶:身在逆境談復興

磁盤技術的每一次發(fā)展,都像是在為磁帶吹響警鐘,從自動精簡配置到重復數據刪除,再到磁盤到磁盤的D2D備份技術——尤其是在將D2D技術和重復數據刪除技術整合之后,類似DataDomain這類的磁盤備份解決方案,將磁帶在備份市場的最后努力連根拔起。

磁帶經歷過過去差不多六十年的存儲發(fā)展,在最開始曾作為主存儲介質,但很快被IBM所發(fā)明的磁盤技術所取代,差不多在那個時候,也就是大約50年左右,就有人認為磁帶會被磁盤所消滅,但是磁帶卻奇跡般的頑強的生存了下來,并依次開始進入備份、遠程災備和離線備份市場,到現在,磁帶只不過是又被從一個占據差不多30年的市場擠壓出來而已。磁帶并非沒有經歷過這樣的情況。

既然在備份市場深陷囧境——就像是50年前被從主存儲系統(tǒng)趕出來一樣——磁帶開始巡展新的能夠復興的市場機會,而這一機會目前普遍被認為是歸檔市場。關系到磁帶能否借助歸檔市場復蘇的核心問題是:多少數據可以或應該存儲在歸檔中?答案很可能是差不多所有數據。

LTO-6、7、8還在路線圖上,這也就意味著,LTO聯盟至少未來6~7年都還有不少事情要做。

一個粗略的估計是80%的歸檔是固定內容數據,不過這個比例很可能還偏小了。大部分數據在創(chuàng)建的時候就是固定的,比如發(fā)送和接受的電子郵件或醫(yī)療數字圖像??紤]到大部分非結構化數據(這種數據構成了大多數公司中增長最快的數據群)也是固定的。一個未完成的交易(結構化數據)或一個未完成的文字處理文檔(半結構化數據)不是固定內容,但是在數據庫中的多數數據或在服務器中的多數文件不太可能再發(fā)生改變,因此,一個組織的絕大部分數據可以放入歸檔。

第二個問題是:為什么數據還沒有被歸檔?有許多答案。一方面,一個歸檔意味著需要良好的數據保留管理策略,對于許多企業(yè)來說這是比較難以達到的。我們可以說數據保留實踐是比較少的,除了那些通常在磁帶上執(zhí)行的深度歸檔。

這很符合如今的“大數據”理念:并不僅僅只是大文件數據,同時包括極為龐大的數據量這一概念,因此,IBM宣布推出了一批與磁帶有關的新產品,包括一種新的磁帶格式和一些面向其高端磁帶庫產品的機械臂新產品——IBM將磁帶定位為數據存儲中的集成歸檔層。

是否繼續(xù)使用磁帶其實不是什么問題,用戶會給出自己的選擇。

大數據是最近才被EMC等廠商熱炒起來的概念,除去浮華的泡沫,龐大的數據規(guī)模確實意味著“差不多這些數據都要被歸檔而歸檔的數據量將會是空前的龐大”,但這也并不意味著磁帶僅僅是打算盤踞在歸檔市場——占山為王終有被招安的一天,所以LTO聯盟為磁帶尋找了新的方向:在磁帶上做文件系統(tǒng)。這也是磁帶的復興計劃的一部分。

不過,磁帶復興的關鍵問題是:磁帶到底有哪些是磁盤無法替代的?LTO又計劃做出哪些讓磁盤無法替代的技術或是功能,作為磁帶行業(yè)最后一個建成運營的聯盟,IBM、HP和昆騰的聯盟,在三家供應商都擁有豐富的磁盤備份甚至是磁盤歸檔產品的今天,是否仍然牢固?

LTO容量與性能線性發(fā)展的矛盾

算機所用的磁帶大概已經存續(xù)了60年左右的時間。這項技術比目前大多數技術行業(yè)從業(yè)人士還要年長。 由于磁帶備份市場的規(guī)模已經遠遠小于歸檔市場的規(guī)模,磁帶遷移就成為磁帶行業(yè)現在面臨的最大問題之一。大規(guī)模歸檔方案的數據遷移通常會是一個連續(xù)的過程。

因此,即使是計劃做歸檔,磁帶仍然有一個問題成為軟肋:磁帶的密度每隔18個月到24個月就會增加一倍,但是同期磁帶的性能大約只能提升20%——這意味著即便磁帶驅動器數量不再增加,遷移歸檔數據所需的時間也將越來越長!

當然,企業(yè)也可以選擇不做遷移,畢竟LTO的每代延續(xù)性是非常好的,但另一個問題是:磁帶驅動器的某些接口如光纖通道1Gb和2Gb已經不再被業(yè)界支持。如果不進行遷移,磁帶庫的數量就會增加,那必然導致成本的大幅上升。

從前一的角度來說,LTO-5還是慢了些,遷移一盤磁帶4個小時,對于數據中心大量的數據——PB就快成為日常的數據量單位——來說,LTO-5速度確實慢了些。

于是,問題就歸結為磁帶不斷膨脹的壓縮后可用容量增長和傳輸速率的矛盾:LTO-1、2、3、4、5格式磁帶的容量分別為200GB、400GB、800GB、1.6TB和3TB,傳輸速率最低為40MB/s,相對較高的LTO-4和5為240MB/s和280MB/s,如果說這還是在可接受范圍內的話,LTO-6、7、8的8TB、16TB、32TB則僅僅對應525MB/s、788MB/s和1180MB/s的速率,簡單的對比能夠發(fā)現,這兩個數值的變化并非是線性增長的。

對此,Bruce Master認為基于歸檔應用的特點,“LTO-5目前的傳輸速率是足夠的,對于LTO-6及以后的LTO格式,傳輸速率對于容量來說都是匹配的。”在Bruce Master看來,歸檔應用對時效性的追求并不高,280MB/s的速度裝滿一盤3TB的磁帶所需要的時間不超過4個小時,對于歸檔來說是足夠的。與備份不同,歸檔并不需要“立等可取”的緊迫的時效性的特性。

但另外的問題是如果用戶需要遷移磁帶——按照LTO聯盟的建議,磁帶上的數據至少在5~6年內,需要遷移到新一代的更大容量更高性能的磁帶上,不僅為了保證兼容性也是為了獲得更好的成本效益——如此大量的數據的遷移,LTO現有的性能是否夠用?

Bruce Master認為,磁帶遷移是磁帶整體成本的一部分,而從整體來看,磁帶的成本和遷移的速度不會影響磁帶本身的成本。

磁帶歸檔的隱性成本:遷移

Bruce Master在現場為與會的媒體對比了虛擬磁帶庫、SATA磁盤和磁帶的長期歸檔成本,其中,具有重復數據刪除功能的虛擬磁帶庫的5年備份與DR成本研究中,重復數據刪除率為15:1的虛擬磁帶庫的成本比LTO-5磁帶庫要高3~4倍;歷時12年的TCO存檔研究中,基于SATA磁盤的方案,僅其能耗成本一項,就已經超過基于磁帶的解決方案的整個TCO成本。

由于Bruce Master并未直接介紹在5年或12年的方案中,是否有過磁帶遷移情況出現,有與會媒體對此提出了質疑,認為在更長期的——如15年、20年、30年的周期內——磁帶歸檔必然要經過多次的遷移,這很可能導致磁帶歸檔成本的上升:受限于速度、磁帶的更新、耗費的時間和能耗,磁帶遷移的成本很可能會導致磁帶解決方案整體成本的上升。

“5年和12年的情況下,都有遷移的成本考慮進去。” Bruce Master表示,在兩個研究案例中,ESG和Clipper兩家分析機構都考慮了磁帶的遷移成本,而計算進成本的磁帶遷移仍然難以撼動磁帶的長期歸檔應用的低成本效益。

但磁帶的遷移模式是根據歸檔數據所使用的數據使用模式的不同而不同的,歸檔支持需要多長的時間?對工作時間的利用情況如何?由于歸檔經常發(fā)生變化,因此很難判斷歸檔負載是多少。因此,企業(yè)必須準備更多的磁帶驅動器,因為那些驅動器的使用時間通常都比預期的時間更長一些。這很可能導致少部分企業(yè)的磁帶遷移成本非常高昂。

用磁帶做歸檔層仍然比磁盤要好。

這通常會變成一個預算平衡的問題,舊式磁帶驅動器的成本通常很低,但新式磁帶驅動器的成本要高得多。等待遷移的時間越長,磁帶驅動器和磁帶的成本就越低,但是遷移舊式磁帶驅動器上的所有數據所需的時間就越長。 因此,很難決定最佳的成本模型。

大多數歸檔系統(tǒng)都必須先將數據從舊式磁帶上讀取出來,寫入磁盤,然后再從磁盤上讀取出來,寫入新式磁帶。如果歸檔系統(tǒng)要求在遷移過程中使用磁盤,那么企業(yè)還需要輔助存儲空間和帶寬來支持遷移。增加的數量取決于企業(yè)有多少備用的帶寬和存儲空間。例如,完全讀取LTO-4磁帶的數據并將數據寫入LTO-5磁帶就需要大量的存儲空間和帶寬。

如果企業(yè)想一次性讀取和寫入,那么你就必須準備1.5TB的存儲空間以及140MB/s的數據寫入帶寬和240MB/s的數據讀出帶寬。這可能會占用很大一部分RAID控制器的帶寬,大約是8Gb/s光纖通道支持帶寬的30%左右。

不過,Bruce Master認為磁帶仍然有殺手锏,那就是單位容量的低價格:“LTO-5每GB未經壓縮的容量價格是5美分,這低于所有的磁盤。”由于LTO-6很可能在明后兩年上市,LTO-5磁帶的性價比肯定會進一步的提升。

LTO進步LTFS:文件系統(tǒng)的墻角不好挖

IBM還宣布推出了利用Linear Tape File System Library Edition(LTFS LE)連接特定IBM磁帶庫的文件系統(tǒng)。該系統(tǒng)是由IBM研究室研發(fā)而成,可為客戶提供一種簡單且經濟有效的訪問和管理海量歸檔數據和數字資產的方法。IBM表示,LTFS客戶現在可以更高效地索引、搜索、檢索和共享存儲在開放磁帶格式Generation 5 LTO磁帶上的數據。

LTFS是基于LTO磁帶格式設計的磁帶文件系統(tǒng),與五年前夭折的HPTFS不同,LTFS不僅是建立在LTO-5這一更大容量基礎上的線性磁帶文件系統(tǒng),除了自描述特性外,LTFS能夠完整保留復制來源的目錄結構,這也就保證了磁帶上的文件系統(tǒng)結構與來自磁盤的時候“一摸一樣”。

磁帶曾經是順序讀、順序寫的代表介質,如今,磁帶開始走出這個桎梏。

LTFS格式利用了LTO-5的2個分區(qū)分別作為索引分區(qū)與數據分區(qū),數據分區(qū)中存放了所有的數據內容與meta data,而索引分區(qū)則存放數據分區(qū)中數據的附屬子集與附加meta data。

兩個分區(qū)共同構成LTFS Volume,每個分區(qū)的起始都是用于識別的標簽(Label)區(qū)段,其后則是存放索引或數據內容的區(qū)段,不同區(qū)段間則以檔案標記(file mark)區(qū)隔。

當LTFS Volume掛載起來后,索引區(qū)塊中的索引數據便會被讀進計算機的主存儲器,接下來系統(tǒng)便可利用這些位于主存儲器中的索引數據,去存取數據分區(qū)中的檔案。用戶在格式化磁帶時,也可將索引分區(qū)中的部分區(qū)域作為快取區(qū),將符合設定條件的檔案從數據分區(qū)寫到索引分區(qū),如此當LTFS Volume掛載時,索引分區(qū)中的快取數據就會被讀進主存儲器中的快取區(qū),藉以加速特定檔案的存取。

需要特別注意的是,LTFS格式并非僅能支持LTO-5磁帶,理論上只要能提供雙分割區(qū)功能的磁帶,都能應用LTFS。如IBM便宣稱當其專屬的3592磁帶規(guī)格在第4代產品中支持雙分割區(qū)功能后,也將具備使用LTFS格式的能力。不過目前唯一能提供雙分割區(qū)功能的磁帶規(guī)格只有LTO-5,這也讓當前的LTFS成為只有LTO-5磁帶可使用的功能。

在實際應用中,要讓LTFS格式發(fā)生效用,必須透過LTFS軟件。LTFS軟件主要有兩個作用:將磁帶機中的磁帶格式化為LTFS格式,并將LTFS格式磁帶掛載到操作系統(tǒng)上,或從操作系統(tǒng)中卸除。

由于識別、存取LTFS格式磁帶牽涉到磁帶機的驅動程序與固件,所以LTFS軟件都是由LTO磁帶機廠商所推出,且須搭配該廠商的磁帶機硬件才能使用——這也就造成了LTFS可能造成的用戶鎖定,對于目前僅有的IBM、HP和昆騰三家主流廠商的LTO聯盟來說,這并不是一個特別好的消息。

不過,在介紹中,Bruce Master表示“可以直接通過任意應用程序在磁帶上訪問文件”,相信這句話所說的“任意程序”,指的是操作系統(tǒng)中的應用程序。

Bruce Master表示,LTFS的潛在應用包括一般性的視頻負載、數字視頻監(jiān)控、醫(yī)療健康影像等,據他透露,類似《加勒比海盜4》這樣的電影制作團隊,就在使用基于LTO-5技術的LTFS系統(tǒng)平臺作為視頻文件的存儲后端。

分享到

cuihao

相關推薦