[用戶需求]
用戶提出在數(shù)據(jù)分級(jí)存儲(chǔ)管理系統(tǒng)建設(shè)里,需要實(shí)現(xiàn)以下功能:
1、 實(shí)現(xiàn)分級(jí)存儲(chǔ)管理,包括:在線存儲(chǔ)管理,近線存儲(chǔ)管理,離線存儲(chǔ)管理;
2、 具有遷移、歸檔、回遷等功能;
3、 具有磁盤空間釋放和磁帶整和功能;
4、 當(dāng)文件遷移到磁帶(近線存儲(chǔ)設(shè)備)上,磁盤應(yīng)保留文件識(shí)別信息,以便查詢、檢索、回遷文件;
5、 對(duì)離線設(shè)備即脫機(jī)磁帶上的數(shù)據(jù)仍能了解它存放的內(nèi)容和數(shù)量,需要時(shí)隨時(shí)可轉(zhuǎn)為二級(jí)存儲(chǔ)或一級(jí)存儲(chǔ)設(shè)備上的資料;
6、 遷移數(shù)據(jù)的格式應(yīng)滿足通用性,提供脫離本軟件讀取歸檔數(shù)據(jù)的解決方案;
7、 能夠滿足從MB到GB大文件的歸檔和回遷能力;
8、 能夠保證遷移過程中數(shù)據(jù)直接通過SAN通路從磁盤遷移到磁帶庫(kù)上,只有命令流才通過SAN管理服務(wù)器—–即實(shí)現(xiàn)“脫離服務(wù)器的遷移和回遷”;
9、 支持主流的磁帶機(jī)和自動(dòng)磁帶庫(kù);
10、靈活的歸檔策略,可以根據(jù)訪問文件時(shí)間、文件
系統(tǒng)空間使用率、文件使用頻率、文件名、文件類型等條件進(jìn)行歸檔;
11、提供與數(shù)據(jù)庫(kù)管理系統(tǒng)的接口;
12、提供集成化、圖形化的管理工具,可方便地進(jìn)行安裝、配置和管理;
13、提供管理監(jiān)控的API編程接口和商用監(jiān)控管理軟件的可管理接口。
[解決方案]
針對(duì)總體規(guī)劃和具體技術(shù)要求,我們選擇美國(guó)嘉道公司的Legato DiskXtender作為存儲(chǔ)管理軟件。DX是應(yīng)用于UNIX平臺(tái)的企業(yè)級(jí)分級(jí)存儲(chǔ)管理軟件,已為十幾個(gè)國(guó)家的氣象系統(tǒng)提供了出色的分級(jí)存儲(chǔ)管理解決方案。
方案的實(shí)現(xiàn)由兩個(gè)部分(DiskXtender UL的兩個(gè)模塊)構(gòu)成:
1、 Storage Manager:
用來管理用戶服務(wù)器上所有的存儲(chǔ)設(shè)備,包括磁盤空間。磁帶,光盤等等。其主要功能是在這些外部存儲(chǔ)設(shè)備上創(chuàng)建文件系統(tǒng),使用戶可以透明的訪問到這些空間。
2、 Data Manager:
用來管理網(wǎng)絡(luò)用戶需要遷移的數(shù)據(jù)和文件。使用戶構(gòu)建的數(shù)字化數(shù)據(jù)存儲(chǔ)系統(tǒng)滿足了以下條件:
• 在保存數(shù)據(jù)的同時(shí),仍然要保證數(shù)據(jù)的在線可以訪問的狀態(tài)。
• 由于用戶數(shù)據(jù)的增長(zhǎng)速度,系統(tǒng)的擴(kuò)容性要好,要將系統(tǒng)因擴(kuò)容所造成的停機(jī)影響和成本降低到最小。
方案中,用戶原來保存在紙張上,膠片上的數(shù)據(jù),經(jīng)用戶的轉(zhuǎn)換系統(tǒng)(如:模擬-數(shù)字采樣系統(tǒng),掃描設(shè)備等),變成數(shù)字文件,先保存在硬盤陣列上。然后由系統(tǒng)管理員根據(jù)自己系統(tǒng)的需求,制定合適的數(shù)據(jù)遷移規(guī)則,當(dāng)這些規(guī)則發(fā)生作用的時(shí)候,保存在Data Manager上的數(shù)據(jù)將被遷移到連接在Media Service上相應(yīng)的存儲(chǔ)設(shè)備上。但在數(shù)據(jù)被遷移到了這些外部存儲(chǔ)設(shè)備上之后,Data Manager仍然在本地的硬盤陣列中的MTF記錄中這些信息目前的所在位置,使得需要訪問這些數(shù)據(jù)的客戶端,仍可以直接對(duì)這些數(shù)據(jù)進(jìn)行透明的訪問,從而滿足了用戶的第一個(gè)要求。
由于整個(gè)系統(tǒng)采用了將一級(jí)存儲(chǔ)設(shè)備(硬盤)和二級(jí)存儲(chǔ)設(shè)備(磁帶和光盤)結(jié)合使用的方式。使那些二級(jí)存儲(chǔ)設(shè)備將原有的方便擴(kuò)容的性能帶進(jìn)了這個(gè)儲(chǔ)空間,眾所周知,對(duì)磁帶這類設(shè)備的擴(kuò)容只需要簡(jiǎn)單的添加設(shè)備就可以實(shí)現(xiàn)大大降低了硬盤擴(kuò)容的的周期,滿足了用戶對(duì)這個(gè)系統(tǒng)的第二個(gè)要求。
[用戶收益]
• 在所有主流平臺(tái)上的分級(jí)的數(shù)據(jù)存儲(chǔ)管理,從網(wǎng)絡(luò)各個(gè)地點(diǎn)上傳的數(shù)據(jù)將先保存在磁盤
陣列中緩沖區(qū)中,再通過系統(tǒng)管理員指定相應(yīng)的策略,數(shù)據(jù)將會(huì)自動(dòng)的轉(zhuǎn)移到后面的大型磁帶設(shè)備中;
• 數(shù)據(jù)在遷移到了后臺(tái)的磁帶存儲(chǔ)介質(zhì)上以后,仍然在硬盤上保留有相應(yīng)數(shù)據(jù)的識(shí)別信息,在用戶對(duì)已經(jīng)遷移走的數(shù)據(jù)進(jìn)行訪問的時(shí)候,系統(tǒng)將憑借這些信息從磁帶中找回用戶所需的文件;
• 只要用戶在硬盤上所開辟的緩沖區(qū)足夠大,那么可以保證任何容量的文件順利的遷移至磁帶庫(kù);
• 在SAN結(jié)構(gòu)中,數(shù)據(jù)的遷移或訪問將通過,磁盤>服務(wù)器>磁帶或磁帶>服務(wù)器>磁盤的數(shù)據(jù)流動(dòng)方式實(shí)現(xiàn),從而完全實(shí)現(xiàn)LAN-FREE方式,不會(huì)對(duì)用戶網(wǎng)絡(luò)造成額外的壓力;
• 集中管理.用戶可以通過一套完整的GUI用戶界面實(shí)現(xiàn)對(duì)整個(gè)分級(jí)存儲(chǔ)系統(tǒng)的完善管理。
[某氣象局?jǐn)?shù)據(jù)遷移系統(tǒng)拓?fù)鋱D]