隨著互聯(lián)網(wǎng)的普及,全球每天產(chǎn)生超過500億GB的數(shù)據(jù)。據(jù)專家預(yù)測(cè),到2025年這一數(shù)據(jù)將超過4000億GB。大數(shù)據(jù)的發(fā)展對(duì)于數(shù)據(jù)存儲(chǔ)的需求與日俱增,也讓存儲(chǔ)系統(tǒng)處于前所未有的變革時(shí)期,尋找新的數(shù)據(jù)存儲(chǔ)方式已經(jīng)成為企業(yè)和個(gè)人的迫切需要。
傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用集中的存儲(chǔ)服務(wù)器存放所有數(shù)據(jù),存儲(chǔ)服務(wù)器成為系統(tǒng)性能的瓶頸,也是可靠性和安全性的焦點(diǎn),不能滿足大規(guī)模存儲(chǔ)應(yīng)用的需要。而分布式存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu),利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷,利用位置服務(wù)器定位存儲(chǔ)信息,它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴(kuò)展。
分布式系統(tǒng)的出現(xiàn),有效解決了數(shù)據(jù)的存儲(chǔ)和管理難題,并逐步受到用戶的青睞。本期大咖說,邀請(qǐng)到華云數(shù)據(jù)產(chǎn)品營銷經(jīng)理張開亮為大家?guī)怼鞍渤植际轿募到y(tǒng)介紹”。
精彩觀點(diǎn)
1. 數(shù)字專項(xiàng)推動(dòng)企業(yè)數(shù)據(jù)快速增長。根據(jù)IDC預(yù)測(cè),未來五年,娛樂數(shù)據(jù)依然是最主要的數(shù)據(jù)創(chuàng)建類型,而來自生產(chǎn)/嵌?式數(shù)據(jù),例如物聯(lián)網(wǎng)、人工智能使用和創(chuàng)建的數(shù)據(jù)具有更高的增速,其占比將由2018年的15.3%增長到2023年的30.8%。隨著生產(chǎn)/嵌入式數(shù)據(jù)的快速增長,IDC預(yù)計(jì),2019年,企業(yè)創(chuàng)建的數(shù)據(jù)量將超過消費(fèi)者所創(chuàng)建的體量,占整個(gè)數(shù)據(jù)圈的53.4%。
2. 目前,傳統(tǒng)存儲(chǔ)設(shè)備擁有諸多問題,如擴(kuò)展能力有限、設(shè)計(jì)目標(biāo)差異,文件系統(tǒng)功能較弱,可用性問題突出,總體擁有成本高等等。
3. 隨著技術(shù)的發(fā)展,存儲(chǔ)系統(tǒng)也發(fā)生了演變,如今的存儲(chǔ)系統(tǒng)應(yīng)用松耦合架構(gòu),采用通用商用部件和橫向擴(kuò)展方式,并在設(shè)計(jì)時(shí)充分考慮部件故障,這樣不僅解決了數(shù)據(jù)的存放、保護(hù)和優(yōu)化,還在數(shù)字經(jīng)濟(jì)迅猛膨脹的過程中,做到降低成本、高效率地存放。
4. 安超分布式文件系統(tǒng)是面向海量數(shù)據(jù)的新型企業(yè)級(jí)存儲(chǔ)系統(tǒng)軟件,部署于低成本的通用硬件的網(wǎng)絡(luò)集群之上,管理并整合集群內(nèi)所有存儲(chǔ)資源,構(gòu)建具有單一文件系統(tǒng)影像的數(shù)據(jù)存儲(chǔ)空間。安超分布式文件系統(tǒng)通過良好設(shè)計(jì)的系統(tǒng)架構(gòu)、數(shù)據(jù)分布與保護(hù)策略,為用戶提供高性能、高可用、高可擴(kuò)展,易于管理的海量數(shù)據(jù)存儲(chǔ)系統(tǒng)。
5. 安超分布式文件系統(tǒng)運(yùn)行于網(wǎng)絡(luò)互連的集群系統(tǒng)之上,通過在不同節(jié)點(diǎn)之上安裝安超分布式文件系統(tǒng)的邏輯部件,將所有節(jié)點(diǎn)的存儲(chǔ)資源整合成一個(gè)單一文件系統(tǒng)空間。安超分布式文件系統(tǒng)包含了三個(gè)主要的邏輯部件:元數(shù)據(jù)服務(wù)器、數(shù)據(jù)服務(wù)器以及客戶端。
6. 安超分布式文件系統(tǒng)的主要邏輯部件可根據(jù)應(yīng)用的具體需求靈活部署,以適配不同類型的數(shù)據(jù)訪問模式。為了兼容傳統(tǒng)網(wǎng)絡(luò)文件服務(wù),安超分布式文件系統(tǒng)還支持NAS網(wǎng)關(guān),通過該網(wǎng)關(guān),可以將安超分布式文件系統(tǒng)以CIFS/NFS/FTP等傳統(tǒng)網(wǎng)絡(luò)文件協(xié)議的形式輸出。在大多數(shù)操作系統(tǒng)上均有安裝這些協(xié)議的客戶端,因此大部分用戶無需安裝客戶端軟件即可訪問安超分布式文件系統(tǒng)。
7. 安超分布式文件系統(tǒng)擁有很多優(yōu)勢(shì)。在高可擴(kuò)展的彈性架構(gòu)方面,安超分布式文件系統(tǒng)具有很好的彈性,在容量、性能和可管理性三個(gè)維度上具有線性擴(kuò)展能力。用戶可根據(jù)自身需求構(gòu)建不同規(guī)模的安超分布式文件系統(tǒng),通過簡單的增加存儲(chǔ)設(shè)備和處理節(jié)點(diǎn)以獲得容量及性能的線性增長。
8. 在高可用、高可靠方面,安超分布式文件系統(tǒng)采用高效的數(shù)據(jù)復(fù)制以及智能的數(shù)據(jù)分布策略來保證數(shù)據(jù)可靠性和可用性。如將文件復(fù)制多個(gè)副本,分別存放在不同機(jī)架的不同服務(wù)器之上,保證用戶數(shù)據(jù)不會(huì)丟失,同時(shí),可通過副本自動(dòng)恢復(fù)損壞的數(shù)據(jù)。
9. 在高性能方面,安超分布式文件系統(tǒng)應(yīng)用數(shù)據(jù)分塊、IO調(diào)度、緩存、預(yù)取、延遲寫等技術(shù),提供了出眾的IO性能,不存在單點(diǎn)的性能瓶頸。另外,在安超分布式文件系統(tǒng)過載的情況下,性能下降幅度可控,不會(huì)出現(xiàn)常見的性能大幅下降甚至服務(wù)不可用的情況。
10. 在自動(dòng)管理、自動(dòng)修復(fù)、自動(dòng)優(yōu)化方面,安超分布式文件系統(tǒng)針對(duì)大規(guī)模系統(tǒng)中的故障特性進(jìn)行分析和研究,設(shè)計(jì)了具有自修復(fù)、自管理和自優(yōu)化的系統(tǒng)管理軟件,最大程度減少系統(tǒng)管理員手中干預(yù),極大的節(jié)省系統(tǒng)的管理維護(hù)成本。
11. 在豐富的接口支持方面,安超分布式文件系統(tǒng)提供傳統(tǒng)的文件系統(tǒng)接口以兼容現(xiàn)有的應(yīng)用程序,具有很好的跨平臺(tái)性和互操作性。同時(shí),還提供高效、易用的APIs接口、Hadoop DFS的接口,及離線的元數(shù)據(jù)SQL查詢接口。
12. 目前,安超分布式文件系統(tǒng)已經(jīng)被應(yīng)用于科學(xué)計(jì)算、視頻處理與視頻服務(wù)、醫(yī)療影像、云計(jì)算與服務(wù)等多種類型的場景。經(jīng)過長時(shí)間生產(chǎn)環(huán)境的驗(yàn)證,安超分布式文件系統(tǒng)已被證明是上述類型場景中行之有效的存儲(chǔ)解決方案。