數(shù)據(jù)由結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)組成，其中非結(jié)構(gòu)化數(shù)據(jù)是導(dǎo)致數(shù)據(jù)量激增的主要原因。

此前，應(yīng)用關(guān)注的重點(diǎn)在結(jié)構(gòu)化數(shù)據(jù)，因?yàn)槠涮攸c(diǎn)是價(jià)值密度高，數(shù)據(jù)量并不大，主要以數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)等應(yīng)用為主。但是隨著數(shù)據(jù)處理成本的不斷降低，大量非結(jié)構(gòu)化數(shù)據(jù)也得到了重視，以電商、在線教育為例，用戶的消費(fèi)習(xí)慣和訪問(wèn)行為都成為了業(yè)務(wù)關(guān)注的重點(diǎn)，盡管其價(jià)值密度低，且數(shù)據(jù)量巨大。

但是無(wú)論何種數(shù)據(jù)，都存在一個(gè)從極熱/熱、溫、冷、極冷數(shù)據(jù)的變化過(guò)程，所謂數(shù)據(jù)的生命周期，不同階段對(duì)處理需求也不相同，例如熱數(shù)據(jù)處理需要高IOPS、低延遲的能力。相比冷數(shù)據(jù)則對(duì)IOPS、延遲要求不高，主要訴求在容量上，主要強(qiáng)調(diào)$/GB的成本。

目前還沒(méi)有一種存儲(chǔ)技術(shù)能夠同時(shí)滿足數(shù)據(jù)生命周期的全部需求，要么滿足性能，要么滿足$/GB成本，在現(xiàn)實(shí)選擇中，NAND SSD主要用于滿足性能需要，大容量硬盤用于容量型的滿足。全閃存陣列和分布式存儲(chǔ)并存。

分布式存儲(chǔ)的新突破

值得注意的是，集中式存儲(chǔ)是中心化性質(zhì)的存儲(chǔ)，通過(guò)http協(xié)議方式集中訪問(wèn)，由于數(shù)據(jù)中心化，高峰時(shí)會(huì)面臨擁擠，卡頓的現(xiàn)象，同時(shí)容易受到攻擊，導(dǎo)致信息丟失，盜竊;其運(yùn)維成本比較高。

而分布式存儲(chǔ)是一種去中心化存儲(chǔ)，例如面向全球的、點(diǎn)對(duì)點(diǎn)的分布式文件儲(chǔ)存系統(tǒng)，數(shù)據(jù)訪問(wèn)采用點(diǎn)對(duì)點(diǎn)的超媒體傳輸協(xié)議。

在架構(gòu)設(shè)計(jì)上，構(gòu)建一個(gè)分布式存儲(chǔ)，需要構(gòu)建計(jì)算集群和存儲(chǔ)集群，其中，計(jì)算集群用于生成和驗(yàn)證復(fù)制證明(PoRep)、時(shí)空證明(Post)等鑒權(quán)數(shù)據(jù);存儲(chǔ)集群則用于海量分布式數(shù)據(jù)的存儲(chǔ)。

集群性質(zhì)不同，所需要的存儲(chǔ)支撐技術(shù)也不相同。

計(jì)算集群需要對(duì)PoRep、Post等進(jìn)行交互式驗(yàn)證，會(huì)涉及原始數(shù)據(jù)的封裝處理、證明數(shù)據(jù)的計(jì)算、檢索和抽取等，要求是高IOPS，以及穩(wěn)定性、可靠性，一旦失敗，將直接影響經(jīng)濟(jì)效益。因此在技術(shù)的選擇上，計(jì)算集群適合采用企業(yè)級(jí)SSD產(chǎn)品，如西部數(shù)據(jù)的Ultrastar DC SN640/SN840 NVMe SSD。

相比，存儲(chǔ)集群對(duì)于單盤容量、成本比較敏感。SMR等大容量硬盤更能夠滿足存儲(chǔ)集群的需求。有數(shù)據(jù)顯示，單盤容量的提升能夠帶來(lái)更大容量、更低功耗，以及更高的效率。

在近日舉辦的Web3.0中國(guó)峰會(huì)上表示：“在Web3.0領(lǐng)域，主要容量節(jié)點(diǎn)從8TB遷移到今年的18TB只花了四個(gè)季度的時(shí)間。Web3.0廠商快速學(xué)習(xí)了互聯(lián)網(wǎng)服務(wù)商最新的存儲(chǔ)技術(shù)，然后部署到18TB的更大容量、更高密度的方案，來(lái)獲得存儲(chǔ)成本和密度的優(yōu)勢(shì)。目前，18TB已經(jīng)是云存儲(chǔ)和Web3.0存儲(chǔ)中最主要的容量節(jié)點(diǎn)?！?/p>

去中心化的存儲(chǔ)，對(duì)源數(shù)據(jù)的確權(quán)，以及重復(fù)數(shù)據(jù)、副本數(shù)據(jù)的甄別，都帶來(lái)了創(chuàng)新性的思路，從效果看在$/GB成本表現(xiàn)上更勝一籌。此外，外部環(huán)境的加持，更為數(shù)據(jù)生命周期管理帶來(lái)嶄新的思路。

劉鋼指出：“憑借行業(yè)領(lǐng)先的閃存和硬盤存儲(chǔ)技術(shù)，以及縱向集成與產(chǎn)能上的獨(dú)有優(yōu)勢(shì)，西部數(shù)據(jù)不斷為分布式存儲(chǔ)領(lǐng)域提供先進(jìn)的數(shù)據(jù)存儲(chǔ)架構(gòu)和解決方案。在未來(lái)，我們將持續(xù)助力客戶降低部署和運(yùn)維成本，并滿足高效率、大容量及節(jié)能減排等多樣化需求，加速Web 3.0落地，助力‘東數(shù)西算’算力網(wǎng)絡(luò)建設(shè)?！?/p>

據(jù)劉鋼介紹，在分布式存儲(chǔ)領(lǐng)域，西部數(shù)據(jù)攜手多位行業(yè)合作伙伴，共同探索創(chuàng)新的存儲(chǔ)解決方案，賦能Web3.0的蓬勃發(fā)展。

其中，騰訊結(jié)合了西部數(shù)據(jù)企業(yè)級(jí)硬盤，以及面向騰訊應(yīng)用場(chǎng)景進(jìn)行優(yōu)化的高密存儲(chǔ)服務(wù)器，推出分布式存儲(chǔ)服務(wù)Tencent COS，實(shí)現(xiàn)了存儲(chǔ)桶空間無(wú)容量上限擴(kuò)展，滿足多種場(chǎng)景需求，并實(shí)現(xiàn)了穩(wěn)定性、安全性、易用性、成本效益等方面的優(yōu)勢(shì)。

西部數(shù)據(jù)與杉巖數(shù)據(jù)聯(lián)合打造融合了杉巖MOS海量對(duì)象存儲(chǔ)系統(tǒng)、Ultrastar DC SN640/SN840、Ultrastar DC HC550 和 JBOD 存儲(chǔ)平臺(tái)的解決方案，降低了業(yè)務(wù)的總體擁有成本(TCO)、全面提升經(jīng)濟(jì)效益。

靈動(dòng)則應(yīng)用了西部數(shù)據(jù)Ultrastar DC SN640/SN840、Ultrastar DC HC550，讓客戶擁有更快的封裝、驗(yàn)證、出塊速度，并根據(jù)網(wǎng)絡(luò)質(zhì)量對(duì)三大網(wǎng)絡(luò)運(yùn)營(yíng)商進(jìn)行實(shí)時(shí)調(diào)整，自由切換，提高了客戶的效益。

此外，星辰天合(XSKY)、浪潮聯(lián)手西部數(shù)據(jù)，推出了分布式存儲(chǔ)解決方案，包括西部數(shù)據(jù) Ultrastar DC HC550 18TB硬盤、浪潮英信服務(wù)器NF5466M5、XSKY文件存儲(chǔ)系統(tǒng)等關(guān)鍵組件，不僅實(shí)現(xiàn)了快速部署、便捷運(yùn)維，還減少了業(yè)務(wù)的異常情況帶來(lái)的損失，大幅提升業(yè)務(wù)能力。

小結(jié)

作為企業(yè)最核心的資產(chǎn)，全生命周期的數(shù)據(jù)必須得到重視，既然沒(méi)有一個(gè)單一技術(shù)的選擇，這意味著現(xiàn)實(shí)階段還需要將存儲(chǔ)分層技術(shù)進(jìn)行到底!

songjy