杉巖數(shù)據(jù)“最大”的標(biāo)簽是對象存儲,邱尚高表示,從市場角度而言,當(dāng)前分布式文件存儲的市場更大,但從場景應(yīng)用角度方面而言,以5G、大數(shù)據(jù)、人工智能為代表的新興技術(shù)深入行業(yè)應(yīng)用,智能在“端、邊、云”延伸,數(shù)據(jù)的種類和數(shù)量越來越多,企業(yè)對數(shù)據(jù)價值的訴求也更趨強烈,對象存儲因互聯(lián)網(wǎng)而生,面對海量數(shù)據(jù)場景具備天然優(yōu)勢,逐漸成為大數(shù)據(jù)時代存儲界的后起之秀。
觀中國SDS市場:對象存儲或?qū)⑻娲募鎯?/strong>
對象存儲,業(yè)內(nèi)稱之為第三大存儲類型,其綜合了NAS和SAN的優(yōu)點,同時具有SAN的高速直接訪問和NAS的數(shù)據(jù)共享等優(yōu)勢,提供了高可靠性、跨平臺性以及安全的數(shù)據(jù)共享的存儲體系結(jié)構(gòu)。
在對象存儲與文件存儲的對比中,特別是在大量文件的并發(fā)性能方面,對象存儲比文件存儲要強的多,同時,在系統(tǒng)中存入大量文件后的性能穩(wěn)定性方面,對象存儲的表現(xiàn)也比文件存儲要強的多。
從技術(shù)角度看,由于文件存儲要維護龐大且復(fù)雜的文件目錄,當(dāng)文件數(shù)越來越多,目錄越來越復(fù)雜,文件存儲的性能就越差。而對象存儲的可擴展性比文件存儲要好的多,對象存儲把文件存在單一命名空間下,采用哈希的查找方式來找文件,效率和性能要高很多,文件數(shù)再多也幾乎不影響性能。
邱尚高表示,對象存儲將文件管理規(guī)模提升了100倍以上,為大數(shù)據(jù)海量智能存儲提供底座。對象存儲與文件存儲相比,在新技術(shù)的支持上更有優(yōu)勢,如容器的支持場景,面對容器大規(guī)模的劇增,成百上千的POD啟動時執(zhí)行掛載操作(屬重型操作)對存儲性能提出更高的要求,甚至出現(xiàn)掛載失敗的現(xiàn)象;而使用對象存儲,POD啟動無需掛載存儲,只有在業(yè)務(wù)訪問文件時,才會跟存儲建立連接,所以在POD批量創(chuàng)建/啟動變得輕松自如。
當(dāng)然,對象存儲并非能完全取代文件存儲,源于一些特定場景的因素,如HPC場景、個人辦公文件共享場景、老舊業(yè)務(wù)系統(tǒng),但也非絕對,未來企業(yè)網(wǎng)盤將替換個人辦公文件共享場景,而企業(yè)網(wǎng)盤的關(guān)鍵技術(shù)為對象存儲。
讀第一陣營:探秘杉巖對象存儲的場景化能力
在云計算領(lǐng)域,公有云服務(wù)商都不約而同支持對象存儲,對象存儲為公有云提供技術(shù)基礎(chǔ),為數(shù)據(jù)上云注入技術(shù)力量,通過對象存儲提供數(shù)據(jù)分發(fā)、備份、分析等數(shù)據(jù)存儲服務(wù),提供在互聯(lián)網(wǎng)任何位置的數(shù)據(jù)存儲和訪問服務(wù),提供空間租賃服務(wù)等等。對象存儲的應(yīng)用,能使云上創(chuàng)新順利嫁接到企業(yè)私有云環(huán)境中,從技術(shù)生態(tài)來看,對象存儲對于企業(yè)IT架構(gòu)轉(zhuǎn)型至關(guān)重要。
對企業(yè)來說,對象存儲能解決用戶使用公有云資源的需求,想搭建混合云架構(gòu)的需求,想構(gòu)建數(shù)據(jù)湖來容納各種數(shù)據(jù)類型的需求,想做大數(shù)據(jù)分析挖掘數(shù)據(jù)價值,想用人工智能賦能業(yè)務(wù)創(chuàng)新,想使用容器以及云原生技術(shù)架構(gòu)加速業(yè)務(wù)創(chuàng)新的需求…….在諸多場景中,對象存儲的都能發(fā)揮什么的價值呢?
針對諸多應(yīng)用場景,邱尚高從技術(shù)角度解釋了對象存儲的場景化能力。
場景一:數(shù)據(jù)湖場景
談及數(shù)據(jù)湖場景,邱尚高表示,對象存儲作為整個數(shù)據(jù)湖架構(gòu)的核心要素,承載著企業(yè)近乎全部的數(shù)據(jù)資產(chǎn)。數(shù)據(jù)湖需要存儲萬億級別的文件數(shù)、EB級別的容量,且數(shù)據(jù)類型不同、資源對接區(qū)域不同、應(yīng)用場景類型不同,數(shù)據(jù)存儲的壓力非常大。對象存儲采用彈性的分布式架構(gòu),靈活對接各類應(yīng)用,可匯聚不同類型、不同大小的數(shù)據(jù)資源(包括結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù),大文件、小文件)。
首先,對象存儲的擴展性保證了能存下大量數(shù)據(jù);其次,對象存儲的靈活性既能支持傳統(tǒng)應(yīng)用,也能支持云原生應(yīng)用;再者,由于與云端采用了一致的對象存儲標(biāo)準(zhǔn),幫助企業(yè)構(gòu)建了混合云架構(gòu)的數(shù)據(jù)底座,幫助企業(yè)將公有云的能力延展到企業(yè)內(nèi)部。
數(shù)據(jù)湖雖未大范圍部署,但優(yōu)勢顯而易見,前景廣闊。邱尚高認為,數(shù)據(jù)湖是一個循序漸進的概念,企業(yè)不會為了建數(shù)據(jù)湖而建,數(shù)據(jù)湖是一張藍圖,數(shù)據(jù)湖是需要一步步推動的結(jié)果。對象存儲的采用,為未來一步步搭建數(shù)據(jù)湖打下了基礎(chǔ)。
場景二:大數(shù)據(jù)場景
在談到大數(shù)據(jù)場景時,邱尚高談到了大數(shù)據(jù)存算分離的趨勢,究其原因,是在于原來的Hadoop方案升級擴展不夠靈活,計算和存儲必須同時進行,操作難度和運維成本是問題。而有了存算分離后,可以用對象存儲替代HDFS,讓對象存儲和Hadoop獨立擴容和升級,減少了Hadoop新版本升級的障礙。
同時,由于對象存儲采用的是EC糾刪碼和冷熱分層技術(shù)來提升磁盤利用率,相比原來HDFS三副本的設(shè)定,成本效益非常明顯。而且,相對于只適合大文件的HDFS,對象存儲對小文件也更友好。
場景三:AI/ML場景
在AL/ML場景中,數(shù)據(jù)準(zhǔn)備階段和訓(xùn)練階段對存儲的需求各不同,杉巖數(shù)據(jù)對象存儲方案用一套架構(gòu)滿足了該場景的需求。比如,數(shù)據(jù)準(zhǔn)備階段可能會有大量的圖片和標(biāo)簽數(shù)據(jù),如果都存在文件存儲上,NAS的圖片檢索壓力會很大,如果引入NoSQL,那么架構(gòu)會更復(fù)雜。
在訓(xùn)練階段,NAS文件存儲在面對海量小文件時的性能壓力可能會成為瓶頸。此外,由于數(shù)據(jù)準(zhǔn)備階段和訓(xùn)練階段的對應(yīng)不同的存儲設(shè)備,需要進行數(shù)據(jù)遷移拷貝的操作,費時費力耗空間。有了對象存儲之后,這些問題全都迎刃而解了。
杉巖數(shù)據(jù)的對象存儲提供AI/ML場景的全生命周期管理,全過程在一套存儲上完成,無需進行任何數(shù)據(jù)復(fù)制拷貝操作。在數(shù)據(jù)準(zhǔn)備階段,可以用標(biāo)簽來直接檢索圖片。在訓(xùn)練階段,對象存儲高性能文件網(wǎng)關(guān)能解決海量小文件存儲性能的問題。
場景四:智能化、自動化的數(shù)據(jù)處理場景
很多數(shù)據(jù)都是先處理后存儲,杉巖數(shù)據(jù)對象存儲依托智能數(shù)據(jù)處理引擎,將數(shù)據(jù)處理能力下沉到存儲系統(tǒng)內(nèi)部?;诓呗杂|發(fā),自動完成圖片轉(zhuǎn)碼、視頻抽幀、OCR識別等處理任務(wù)。以智能制造為例,杉巖MOS已經(jīng)幫助UTAC(聯(lián)測優(yōu)特半導(dǎo)體)提升智能質(zhì)檢效率,通過生命周期管理策略設(shè)定,在MOS內(nèi)部完成質(zhì)檢圖片的存儲、格式轉(zhuǎn)換、冷熱分層和過期自動刪除,節(jié)省80%存儲空間,大幅降低成本并簡化了業(yè)務(wù)流程。
杉巖數(shù)據(jù)的對象存儲能自動將BMP圖片轉(zhuǎn)化為高壓縮率的JPG圖片,將數(shù)據(jù)壓縮為原來的四分之一,極大地節(jié)省了存儲空間。與此同時,它還提供了自動化的分層和策略化管理,充分利用分布式處理的能力,減少了主機和存儲間的數(shù)據(jù)搬運,提高了系統(tǒng)運行效率。
此外,邱尚高還提到了對象存儲平臺在原生云OLAP場景上,在IPFS場景方面的優(yōu)勢。特別是在將OLAP數(shù)據(jù)庫的查詢條件卸載到存儲,針對IPFS的時空證明專有接口方面所表現(xiàn)出來的性能優(yōu)勢令人印象深刻。以上多個場景中,都展示出了對象存儲與上層應(yīng)用垂直優(yōu)化時,相比傳統(tǒng)存儲的軟硬件垂直優(yōu)化的優(yōu)勢,在關(guān)鍵性能方面更能達到數(shù)量級的提升。
從邱尚高的介紹中能感受到,對象存儲作為基礎(chǔ)架構(gòu)領(lǐng)域最具發(fā)展前景的存儲類型,在許多新的場景中都得到了應(yīng)用,這與對象存儲本身的靈活可編程的特性有很大關(guān)系,當(dāng)許多創(chuàng)新都圍繞對象存儲展開的話,選擇對象存儲就為未來更多新技術(shù)做好了準(zhǔn)備。
展望未來:對象存儲如同八九點鐘的太陽“嶄露鋒芒”
對象存儲,談起來容易,實現(xiàn)起來并非輕而易舉,在技術(shù)特性、軟件功能上需要不斷打磨。作為國內(nèi)對象存儲市場份額位列第二的杉巖數(shù)據(jù),在新技術(shù)、新功能、新性能、新應(yīng)用上不斷加大投入,研發(fā)投入已達數(shù)億元,這種對產(chǎn)品的“單磕”,使得杉巖數(shù)據(jù)在對象存儲的技術(shù)創(chuàng)新方面獨具優(yōu)勢。
前不久,杉巖數(shù)據(jù)2 EB超大規(guī)模數(shù)據(jù)中心存儲項目引起了圈內(nèi)人士的廣泛關(guān)注,這是對杉巖數(shù)據(jù)技術(shù)能力和實踐能力的認同,也是市場對于對象存儲的 認可。
IDC預(yù)測,未來5年,對象存儲在中國SDS市場的增長率將達到制高點,5G+AIoT時代,智能存儲應(yīng)用場景越來越豐富,數(shù)據(jù)增長規(guī)模如“洪流”般兇猛,對象存儲優(yōu)勢將進一步放大。
邱尚高表示,現(xiàn)階段對象存儲使用率高的行業(yè)有金融科技、醫(yī)療影像、制造業(yè)、智慧交通等,許多行業(yè)處在向?qū)ο蟠鎯η袚Q的過程中。一些備份軟件、企業(yè)網(wǎng)盤、大數(shù)據(jù)分析應(yīng)用中把S3作為標(biāo)準(zhǔn)接口,在一定程度上,對象存儲已打開局面。
杉巖數(shù)據(jù)專注于對象存儲,而非投入更多精力深耕文件存儲,邱尚高表示,杉巖數(shù)據(jù)的關(guān)鍵業(yè)務(wù)仍以對象存儲為核心,以新一代智能分布式存儲技術(shù)為依托,致力于打造云計算、人工智能、物聯(lián)網(wǎng)等領(lǐng)域的數(shù)據(jù)存儲基石,不忘初衷方得始終。對象存儲正值攀登的好時期,如同八九點鐘的太陽,讓我們一同迎接朝霞。
另外,從市場競爭及發(fā)展的方向看,杉巖數(shù)據(jù)正處在快速發(fā)展階段,作為中國存儲市場的新勢力,將繼續(xù)加強生態(tài)建設(shè),以更大的力量為用戶提供“對象”服務(wù),打造更完善的私有云、混合云智能存儲服務(wù)。