作為看數(shù)據(jù)存儲(chǔ)更多的媒體,自然免不了聊點(diǎn)略顯枯燥的存儲(chǔ),為了看起來沒那么枯燥,我盡量找?guī)讉€(gè)有意思的說說,不得不說,AWS存儲(chǔ)還是有挺多騷操作的。
降本增效新舉措,自研Amazon Nitro SSD
首先第一個(gè)就是發(fā)布關(guān)于Nitro SSD的,亞馬遜云科技大中華區(qū)產(chǎn)品部計(jì)算與存儲(chǔ)總監(jiān)周舸在面向中國媒體的有限時(shí)間里,也花較多篇幅介紹過閃存產(chǎn)品,新的Nitro SSD。此前我們也單獨(dú)聊過。
AWS自研SSD一方面在于可以更可控地輸出一致性能,更大的意義就是掌握了NAND SSD Firmware固件自由更新的權(quán)利,此次發(fā)布,意味著AWS對(duì)基礎(chǔ)架構(gòu)的掌控力進(jìn)一步提升。
其實(shí),SSD根據(jù)使用場(chǎng)景不同,對(duì)性能和成本的優(yōu)化空間很大,也能帶來降本增效的效果。比如,有一些云廠商通過極致的操作可以省下OP的空間,也有的云廠商開始使用更具經(jīng)濟(jì)性的QLC NAND,更細(xì)致的操作還有很多。
總之,SSD的技術(shù)創(chuàng)新對(duì)于云廠商也非常重要。AWS不是第一家自研SSD的云廠商,也不會(huì)是最后一家。
磁帶數(shù)據(jù)也能快遞上云了——Amazon Snowball Edge
大家對(duì)于AWS的硬件都格外關(guān)注,比如1U和2U的Amazon Outposts就很吸引眼球,Snow家族,包括Snowball,Snowmobile,Snowball Edge,Snowcone都是物理數(shù)據(jù)搬遷服務(wù),Snowball Edge支持把數(shù)據(jù)從磁帶里遷移到AWS數(shù)據(jù)中心里的S3上。
連磁帶歸檔都照顧到了,AWS為所有可能上云的數(shù)據(jù)都打開了大門。磁帶數(shù)據(jù)上云后,存在Amazon S3 Glacier上,企業(yè)仍可以沿用原來基于磁帶的數(shù)據(jù)備份和恢復(fù)工作流程,因?yàn)?,它能在AWS的存儲(chǔ)網(wǎng)關(guān)上來創(chuàng)建虛擬磁帶庫,能照顧用戶原有的使用習(xí)慣。
Snow家族的遷移服務(wù)目前只在部分區(qū)域可用,在中國市場(chǎng)也特別值得期待,因?yàn)橹袊爝f物流的效率比較高,可能實(shí)際用戶體驗(yàn)會(huì)比美國本土更好,這可能是極少數(shù)落地能中國水土更服的云服務(wù)了。
值得一提的是,Snow家族的遷移不只是從本地遷移到AWS數(shù)據(jù)中心,也能反向交還數(shù)據(jù),這是容易被忽視,被用戶擔(dān)心的點(diǎn),用戶可以放心,云上的數(shù)據(jù)不會(huì)隨便被風(fēng)吹跑。
對(duì)象存儲(chǔ)Amazon S3:歸檔存儲(chǔ)層也支持立即訪問
Amazon S3 Glacier是著名的云上低成本歸檔存儲(chǔ),歸檔存儲(chǔ)就像是擺在書架最高最里面的那排書,可能幾年都不會(huì)拿出來看一次的那種,想拿出來看一次也需要等很長(zhǎng)時(shí)間,原來的S3 Glacier的數(shù)據(jù)訪問時(shí)間大概是幾分鐘到幾小時(shí)之間。
而S3 Glacier Instant Retrieval存儲(chǔ)層級(jí)要做的是那種既能低成本地做歸檔,同時(shí),也能毫秒級(jí)響應(yīng)的這種特別的場(chǎng)景,它是S3的一個(gè)新的存儲(chǔ)層級(jí),它利用了S3智能分層技術(shù),它能降低存儲(chǔ)成本,它為歸檔存儲(chǔ)提供了立即訪問的能力。
它的延遲和帶寬性能表現(xiàn)與標(biāo)準(zhǔn)的S3和S3 標(biāo)準(zhǔn)IA(不經(jīng)常訪問)存儲(chǔ)層級(jí)一樣,而且,與S3 標(biāo)準(zhǔn)IA相比,S3 Glacier Instant Retrieval能最多節(jié)省68%的成本。
新老用戶都可以直接使用新的存儲(chǔ)層級(jí)。新上傳的對(duì)象可以直接選這一層,而原來S3里的對(duì)象可以轉(zhuǎn)向S3 Glacier Instant Retrieval,隨后,自動(dòng)分層技術(shù)會(huì)自動(dòng)幫用戶在層級(jí)間遷移數(shù)據(jù)。
AWS表示,S3 Glacier Instant Retrieval適用于那些有不可預(yù)測(cè)訪問模型和不斷變化訪問模型的場(chǎng)景,比如數(shù)據(jù)湖、數(shù)據(jù)分析等場(chǎng)景。
文件存儲(chǔ)Amazon FSx的新功能
第一個(gè)更新關(guān)于Amazon FSx for Lustre,它支持讓用戶本地文件系統(tǒng)與S3對(duì)象存儲(chǔ)進(jìn)行雙向數(shù)據(jù)同步,把S3桶與本地文件存儲(chǔ)關(guān)聯(lián)后,F(xiàn)Sx for Lustre能讓系統(tǒng)把S3當(dāng)成文件存儲(chǔ)來用,把數(shù)據(jù)直接寫到S3里。
有許多應(yīng)用的工作負(fù)載都需要不同的存儲(chǔ)類型,S3對(duì)象存儲(chǔ)適合用來做數(shù)據(jù)轉(zhuǎn)換、準(zhǔn)備或?qū)?導(dǎo)出任務(wù),而有些則需要用POSIX文件系統(tǒng)的方式來訪問數(shù)據(jù),而Amazon FSx for Lustre可以讓存儲(chǔ)在S3上的對(duì)象與Lustre文件系統(tǒng)同步,滿足多樣存儲(chǔ)需求。
第二個(gè),Amazon FSx家族新增了OpenZFS文件系統(tǒng),OpenZFS是又一個(gè)比較流行的文件存儲(chǔ)系統(tǒng),OpenZFS有幾個(gè)功能特性非常吸引人:透明壓縮、持續(xù)完整性驗(yàn)證、快照和寫時(shí)復(fù)制。
FSx for OpenZFS是運(yùn)行在Graviton處理器之上,支持行業(yè)標(biāo)準(zhǔn)的NFS協(xié)議和NFS的一些高級(jí)特性,OpenZFS的性能不錯(cuò),支持最高達(dá)100的IOPS,延遲為100-200微秒之間,高達(dá)12 GB/s的壓縮傳輸帶寬。
適用于對(duì)存儲(chǔ)要求比較高的場(chǎng)景,比如機(jī)器學(xué)習(xí)、EDA(電子設(shè)計(jì)自動(dòng)化)、媒體處理、財(cái)務(wù)分析、代碼存儲(chǔ)庫、DevOps 和 Web 內(nèi)容管理工作負(fù)載等場(chǎng)景。
AWS數(shù)據(jù)保護(hù)方案Amazon Backup宣布支持S3和VMware
Amazon Backup是AWS的云上數(shù)據(jù)保護(hù)解決方案,這是一個(gè)全托管、基于策略的服務(wù),可以跨多個(gè)云服務(wù)對(duì)應(yīng)用數(shù)據(jù)進(jìn)行集中化的備份和恢復(fù)操作。
目前支持包括AmazonEC2、 Amazon EBS、 Amazon RDS、 Amazon DynamoDB、 Amazon Neptune數(shù)據(jù)庫、 Amazon EFS、 Amazon FSx、AWS存儲(chǔ)網(wǎng)關(guān)等十二個(gè)AWS云服務(wù)。
Amazon Backup最新添加了對(duì)于S3的支持,也就是Amazon Backup for S3,它的意義在于,不僅能跨多種服務(wù)進(jìn)行集中備份和恢復(fù),還能滿足用戶對(duì)于備份合規(guī)性的要求。
AWS Backup for S3支持連續(xù)的基于時(shí)間點(diǎn)的備份,也支持定期備份操作,第一次備份是全量備份,后續(xù)都是增量備份,如果發(fā)生中斷時(shí)候,則可以從備份中挑一個(gè)來進(jìn)行恢復(fù),可以恢復(fù)到原來的S3桶里,也可以恢復(fù)到新的桶里。
AWS Backup是AWS近幾年新推出的服務(wù),AWS Backup的操作邏輯與原來本地的數(shù)據(jù)備份和恢復(fù)方案基本一致,目前AWS Backup for S3還處于預(yù)覽版狀態(tài)。
虛擬機(jī)備份是數(shù)據(jù)保護(hù)系統(tǒng)的一個(gè)非常重要的方面。AWS發(fā)布的還有AWS Backup for VMware 和 VMware Cloud on AWS,支持對(duì)VMware本地虛擬機(jī)和運(yùn)行在AWS云上的VMware虛擬機(jī)進(jìn)行備份。
AWS的數(shù)據(jù)保護(hù)方案基本成型。
塊存儲(chǔ)Amazon EBS的新功能
第一個(gè)是EBS快照功能,創(chuàng)建快照簡(jiǎn)單,刪除也簡(jiǎn)單,一不小心刪除之后想要恢復(fù)可就難了,為了給用戶一次后悔的機(jī)會(huì),EBS加入了快照回收站。
第二個(gè)是EBS快照歸檔功能,出于安全和合規(guī)性的要求,經(jīng)常需要會(huì)給EBS做很多快照并長(zhǎng)期保存這些快照,快照歸檔功能可以把快照歸檔到Amazon Glacier上來降低成本。
結(jié)束語:
以上就是AWS在re:Invent 期間發(fā)布的關(guān)于存儲(chǔ)產(chǎn)品的動(dòng)向,存儲(chǔ)作為基礎(chǔ)服務(wù)仍在不斷延展,雖然看著不如Graviton那么吸引眼球,但也非常非常重要。
2021年上半年,關(guān)于《AWS已經(jīng)成了全球最大的存儲(chǔ)公司》的說法引起了不小轟動(dòng),如果把AWS看成一家大型存儲(chǔ)公司,也不是不行。
過去幾年來,AWS存儲(chǔ)在服務(wù)類型以及性能方面不斷提升,隨著數(shù)據(jù)保護(hù)方案的加入,基本補(bǔ)充了AWS在數(shù)據(jù)存儲(chǔ)領(lǐng)域的最后一塊短板,本地存儲(chǔ)能做到的,云端存儲(chǔ)基本都能做到了。