騰訊云CBS產(chǎn)品架構(gòu)圖

騰訊云CBS產(chǎn)品由CBS接入、MDS(Meta data Server)控制集群和CBS存儲(chǔ)集群構(gòu)成。CBS接入收到CVM云主機(jī)集群的數(shù)據(jù)讀寫請(qǐng)求后，根據(jù)MDS提供的集群路由信息，將讀寫請(qǐng)求轉(zhuǎn)發(fā)至對(duì)應(yīng)的CBS存儲(chǔ)節(jié)點(diǎn)中。

目前其單磁盤容量最大可支持32TB，單個(gè)云主機(jī)累計(jì)可掛載640TB容量，可為用戶業(yè)務(wù)場(chǎng)景提供單盤最大110W的隨機(jī)IOPS性能，以及最高每秒4Gbps的帶寬能力，憑借三副本分布式機(jī)制，可提供高達(dá)99.9999999%的數(shù)據(jù)可靠性。

云服務(wù)的快速發(fā)展對(duì)云存儲(chǔ)性能提出更高要求

憑借自身高性能，高可靠性等優(yōu)勢(shì)，騰訊云CBS在如高負(fù)載OLTP (聯(lián)機(jī)事務(wù)處理) 金融交易系統(tǒng)、高吞吐電商系統(tǒng)、面向人工智能的數(shù)據(jù)分析系統(tǒng)、高并發(fā)的CDN網(wǎng)絡(luò)等中得到了廣泛部署和應(yīng)用。

但基于分布式構(gòu)建的存儲(chǔ)集群，整體性能會(huì)受到來(lái)自網(wǎng)絡(luò)接入、傳輸延遲等因素影響，從而與本地存儲(chǔ)產(chǎn)生差異。這也是用戶對(duì)在核心數(shù)據(jù)庫(kù)、內(nèi)容分發(fā)網(wǎng)絡(luò)等要求性能和靈敏度的場(chǎng)景中采用CBS產(chǎn)品存疑的原因之一。

隨著云服務(wù)在企業(yè)業(yè)務(wù)系統(tǒng)中比重加大，更多更復(fù)雜的核心業(yè)務(wù)數(shù)據(jù)讀寫需求驅(qū)動(dòng)騰訊云對(duì)極速存儲(chǔ)體驗(yàn)的CBS產(chǎn)品開展深度優(yōu)化并提升性能，以此打消用戶對(duì)CBS產(chǎn)品的顧慮。

英特爾助力騰訊云CBS產(chǎn)品打造極速云存儲(chǔ)體驗(yàn)

針對(duì)CBS產(chǎn)品的架構(gòu)、存儲(chǔ)引擎以及硬件基礎(chǔ)設(shè)施，騰訊云開始支持遠(yuǎn)程直接數(shù)據(jù)存取(Remote Direct Memory Access，RDMA)協(xié)議，并與英特爾攜手開展了存儲(chǔ)引擎以及基于英特爾SPDK開發(fā)套件對(duì)SSD的性能優(yōu)化。但實(shí)際上，SSD本身的高延遲就是CBS產(chǎn)品提升整體性能的障礙。

為此，騰訊云與英特爾的聯(lián)合更進(jìn)一步，以高耐用性和低延遲的英特爾? 傲騰?持久內(nèi)存作為新一代極速型CBS產(chǎn)品存儲(chǔ)核心，重構(gòu)數(shù)據(jù)落盤方案，以便滿足性能密集場(chǎng)景在延遲上的更高要求。

在騰訊云既有的極速型CBS產(chǎn)品設(shè)計(jì)中，以數(shù)據(jù)落盤為例，在此過(guò)程中，云主機(jī)數(shù)據(jù)首先通過(guò)HASH找到或分配到對(duì)應(yīng)的塊節(jié)點(diǎn)里，然后數(shù)據(jù)被緩存到不同頁(yè)面。接著系統(tǒng)要執(zhí)行兩次寫操作，一次把業(yè)務(wù)數(shù)據(jù)寫入SSD對(duì)應(yīng)的數(shù)據(jù)區(qū)，另一次是把元數(shù)據(jù)以日志形式寫入SSD中。

整個(gè)過(guò)程，SSD一次寫入延遲通常為數(shù)十微秒，兩次寫入就會(huì)有數(shù)十乃至近百微秒的延遲。數(shù)字雖然看起來(lái)小，但為了適配端到端網(wǎng)絡(luò)延遲1毫秒 (1000微秒)的5G時(shí)代，整體性能仍需突破。除此之外，還有反復(fù)擦寫導(dǎo)致SSD使用壽命縮短，日志回收過(guò)程中存在的相應(yīng)毛刺問(wèn)題等。

基于英特爾? 傲騰?技術(shù)構(gòu)建的英特爾? 傲騰?持久內(nèi)存能幫助CBS產(chǎn)品有效應(yīng)對(duì)以上問(wèn)題。英特爾? 傲騰?技術(shù)通過(guò)一種全新的無(wú)晶體管存儲(chǔ)架構(gòu)，在三維矩陣中堆疊存儲(chǔ)網(wǎng)格，從而在提高存儲(chǔ)密度、增強(qiáng)讀寫性能的同時(shí)，提供持久化的存儲(chǔ)能力。持久內(nèi)存可按字節(jié)尋址，可以像內(nèi)存一樣精準(zhǔn)控制讀寫的位置和大小。

與傳統(tǒng)DRAM內(nèi)存相比，英特爾??傲騰??持久內(nèi)存的兩大優(yōu)勢(shì)包括存儲(chǔ)密度更高、單位存儲(chǔ)成本更低，具有良好的經(jīng)濟(jì)效益，其次通App Direct模式下的英特爾??傲騰? 持久內(nèi)存能夠有效充當(dāng)CBS產(chǎn)品的數(shù)據(jù)持久化存儲(chǔ)載體。

優(yōu)化后騰訊云極速型CBS產(chǎn)品數(shù)據(jù)落盤過(guò)程

優(yōu)化之后的極速型CBS產(chǎn)品,數(shù)據(jù)通過(guò)HASH分配到對(duì)應(yīng)的塊節(jié)點(diǎn)并緩存到頁(yè)面中，然后數(shù)據(jù)就馬上被持久化存儲(chǔ)到英特爾? 傲騰?持久內(nèi)存中，同時(shí)頁(yè)面/塊的元數(shù)據(jù)也會(huì)直接更新到對(duì)應(yīng)的數(shù)據(jù)區(qū)中。

除數(shù)據(jù)落盤過(guò)程實(shí)現(xiàn)優(yōu)化之外，企業(yè)還可以通過(guò)定制化的策略和算法，決定英特爾??傲騰??持久內(nèi)存中的數(shù)據(jù)分配。例如，將需要頻繁讀寫的“熱數(shù)據(jù)”保留在持久內(nèi)存中，而長(zhǎng)時(shí)間不需訪問(wèn)的“冷數(shù)據(jù)”定期被后臺(tái)轉(zhuǎn)移至SSD里降低TCO。

還有英特爾??持久內(nèi)存開發(fā)工具包PMDK(Persistent Memory Development Kit) 為CBS產(chǎn)品提供面向英特爾? 傲騰?持久內(nèi)存的編程模型和環(huán)境。以其中的libpmem庫(kù)為例，作為PMDK?中的底層庫(kù)，其支持用內(nèi)存映射方式訪問(wèn)持久內(nèi)存，這一方式可將持久內(nèi)存上的文件映射到應(yīng)用的虛擬內(nèi)存空間進(jìn)行操作。通過(guò)規(guī)避內(nèi)核參與和上下文切換帶來(lái)的開銷，持久內(nèi)存的性能可直接為應(yīng)用提供助力。

除此之外，libpmem還封裝了?NTW?(NonTemporal Write) 指令，該指令能利用寫合并方式來(lái)繞過(guò)處理器緩存 (Cache), 直接將數(shù)據(jù)從存儲(chǔ)緩沖區(qū)中寫入內(nèi)存控制器的WPQ（寫請(qǐng)求隊(duì)列）里，從而提高性能。

創(chuàng)新硬件與優(yōu)化設(shè)計(jì)為極速CBS帶來(lái)的效果增益

數(shù)據(jù)讀寫延遲縮短。英特爾傲騰持久內(nèi)存的讀寫延遲可控制在1微秒以內(nèi);另一方面，借助PMDK提供的函數(shù)庫(kù)與工具， 英特爾傲騰持久內(nèi)存能對(duì)整個(gè)寫流程實(shí)現(xiàn)更細(xì)致和準(zhǔn)確的控制，并有效提升系統(tǒng)的寫入性能。

系統(tǒng)使用壽命提升。英特爾傲騰持久內(nèi)存的按字節(jié)尋址特性有效避免了因反復(fù)擦寫造成的設(shè)備使用壽命縮短問(wèn)題。另一方面，英特爾傲騰技術(shù)獨(dú)有的存儲(chǔ)結(jié)構(gòu)也使其具有更長(zhǎng)的使用期限。

空間使用率增強(qiáng)。英特爾傲騰技術(shù)允許單獨(dú)訪問(wèn)和更新內(nèi)存單元，無(wú)需再執(zhí)行垃圾收集，進(jìn)而避免了NAND盤面臨的回收毛刺問(wèn)題，提升存儲(chǔ)空間的使用效率。

為驗(yàn)證新硬件與優(yōu)化設(shè)計(jì)對(duì)CBS產(chǎn)品產(chǎn)生的效果，騰訊云與英特爾開展了驗(yàn)證測(cè)試。測(cè)試結(jié)果顯示，采用英特爾傲騰持久內(nèi)存構(gòu)建的CBS產(chǎn)品方案整體寫延遲從120微秒下降到60微秒，整體讀延遲從130微秒下降到40微秒， 同 IOPS可高達(dá)200W 以上，性能得到有效提升。

云存儲(chǔ)的未來(lái)展望

隨著云存儲(chǔ)技術(shù)的不斷完善，云服務(wù)正在企業(yè)級(jí)業(yè)務(wù)系統(tǒng)中扮演越來(lái)越重要的角色，用戶也勢(shì)必會(huì)對(duì)各類云服務(wù)的性能提出更多和更高的要求，這些技術(shù)與應(yīng)用場(chǎng)景的互動(dòng)將大力推動(dòng)著相關(guān)產(chǎn)品與技術(shù)的持續(xù)演進(jìn)與優(yōu)化。

作為云服務(wù)行業(yè)的重要參與者和引領(lǐng)者，騰訊云與英特爾基于英特爾? 傲騰?持久內(nèi)存開展的CBS產(chǎn)品優(yōu)化及所取得的收益，正是這一趨勢(shì)的顯著體現(xiàn)。

面向未來(lái)，國(guó)內(nèi)云計(jì)算市場(chǎng)飛速發(fā)展，更多IT巨頭基于自身業(yè)務(wù)優(yōu)勢(shì)拿到了市場(chǎng)準(zhǔn)入券，競(jìng)爭(zhēng)之勢(shì)漸起。因此，擁抱更多先進(jìn)產(chǎn)品和技術(shù)持續(xù)創(chuàng)新和優(yōu)化自身云服務(wù)產(chǎn)品，為用戶數(shù)據(jù)打造更好的云存儲(chǔ)體驗(yàn)，有助于騰訊云鞏固自身市場(chǎng)地位，使CBS等云存儲(chǔ)產(chǎn)品成為未來(lái)企業(yè)級(jí)業(yè)務(wù)數(shù)據(jù)存儲(chǔ)的可靠依托。

崔歡歡