王琢:我是天翼云國際業(yè)務(wù)事業(yè)部解決方案工程師王琢。很高興通過這次機(jī)會(huì)與大家分享《天翼云HBlock存儲(chǔ)資源盤活系統(tǒng)的實(shí)踐》。后面在我的介紹中,我會(huì)將這款產(chǎn)品簡稱為HBlock或者HBlock產(chǎn)品。
存儲(chǔ)資源盤活是由天翼云在業(yè)內(nèi)首先提出的概念。通過部署HBlock,客戶可以納管散落在局域網(wǎng)內(nèi)的存儲(chǔ)資源,將之整合為統(tǒng)一的存儲(chǔ)資源池,并通過標(biāo)準(zhǔn)的iSCSI協(xié)議向外提供高性能的塊存儲(chǔ)服務(wù)。
下面我將從以下四個(gè)方面來對HBlock作展開介紹。
在第一部分中,我將結(jié)合過往的客戶需求、當(dāng)前的存儲(chǔ)產(chǎn)品發(fā)展趨勢來說明當(dāng)前HBlock是如何幫助客戶解決問題的。第二部分中,我將從產(chǎn)品特性、產(chǎn)品架構(gòu)、實(shí)操展示、競品比對等方面對HBlock做詳細(xì)的介紹。在第三部分中,我將介紹HBlock四個(gè)典型的應(yīng)用場景。在第四部分,我將通過一個(gè)車聯(lián)網(wǎng)的應(yīng)用案例介紹過往的HBlock最佳實(shí)踐。
現(xiàn)在開始進(jìn)行第一部分的介紹。
典型需求與趨勢
結(jié)合現(xiàn)有商機(jī)運(yùn)作情況,部分客戶出于成本的因素考慮,希望自己所購入的服務(wù)器資源能夠被充分的利用,但往往事與愿違。
在一些項(xiàng)目中,由于業(yè)務(wù)規(guī)劃不夠細(xì)致,出現(xiàn)了較多硬盤空跑、CPU內(nèi)存利用率長期低于30%的情況,也有一部分客戶,服務(wù)器使用多年后,即將退出服務(wù)的時(shí)間節(jié)點(diǎn)找到我們,希望能夠?qū)⑦@些服務(wù)器再利用,構(gòu)建一個(gè)新的塊存儲(chǔ)資源池。
還有一部分客戶,因?yàn)楣疽?guī)定、成本等因素,希望能夠解除存儲(chǔ)產(chǎn)品的供應(yīng)商綁定,在項(xiàng)目的運(yùn)作上更加靈活,并在成本與性能之間獲得一個(gè)最佳的平衡點(diǎn)。傳統(tǒng)存儲(chǔ)建設(shè)周期較長,基建趕不上業(yè)務(wù)發(fā)展,也是這部分客戶的痛點(diǎn)所在。
近年來,部分巨頭先后提出了ESG戰(zhàn)略,國內(nèi)也一直在強(qiáng)調(diào)碳中和、碳達(dá)峰以及節(jié)約集約、綠色低碳等發(fā)展理念。為了配合雙碳戰(zhàn)略,企業(yè)也需要對基礎(chǔ)設(shè)施做一定的修改以及優(yōu)化。
隨著開源社區(qū)、存儲(chǔ)軟件的發(fā)展,各個(gè)廠商用戶都傾向于從過往的集中式存儲(chǔ)轉(zhuǎn)向分布式存儲(chǔ)。從擴(kuò)展性、性能、數(shù)據(jù)冗余、底層硬件、成本方面,分布式存儲(chǔ)是存儲(chǔ)當(dāng)下以及未來的發(fā)展趨勢。當(dāng)然,在一些典型的應(yīng)用場景,例如金融核心生產(chǎn)數(shù)據(jù)庫,集中式存儲(chǔ)依然靠其底層高速光纖交換以及定制硬件等特點(diǎn),依然在發(fā)光發(fā)熱,且目前不能被替代。
在上述需求下,HBlock以軟硬件解耦,靈活的申領(lǐng)散落的硬盤空間和理論上無上限規(guī)模等三個(gè)特點(diǎn),較為契合地解決了客戶所遇到的上述問題。
HBlock存儲(chǔ)資源盤活系統(tǒng)
在簡單介紹客戶需求和存儲(chǔ)發(fā)展趨勢后,下面我將展開介紹HBlock存儲(chǔ)資源盤活系統(tǒng)。
HBlock存儲(chǔ)資源盤活系統(tǒng),是天翼云為客戶提供的一款分布式存儲(chǔ)管理軟件,產(chǎn)品具有綠色安裝、部署便捷、性能穩(wěn)定可靠、數(shù)據(jù)安全、成本可控等幾大優(yōu)勢。
HBlock存儲(chǔ)資源盤活系統(tǒng),通過標(biāo)準(zhǔn)的iSCSI協(xié)議提供塊存儲(chǔ)服務(wù),將通用的服務(wù)器及其管理的存儲(chǔ)資源轉(zhuǎn)換成高性能的虛擬存儲(chǔ)陣列,承載企業(yè)的業(yè)務(wù)。由于HBlock是通過標(biāo)準(zhǔn)的iSCSI協(xié)議來提供塊存儲(chǔ)服務(wù)的,所以HBlock在虛擬化、備份數(shù)據(jù)、影像存儲(chǔ)、應(yīng)用程序等場景,均可發(fā)揮企業(yè)獨(dú)特的作用。
HBlock具有以下五大特征以及及其核心優(yōu)勢:高可用、高性能、低成本、廣泛兼容及數(shù)據(jù)安全。
在服務(wù)的高可用方面,天翼云實(shí)現(xiàn)了多路徑的“一主多備”,一個(gè)Target宕機(jī)之后,HBlock會(huì)智能選擇備用的Target,調(diào)度的時(shí)間是可以進(jìn)行配制的,默認(rèn)時(shí)間為6秒鐘。
在數(shù)據(jù)的高可用方面,單存儲(chǔ)卷可以靈活的選擇EC糾刪碼或者副本的方式實(shí)現(xiàn)數(shù)據(jù)的冗余以及數(shù)據(jù)的不丟失。
在絕對指標(biāo)層面,在實(shí)驗(yàn)室測的全SSD環(huán)境下,單卷IOPS可達(dá)15萬IOPS,延遲可以低于200微秒。
在規(guī)模層面,HBlock軟件設(shè)計(jì)理論值為無上限,但根據(jù)過往的實(shí)踐,一般建議集群的規(guī)模上限為1024個(gè)節(jié)點(diǎn)。
在成本方面,因?yàn)镠Block本身的售賣方式為純軟件售賣,可以部署在通用硬件上。所以整體上HBlock的TCO會(huì)更低。同時(shí),因其安裝方便,運(yùn)維直觀,相關(guān)的人力成本、時(shí)間成本都會(huì)更低。
HBlock為用戶態(tài)設(shè)計(jì)的軟件,不切入內(nèi)核,所以HBlock不挑底層的硬件與OS。
在數(shù)據(jù)安全方面,用戶在添加Target 連接時(shí),可以選擇啟用CHAP認(rèn)證。在數(shù)據(jù)的傳輸過程中,用戶也可以選擇性的開啟IPSec隧道,保證傳輸數(shù)據(jù)的加密。
從信創(chuàng)的角度和自主可控的角度,HBlock是天翼云全棧自研的分布式存儲(chǔ)產(chǎn)品。從整體架構(gòu)上,Target方面,HBlock是以“一主多備”的方式保證服務(wù)的連續(xù)性。HBlock通過算法,智能選取最佳的階梯Target。
另外,HBlock的設(shè)計(jì)思想為去中心化,我們建議不同的存儲(chǔ)卷掛載到不同的Target后面。這樣從整個(gè)集群的角度,是多節(jié)點(diǎn)對所有的存儲(chǔ)設(shè)備進(jìn)行讀寫。一方面充分利用了集群內(nèi)的帶寬,另一方面也防止出現(xiàn)熱點(diǎn),同時(shí)提高了集群的可用性。
HBlock為綠色、用戶態(tài)、非侵入系統(tǒng)內(nèi)核的應(yīng)用。其主要體現(xiàn)在用戶使用HBlock產(chǎn)品時(shí)不需要Root權(quán)限。在沒有寫競爭業(yè)務(wù)存在時(shí),HBlock可以和其他應(yīng)用共存,無需獨(dú)占數(shù)據(jù)目錄。在軟件配制中,用戶可以自由的定義HBlock占用數(shù)據(jù)目錄的預(yù)制。
由于HBlock的存儲(chǔ)資源盤活的設(shè)計(jì)理念,HBlock在設(shè)計(jì)之初就考慮了弱算、弱網(wǎng)、弱盤環(huán)境下的數(shù)據(jù)完整性以及服務(wù)連續(xù)性。HBlock集群本身不依賴NTP時(shí)鐘。同時(shí),通過算法的智能調(diào)度,靈活的實(shí)現(xiàn)PKI故障節(jié)點(diǎn),避免業(yè)務(wù)熱點(diǎn)、存儲(chǔ)降級等現(xiàn)象的發(fā)生。
HBlock還具有管理多樣、運(yùn)維簡易的特點(diǎn),用戶可以通過API、web控制臺(tái)以及命令行操作三種方式來實(shí)現(xiàn)HBlock的集群管理。這非常便于用戶快速理解和使用HBlock。
HBlock也支持故障預(yù)警,當(dāng)系統(tǒng)中的組件或者資源出現(xiàn)異常時(shí),系統(tǒng)將自動(dòng)發(fā)送告警郵件通知用戶。
下面我將通過大概5分鐘的實(shí)操來展示HBlock的敏捷性。
首先查看一下HBlock安裝包的大小,可以看到HBlock安裝包的大小約為170兆。
通過按unzip命令將HBlock的安裝包進(jìn)行解壓。完成解壓縮后,將進(jìn)入剛才已經(jīng)解壓出來的目錄,確認(rèn)三臺(tái)節(jié)點(diǎn)解壓工作都已經(jīng)完成。
下一步,通過install命令,在三臺(tái)服務(wù)器上完成HBlock節(jié)點(diǎn)的安裝??梢钥吹剑w安裝耗時(shí)大約為10秒鐘。
安裝完成之后,用一條setup命令將三臺(tái)服務(wù)器進(jìn)行納管。整體納管以及初始化的時(shí)間將花費(fèi)大約1分半。在輸入完密碼之后,整體的初始化進(jìn)程開始(我將跳過這一段等待時(shí)間)。
可以看到,當(dāng)前的初始化進(jìn)程已經(jīng)結(jié)束。
這一部使用target add命令將HBlock-1和HBlock-2兩個(gè)節(jié)點(diǎn)生成主備target。
在target-01搭建完成之后,我們在target-01后面創(chuàng)建一個(gè)EC 2+1卷,此卷的大小為20個(gè)GB。
現(xiàn)在,存儲(chǔ)卷已經(jīng)創(chuàng)建完畢。
下一步,我們通過iscsiadm命令,發(fā)現(xiàn)并連接剛才所創(chuàng)建的Target-01。
連接完成后,可以看到,mpatha已經(jīng)被掛接到了此主機(jī)上。通過mkfs.xfs來格式化mpatha。通過blkid命令可以看到,mpatha已經(jīng)被格式化成xfs格式。
下一步我們通過mount命令,將mpatha掛載到/mnt目錄下。通過lsblk命令可以看到,掛載已經(jīng)成功。
下面我們將HBlock的安裝包復(fù)制到/mnt目錄下,觀察是否成功。
到現(xiàn)在為止,操作已經(jīng)完成。大家已經(jīng)有一定的體感,在過去的大概3分鐘時(shí)間內(nèi),我們已經(jīng)完成了集群的安裝、初始化、Target的創(chuàng)建、卷的創(chuàng)建以及卷的掛接和卷的格式化以及掛載。
在通過操作展示HBlock產(chǎn)品的敏捷性之后,大家可以在此頁面概覽HBlock產(chǎn)品參數(shù),不再贅述。
對比市面上流行的傳統(tǒng)分布式存儲(chǔ)軟件,HBlock依然具有其獨(dú)特的優(yōu)勢。HBlock安裝簡單,其安裝包僅有170兆左右;整體集群,從建立到使用僅需要3-5分鐘,同時(shí),HBlock不依賴NTP服務(wù)器,而傳統(tǒng)分布式存儲(chǔ)軟件的安裝則需要大量的準(zhǔn)備工作。
HBlock的軟硬件需求比較低,與支持Linux的任何x86和ARM硬件兼容,沒有設(shè)備驅(qū)動(dòng)兼容性的問題。HBlock為用戶態(tài)進(jìn)程,不依賴內(nèi)核版本,純自研。
HBlock的硬件資源利用率比較高,可以與其他應(yīng)用程序同時(shí)在同一Linux操作系統(tǒng)實(shí)例中運(yùn)行,允許集群中的每個(gè)實(shí)例都具有不同的硬件配制,僅需要3GB內(nèi)存即可啟動(dòng)。同時(shí),HBlock的可用性比較高,支持秒級故障切換。
在詳細(xì)介紹完HBlock產(chǎn)品之后,我將展開介紹HBlock的四個(gè)實(shí)踐場景。
四個(gè)實(shí)踐場景
場景一:綠色、靈活調(diào)配空閑存儲(chǔ)資源
我將用一個(gè)POC實(shí)例來介紹場景。在此POC實(shí)例中,大家可以看到,客戶的磁盤利用率都非常低,客戶也不希望投入額外的成本購入新的服務(wù)器來搭建存儲(chǔ)集群。同時(shí),疊加了低碳政策的要求,利用了HBlock的特點(diǎn),不僅充分利用了空閑的存儲(chǔ)資源,也充分的利用了空閑的計(jì)算資源和內(nèi)存資源,將空閑的服務(wù)器整合成了高性能的虛擬存儲(chǔ)陣列,滿足了客戶的需求。
場景二:構(gòu)建私有云存儲(chǔ)底座,靈活納管各類服務(wù)器。
在底層服務(wù)器性能優(yōu)異、網(wǎng)絡(luò)帶寬足夠的情況下,HBlock是可以替代傳統(tǒng)SAN存儲(chǔ)的。HBlock支持VMware、OpenStack、Kubernetes、KVM等主流虛擬化平臺(tái)。在訪問接口層,上層平臺(tái)將通過API的方式來管理HBlock集群,實(shí)現(xiàn)存儲(chǔ)卷的創(chuàng)建、刪除以及HBlock集群的監(jiān)控等目的,各個(gè)虛擬機(jī)通過iSCSI協(xié)議靈活的掛接存儲(chǔ)卷,最終實(shí)現(xiàn)一套系統(tǒng)、統(tǒng)一存儲(chǔ)的建設(shè)目標(biāo)。
場景三:助力平安城市建設(shè),高效支撐視頻監(jiān)控存儲(chǔ)
HBlock天然與視頻兼容有很強(qiáng)的兼容性,或通過前端的NVR掛在Hblock iSCSI卷,或通過視頻管理平臺(tái)統(tǒng)一接入,HBlock都能無縫的支持視頻存儲(chǔ)場景。
HBlock支持副本、糾刪碼、分級冗余保護(hù),提供PB級存儲(chǔ)容量,數(shù)百GB聚合帶寬,滿足省、市城市的視頻監(jiān)控存儲(chǔ)需求。
場景四:構(gòu)建第二存儲(chǔ),保證用戶數(shù)據(jù)安全。
客戶可以通過HBlock搭建第二存儲(chǔ),實(shí)現(xiàn)備份容災(zāi)、歸檔數(shù)據(jù)等目的。
最后一部分,我將會(huì)通過講解車聯(lián)網(wǎng)項(xiàng)目Pilot來展示HBlock過往的最佳實(shí)踐。
案例分享
此項(xiàng)目Pilot,某車聯(lián)網(wǎng)項(xiàng)目因車路云一體化,數(shù)據(jù)存儲(chǔ)空間不足,需要建立新的分布式車聯(lián)網(wǎng)存儲(chǔ)底座。同時(shí),基于雙碳政策,此存儲(chǔ)底座被要求需要能夠復(fù)用當(dāng)前的空閑服務(wù)器并跨MEC部署。HBlock的特性完全適配客戶需求,能夠滿足項(xiàng)目中結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、分析的目的。
在此項(xiàng)目Pilot中,客戶得到了以下收益:
通過快速部署,運(yùn)維方便的特性,客戶節(jié)約了很多的時(shí)間、人力成本;復(fù)用了數(shù)臺(tái)空跑的服務(wù)器,達(dá)成了客戶的減碳理念。同時(shí),客戶通過HBlock建立了強(qiáng)健的統(tǒng)一塊存儲(chǔ)底座,高效支撐各類應(yīng)用。
我今天的演講就到這里,很歡迎大家與我交流,謝謝!