QingStor以年為單位的更新節(jié)奏還是非?？斓?，如果說4.0的升級(jí)還有點(diǎn)例行性的意味，那么云原生存儲(chǔ)的兩款新品，則表明了青云希望搶灘登陸云原生新技術(shù)高地的意味。

對(duì)于QingStor來說，八年時(shí)間以來，一直堅(jiān)持以自研的路線在行業(yè)內(nèi)進(jìn)行突破，也不斷自我突破，此次更新標(biāo)志著存儲(chǔ)產(chǎn)品線更為成熟和全面了，雖然已經(jīng)做了很多，但QingStor想做的依然很多，甚至有一些別人沒做過的事情。

在技術(shù)和產(chǎn)品層面以外，作為青云科技的存儲(chǔ)品牌，QingStor開始追求以開源項(xiàng)目來打造生態(tài)，在做一些有引領(lǐng)性的東西。在青云科技眼里，Ceph和Gluster之類的開源項(xiàng)目已經(jīng)十幾年了，是時(shí)候來一些新東西了，QingStor就是來做新東西的。

搶灘登陸云原生技術(shù)高地——發(fā)布云原生塊存儲(chǔ)NeonIO

為什么要發(fā)布全新的NeonIO呢？這是因?yàn)閭鹘y(tǒng)集中式的存儲(chǔ)陣列根本無法滿足容器平臺(tái)所需的靈活性、敏捷性特點(diǎn)，分布式存儲(chǔ)在能力上也不能非常好地匹配云原生應(yīng)用場(chǎng)景，所以，用戶肯定是需要云原生的存儲(chǔ)。

目前，業(yè)內(nèi)已經(jīng)有了包括Longhorn、Ceph-rook、OpenEBS等云原生存儲(chǔ)方案，側(cè)面驗(yàn)證了用戶確實(shí)有云原生存儲(chǔ)的需求?？杉热灰呀?jīng)有了這幾個(gè)方案了，為什么還要另起爐灶呢？

青云科技存儲(chǔ)平臺(tái)部負(fù)責(zé)人王煜介紹中了解到，Ceph-rook的方案本身比較臃腫，不夠輕量級(jí)，運(yùn)維起來比較復(fù)雜。而且，由于Ceph追求在架構(gòu)層面上的統(tǒng)一，所以在性能方面做了許多犧牲。

OpenEBS方面，由于OpenEBS本身并不是典型的分布式架構(gòu)，不僅沒有實(shí)現(xiàn)分布式的特性，更重要的是缺少生產(chǎn)實(shí)踐的案例，現(xiàn)階段不具備在企業(yè)級(jí)落地的能力。而Longhorn底層技術(shù)上跟openEBS是一樣的，問題也是類似的。

幾年前說起QingStor存儲(chǔ)產(chǎn)品線，強(qiáng)調(diào)的是QingStor不是基于Ceph的方案，而是青云自研的方案，當(dāng)時(shí)一篇文章的標(biāo)題是“不要Ceph，青云自研了一套文件系統(tǒng)”，現(xiàn)在也是一樣，青云在云原生存儲(chǔ)NeonIO上又選擇了自研。

由于是自研的，所以NeonIO本身的架構(gòu)規(guī)避了Ceph-rook的臃腫。架構(gòu)設(shè)計(jì)上，它采用的是真正的分布式架構(gòu)，并且具備可落地的能力。產(chǎn)品特性上，它可以全面兼容KubeSphere、OpenShift等容器平臺(tái)，提供多種存儲(chǔ)對(duì)接方式。

第一種，CSI容器存儲(chǔ)接口，依靠CSI來實(shí)現(xiàn)與容器平臺(tái)的對(duì)接，支持卷動(dòng)態(tài)置備、創(chuàng)建、銷毀、快照等高級(jí)存儲(chǔ)功能。

第二種，將存儲(chǔ)組件以符合云原生架構(gòu)設(shè)計(jì)理念的方式進(jìn)行容器化。NeonIO可直接部署在K8s平臺(tái)上，能真正做到與平臺(tái)無關(guān)。NeonIO可以完美運(yùn)行在國(guó)產(chǎn)操作系統(tǒng)以及ARM架構(gòu)平臺(tái)之上。

與許多存儲(chǔ)不同的是，NeonIO最大化地利用了K8s的能力。

NeonIO通過實(shí)現(xiàn)K8s Operator的機(jī)制，讓云原生存儲(chǔ)可以全自動(dòng)地部署和擴(kuò)容，盡量貼合云原生應(yīng)用本身安裝部署的習(xí)慣，比如，可以從應(yīng)用商店安裝使用。

同時(shí)，在使用過程中，NeonIO最大化地利用K8s本身的集群管理能力，包括健康檢查、選主機(jī)制、任務(wù)隊(duì)列、日志收集、配置保存等。

NeonIO是一個(gè)發(fā)布即成熟的方案。因?yàn)樗恢幻指鶱eonSAN像，實(shí)際上，NeonIO在架構(gòu)設(shè)計(jì)上汲取了NeonSAN架構(gòu)設(shè)計(jì)的經(jīng)驗(yàn)，NeonSAN經(jīng)過了多年企業(yè)生產(chǎn)環(huán)境的驗(yàn)證，而NeonIO在架構(gòu)設(shè)計(jì)層面，繼承了這些驗(yàn)證經(jīng)驗(yàn)，具備NeonSAN一樣的高性能和高可靠性。

在基礎(chǔ)性能方面，NeonIO在三節(jié)點(diǎn)全閃配置環(huán)境中，單存儲(chǔ)卷的IOPS能達(dá)到10萬以上，同時(shí)，時(shí)延可低至亞毫秒級(jí)別。容器對(duì)于并發(fā)能力要求也很高，在2000個(gè)PV卷的并發(fā)創(chuàng)建測(cè)試中，耗時(shí)不到5分鐘。

與Ceph-rook以及Longhorn和OpenEBS相比，在讀寫比例7:3的混合IO測(cè)試情況中，NeonIO的IOPS性能表現(xiàn)遙遙領(lǐng)先。

NeonIO在2021年上半年進(jìn)行了一些內(nèi)測(cè)，目前已經(jīng)正式對(duì)外發(fā)布社區(qū)版本，可在GitHub上公開訪問、下載、安裝和部署。

在云原生技術(shù)普及的關(guān)鍵階段，青云科技基于在KubeSphere開源項(xiàng)目和存儲(chǔ)領(lǐng)域的積累，發(fā)布并開源一款云原生塊存儲(chǔ)，頗有一種搶灘登陸的意味，在筆者看來，它搶占的不只是市場(chǎng)，而是技術(shù)生態(tài)的高地。

新一代云原生分布式文件系統(tǒng)——HydroFS

2019年，有一款內(nèi)部代號(hào)為QFS的分布式文件存儲(chǔ)系統(tǒng)開始立項(xiàng)研發(fā)，這是一款被寄予厚望的新一代底層存儲(chǔ)引擎。在青云科技的自研存儲(chǔ)中，最重要、最核心的就是存儲(chǔ)引擎，而現(xiàn)在，這款存儲(chǔ)引擎被正式命名為HydroFS。

HydroFS名字中“Hydro”一詞的英文本意是水力工程、水力發(fā)電的意思，青云科技希望HydroFS能作為基礎(chǔ)的水利基礎(chǔ)設(shè)施，幫助企業(yè)管好像湖泊、像大海一樣的數(shù)據(jù)。

HydroFS是一款云原生分布式文件系統(tǒng)，它支持CSI插件為云原生架構(gòu)提供存儲(chǔ)，也可以在K8s容器平臺(tái)部署，也可以跟K8s平臺(tái)上其他原生應(yīng)用進(jìn)行統(tǒng)一運(yùn)維和管理，也具有云原生存儲(chǔ)的一些大致特點(diǎn)，能在容器環(huán)境中部署。

HydroFS脫離QingStor本身的企業(yè)級(jí)產(chǎn)品獨(dú)立安裝部署，由于在協(xié)議接口層面支持FUSE和HDFS，從而可以無縫地替換HDFS，作為大數(shù)據(jù)系統(tǒng)的底層存儲(chǔ)。

作為一款在2019年就開始打造的一款技術(shù)方案，HydroFS本身在架構(gòu)設(shè)計(jì)上也有很多優(yōu)勢(shì)。

首先，HydroFS在許多方面參考著QingStor NeonSAN，擁有極短的IO路徑，沒有本地文件系統(tǒng)（local FS）作為中間的轉(zhuǎn)換層，中間不存在本地文件系統(tǒng)的額外開銷，從用戶邏輯文件直達(dá)底層塊存儲(chǔ)來高效管理數(shù)據(jù)。

面對(duì)大文件，HydroFS會(huì)通過切片處理來提高吞吐能力，這對(duì)于大數(shù)據(jù)、高性能計(jì)算場(chǎng)景非常利好。對(duì)于海量小文件場(chǎng)景，HydroFS通過分布式元數(shù)據(jù)管理層來進(jìn)行優(yōu)化，此外，HydroFS在配置上的靈活性方面也做了很多優(yōu)化。

HydroFS是基于最近非?；鸬木幊陶Z言Rust編寫的，Rust是一種在性能上可媲美C和C++的編程語音，程序執(zhí)行的安全性會(huì)更高，能規(guī)避很多C和C++編程中常犯的安全錯(cuò)誤，比如經(jīng)典的內(nèi)存方面的問題，Rust語言大大提高了HydroFS性能和架構(gòu)方面的穩(wěn)定性。

QingStor v4.0的主要目標(biāo)是打造一個(gè)更大規(guī)模、更高性能以及功能更豐富的企業(yè)級(jí)分布式存儲(chǔ)的產(chǎn)品線。技術(shù)層面，QingStor 文件存儲(chǔ) 4.0 里最重要的升級(jí)是把底層存儲(chǔ)引擎全新升級(jí)為HydroFS。

QingStor v4.0的塊存儲(chǔ)、對(duì)象存儲(chǔ)和文件存儲(chǔ)更新內(nèi)容如下：

QingStor NeonSAN v4.0 包含了大規(guī)模集群下的控制平面分區(qū)、數(shù)據(jù)自動(dòng)均衡的機(jī)制、以及業(yè)務(wù)災(zāi)備上的優(yōu)化等等。

QingStor 對(duì)象存儲(chǔ) v4.0 的升級(jí)包括了使用 Rust 語言優(yōu)化 IO 路徑、以及實(shí)現(xiàn)了 Bucket region 級(jí)別容災(zāi)能力等。

QingStor 文件存儲(chǔ) v4.0 則全新升級(jí)存儲(chǔ)引擎 HydroFS，在全新的底層架構(gòu)下實(shí)現(xiàn)了諸多的存儲(chǔ)訪問特性。

創(chuàng)建BeyondStorage開源社區(qū)，構(gòu)建存儲(chǔ)的開源“聯(lián)盟”

CIC大會(huì)上，青云科技宣布QingStor將全面擁抱開源，在青云看來，云計(jì)算、云原生技術(shù)的繁榮與開源運(yùn)營(yíng)、開源社區(qū)、息息相關(guān)，開源可以拉近和開發(fā)者的距離，可以促進(jìn)軟件和軟件、系統(tǒng)和系統(tǒng)間的生態(tài)對(duì)接，讓開源項(xiàng)目、產(chǎn)品和應(yīng)用場(chǎng)景進(jìn)行深度集成。

為了踐行這一戰(zhàn)略，QingStor準(zhǔn)備走好這三步：

第一步，全部開源存儲(chǔ)相關(guān)工具。包括基于命令行的對(duì)象存儲(chǔ)管理工具qsctl，跨云、跨存儲(chǔ)的數(shù)據(jù)遷移工具qscamel，還有基于對(duì)象存儲(chǔ)的FTP服務(wù)器qsftpd，這些項(xiàng)目都在GitHub進(jìn)行開源和維護(hù)，吸引了許多外部的開發(fā)者做進(jìn)行貢獻(xiàn)。

第二步，將全面開放底層存儲(chǔ)引擎HydroFS，采用開源的方式進(jìn)行運(yùn)營(yíng)，基于HydroFS與更多的開發(fā)者合作，這是一種跟Ceph不同的開源方式，Ceph是在一個(gè)可用的開源項(xiàng)目上封裝產(chǎn)品，而HydroFS是在企業(yè)生產(chǎn)環(huán)境中實(shí)踐后，再將其進(jìn)行開放。

第三步，組建存儲(chǔ)開源社區(qū)——BeyondStorage，目前維護(hù)著超過40多個(gè)開源項(xiàng)目，這40多個(gè)開源項(xiàng)目大致分成三層，中間層是接口層，主要是指Go-Storage項(xiàng)目。

Go-Storage向上提供了統(tǒng)一的存儲(chǔ)、訪問和管理的接口，希望用它編寫的應(yīng)用能無縫運(yùn)行在所有存儲(chǔ)平臺(tái)之上。Go-Storage向下通過插件對(duì)接各個(gè)存儲(chǔ)平臺(tái)，可以對(duì)接包括國(guó)內(nèi)外公有云廠商以及一些SaaS網(wǎng)盤服務(wù)商。

BeyondStorage要做的事情是把常見的各種存儲(chǔ)資源統(tǒng)一起來，面向應(yīng)用提供統(tǒng)一的接口層，讓應(yīng)用寫一次可以到處運(yùn)行，從而避免重復(fù)開發(fā)帶來的各種浪費(fèi)，而這正是目前非常普遍的現(xiàn)象，這一舉措顯露出青云科技在存儲(chǔ)生態(tài)方面的非常大的構(gòu)想，看起來就像是要構(gòu)建一個(gè)存儲(chǔ)“聯(lián)盟”。

結(jié)語

能看出來，青云在存儲(chǔ)方面已經(jīng)做了很多，但想做的仍然有很多。簡(jiǎn)要總結(jié)QingStor 2021年的做的事：

在堅(jiān)持自研的基礎(chǔ)上，以開源軟件的方式，占據(jù)云原生這一新興技術(shù)領(lǐng)域的話語權(quán)，在NeonSAN的基礎(chǔ)上發(fā)布NeonIO。

在堅(jiān)持自研的基礎(chǔ)上，不斷打磨存儲(chǔ)產(chǎn)品技術(shù)，QingStor全系產(chǎn)品更新到4.0版本。

在堅(jiān)持自研的基礎(chǔ)上，構(gòu)建基于HydroFS的應(yīng)用生態(tài)，將零散的存儲(chǔ)系統(tǒng)統(tǒng)一起來，應(yīng)用新生態(tài)。

zhupb