眾所周知,隨著互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等新一代信息技術(shù)的創(chuàng)新聚變,數(shù)字化產(chǎn)業(yè)正在成為全球經(jīng)濟(jì)新的驅(qū)動(dòng)引擎,以數(shù)據(jù)為核心生產(chǎn)要素的增長(zhǎng)變革,成為面向網(wǎng)絡(luò)化、智能化方向提質(zhì)增效及重塑核心競(jìng)爭(zhēng)力的基礎(chǔ)。隨著數(shù)字化轉(zhuǎn)型深入推進(jìn)和數(shù)據(jù)量的爆炸式增長(zhǎng),產(chǎn)業(yè)對(duì)數(shù)據(jù)庫(kù)的需求發(fā)生了革命性變化。

技術(shù)發(fā)展讓數(shù)據(jù)創(chuàng)造無(wú)處不在,從企業(yè)應(yīng)用到個(gè)人應(yīng)用和萬(wàn)物互聯(lián),來(lái)自新時(shí)代的數(shù)據(jù)庫(kù)挑戰(zhàn)持續(xù)增長(zhǎng):數(shù)據(jù)存儲(chǔ)從TB級(jí)別、PB級(jí)別增至EB級(jí)別;海量并發(fā)從企業(yè)內(nèi)部數(shù)百至數(shù)千并發(fā)到互聯(lián)網(wǎng)模式下百萬(wàn)級(jí)至億萬(wàn)級(jí)并發(fā);新的應(yīng)用場(chǎng)景要求數(shù)據(jù)庫(kù)具備彈性伸縮能力;各行業(yè)在加速信息化基礎(chǔ)設(shè)施的分布式建設(shè);此外端邊云協(xié)同、AI融合、軟硬結(jié)合、數(shù)據(jù)安全、隱私保護(hù)等都是重要挑戰(zhàn)。當(dāng)前數(shù)據(jù)庫(kù)技術(shù)得到創(chuàng)新發(fā)展并發(fā)生著顛覆性變革,從結(jié)構(gòu)化數(shù)據(jù)到非結(jié)構(gòu)化數(shù)據(jù),從關(guān)系型到非關(guān)系型,從集中式到分布式,從閉源到開(kāi)源,“One size fits all”的時(shí)代已經(jīng)過(guò)去。

全球知名咨詢(xún)公司Gartner 2021年企業(yè)軟件全球市場(chǎng)報(bào)告顯示,數(shù)據(jù)技術(shù)已成為企業(yè)軟件中最大且增速最快的賽道,未來(lái)5年復(fù)合增長(zhǎng)率將達(dá)到17.5%;2022年5月發(fā)布的市場(chǎng)報(bào)告顯示,2021年全球DBMS(Database Management System,數(shù)據(jù)庫(kù)管理系統(tǒng))市場(chǎng)規(guī)模達(dá)到800億美元,同比增長(zhǎng)22.3%。在快速發(fā)展中,數(shù)據(jù)庫(kù)領(lǐng)域的技術(shù)和市場(chǎng)也發(fā)生著巨大變革。

中國(guó)的數(shù)據(jù)庫(kù)市場(chǎng)是全球市場(chǎng)的重要組成部分,從技術(shù)到商業(yè),中國(guó)數(shù)據(jù)庫(kù)產(chǎn)業(yè)正在發(fā)生快速而深遠(yuǎn)的變化,為了記錄時(shí)代變革、洞察技術(shù)趨勢(shì)、傳遞產(chǎn)品價(jià)值,我們組織編寫(xiě)了本報(bào)告,希望能夠?yàn)閿?shù)據(jù)庫(kù)產(chǎn)業(yè)的產(chǎn)學(xué)研用提供參考,為行業(yè)發(fā)展作出貢獻(xiàn)。

附:中國(guó)數(shù)據(jù)庫(kù)行業(yè)年度分析報(bào)告2022-實(shí)時(shí)數(shù)據(jù)庫(kù)

和通用數(shù)據(jù)庫(kù)及傳統(tǒng)實(shí)時(shí)數(shù)據(jù)庫(kù)的不同之處在于,新一代實(shí)時(shí)數(shù)據(jù)庫(kù)技術(shù)不止是數(shù)據(jù)庫(kù),而是工業(yè)技術(shù)、實(shí)時(shí)技術(shù)、數(shù)據(jù)庫(kù)技術(shù)以及先進(jìn)的IT技術(shù)深度融合的產(chǎn)物,是一套包括數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算和數(shù)據(jù)可視化的工業(yè)數(shù)據(jù)管理系統(tǒng),管理工業(yè)數(shù)據(jù)從生產(chǎn)到應(yīng)用的全生命周期,是工業(yè)信息系統(tǒng)的工業(yè)數(shù)據(jù)管理底座,是工業(yè)數(shù)字化、信息化和智能化的基礎(chǔ)核心基礎(chǔ)軟件。

11.1實(shí)時(shí)數(shù)據(jù)庫(kù)是工業(yè)數(shù)字化建設(shè)的核心

實(shí)時(shí)數(shù)據(jù)是工業(yè)名詞,統(tǒng)一表示強(qiáng)實(shí)時(shí)屬性工業(yè)系統(tǒng)、過(guò)程或行為隨時(shí)間變化的數(shù)據(jù)。作為數(shù)據(jù)庫(kù)系統(tǒng)發(fā)展的分支之一,實(shí)時(shí)數(shù)據(jù)庫(kù)主要但不限于不斷更新的快速變化的實(shí)時(shí)數(shù)據(jù)及具有時(shí)間限制的工業(yè)事務(wù)處理。因此,和其他通用數(shù)據(jù)庫(kù)不同之處在于,實(shí)時(shí)數(shù)據(jù)庫(kù)技術(shù)不止是數(shù)據(jù)庫(kù),而是

工業(yè)技術(shù)、實(shí)時(shí)技術(shù)、數(shù)據(jù)庫(kù)技術(shù)以及先進(jìn)的IT技術(shù)深度融合的產(chǎn)物,是一套包括數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算和數(shù)據(jù)可視化的工業(yè)數(shù)據(jù)管理系統(tǒng),管理工業(yè)數(shù)據(jù)從產(chǎn)生到應(yīng)用的全生命周期,是工業(yè)企業(yè)信息系統(tǒng)的工業(yè)數(shù)據(jù)管理底座,是工業(yè)數(shù)字化、信息化和智能化的基礎(chǔ)核心軟件。

實(shí)時(shí)數(shù)據(jù)庫(kù)專(zhuān)門(mén)解決工業(yè)實(shí)時(shí)數(shù)據(jù)采集、存儲(chǔ)和應(yīng)用問(wèn)題,融合各種先進(jìn)技術(shù)和優(yōu)化架構(gòu)設(shè)計(jì),通過(guò)提高效率來(lái)處理大規(guī)模實(shí)時(shí)數(shù)據(jù)的同時(shí)帶來(lái)系統(tǒng)性能的提升,包括更精準(zhǔn)的數(shù)據(jù)采集、更高的容納率、更快的大規(guī)模查詢(xún)、更好的數(shù)據(jù)壓縮以及更有效率的數(shù)據(jù)應(yīng)用支撐。

新一代實(shí)時(shí)數(shù)據(jù)庫(kù)管理系統(tǒng)創(chuàng)新融合了工業(yè)數(shù)據(jù)采集技術(shù)、中斷觸發(fā)技術(shù)、自動(dòng)化控制技術(shù)、內(nèi)存庫(kù)技術(shù)、關(guān)系庫(kù)技術(shù)、行列存儲(chǔ)技術(shù)、多核并行技術(shù)、安全通信技術(shù)、高效實(shí)時(shí)檢索技術(shù)等等,在國(guó)外壟斷的核心技術(shù)領(lǐng)域突破了卡脖子重圍,實(shí)現(xiàn)了完全的自主創(chuàng)新,通過(guò)用戶(hù)共創(chuàng),完成了大量實(shí)踐和長(zhǎng)期檢驗(yàn),在提高工業(yè)數(shù)據(jù)管理能力的同時(shí),為企業(yè)數(shù)字化、信息化和智能化做出了重大貢獻(xiàn)。

11.2實(shí)時(shí)數(shù)據(jù)庫(kù)發(fā)展歷程

實(shí)時(shí)數(shù)據(jù)庫(kù)最早期的研究始于上世紀(jì)80年代的英國(guó),四十余年發(fā)展過(guò)程中,經(jīng)歷了早期實(shí)時(shí)數(shù)據(jù)庫(kù)、標(biāo)準(zhǔn)實(shí)時(shí)數(shù)據(jù)庫(kù)、新一代實(shí)時(shí)數(shù)據(jù)庫(kù)三大階段。

早期實(shí)時(shí)數(shù)據(jù)庫(kù)階段(1980-2000)的實(shí)時(shí)數(shù)據(jù)庫(kù)代表產(chǎn)品為西門(mén)子、ABB等工業(yè)自動(dòng)化廠商,該類(lèi)產(chǎn)品當(dāng)時(shí)較好地解決了生產(chǎn)線實(shí)時(shí)數(shù)據(jù)采集、就地存儲(chǔ)的問(wèn)題,但在廠級(jí)異構(gòu)數(shù)據(jù)采集、數(shù)據(jù)匯總集中和海量數(shù)據(jù)容納、大規(guī)模復(fù)雜查詢(xún)及靈活數(shù)據(jù)應(yīng)用支撐方面存在明顯不足。

標(biāo)準(zhǔn)實(shí)時(shí)數(shù)據(jù)庫(kù)階段(2000-2020)以O(shè)SI、Instep、庚頓數(shù)據(jù)、麥杰等為代表,該階段技術(shù)脈絡(luò)逐步清晰、解決方案架構(gòu)趨于穩(wěn)定、應(yīng)用領(lǐng)域極大豐富,進(jìn)一步拓寬了數(shù)據(jù)采集范圍,同時(shí)極大提升了數(shù)據(jù)容納能力和支持復(fù)雜業(yè)務(wù)的查詢(xún)計(jì)算能力,成為以流程工業(yè)為代表的生產(chǎn)監(jiān)控領(lǐng)域標(biāo)準(zhǔn)配置。

中國(guó)實(shí)時(shí)數(shù)據(jù)庫(kù)起步較晚,但21世紀(jì)初由于國(guó)家層面將實(shí)時(shí)數(shù)據(jù)庫(kù)作為與操作系統(tǒng)同一級(jí)別的軟件鼓勵(lì)支持,同時(shí)趕上了20余年來(lái)中國(guó)流程工業(yè)聲勢(shì)浩大的信息化浪潮的推動(dòng),中國(guó)實(shí)時(shí)數(shù)據(jù)庫(kù)產(chǎn)業(yè)得以快速高質(zhì)量發(fā)展,以庚頓數(shù)據(jù)為代表的實(shí)時(shí)數(shù)據(jù)庫(kù)廠商開(kāi)啟了新一代實(shí)時(shí)數(shù)據(jù)庫(kù)階段(2020至今),該階段由于數(shù)據(jù)規(guī)模爆炸增長(zhǎng)、數(shù)據(jù)采集難度提高,工業(yè)企業(yè)深水區(qū)的數(shù)據(jù)應(yīng)用進(jìn)入全面數(shù)字化和智能化階段,大型工業(yè)集團(tuán)化應(yīng)用日益增多,工業(yè)企業(yè)生產(chǎn)連續(xù)性、工業(yè)安全以及智能化應(yīng)用需求不斷提升,實(shí)時(shí)數(shù)據(jù)庫(kù)技術(shù)路線呈現(xiàn)多樣化和融合化發(fā)展。

隨著全球市場(chǎng)格局劇烈變革,工業(yè)數(shù)字化轉(zhuǎn)型不斷進(jìn)入核心業(yè)務(wù)深水區(qū),我國(guó)工業(yè)企業(yè)進(jìn)入通過(guò)新型工業(yè)技術(shù)和數(shù)字化技術(shù)實(shí)現(xiàn)高質(zhì)量和低碳化發(fā)展目標(biāo)的發(fā)展新階段,5G、云計(jì)算等新興技術(shù)快速發(fā)展,傳統(tǒng)實(shí)時(shí)數(shù)據(jù)庫(kù)的應(yīng)用系統(tǒng)紛紛優(yōu)化升級(jí),我國(guó)實(shí)時(shí)數(shù)據(jù)庫(kù)產(chǎn)業(yè)正在迎來(lái)重大發(fā)展機(jī)遇。

11.3實(shí)時(shí)數(shù)據(jù)庫(kù)關(guān)鍵技術(shù)研究現(xiàn)狀及問(wèn)題

實(shí)時(shí)數(shù)據(jù)庫(kù)管理系統(tǒng)作為涵蓋工業(yè)數(shù)據(jù)采集、數(shù)據(jù)管理及數(shù)據(jù)應(yīng)用的軟件系統(tǒng),其整體架構(gòu)與技術(shù)路線不斷深化發(fā)展,在端云采集同在、集控式與分布式并存、邊緣計(jì)算與云平臺(tái)共處等應(yīng)用趨勢(shì)驅(qū)動(dòng)下,國(guó)內(nèi)外在海量數(shù)據(jù)存儲(chǔ)機(jī)制、實(shí)時(shí)事務(wù)管理策略、分布式并行處理技術(shù)等關(guān)鍵技術(shù)領(lǐng)域的研究一直火熱,其理論更為成熟,實(shí)踐場(chǎng)景更為豐富,以流程工業(yè)為代表的核心應(yīng)用領(lǐng)域成果尤為突出。

(1)海量數(shù)據(jù)的存儲(chǔ)機(jī)制

實(shí)時(shí)數(shù)據(jù)庫(kù)包括內(nèi)存數(shù)據(jù)庫(kù)和歷史數(shù)據(jù)庫(kù),內(nèi)存索引機(jī)制和外存索引機(jī)制必須深度融合才能真正提升讀寫(xiě)性能,滿(mǎn)足不斷升級(jí)的應(yīng)用需求。ARTs_EDB系統(tǒng)提出兼有AVL樹(shù)和B+樹(shù)優(yōu)點(diǎn)的SB樹(shù)作為其內(nèi)存索引機(jī)制,并利用基于時(shí)間點(diǎn)的方法實(shí)現(xiàn)了一種新的時(shí)態(tài)索引技術(shù)。GDREAL實(shí)時(shí)歷史數(shù)據(jù)庫(kù)針對(duì)性能瓶頸,提出新的儲(chǔ)存機(jī)制——Z樹(shù),有效提升了磁盤(pán)存儲(chǔ)性能。由于高效的查詢(xún)算法對(duì)于內(nèi)存實(shí)時(shí)數(shù)據(jù)庫(kù)的性能至關(guān)重要,專(zhuān)口面向工業(yè)控制領(lǐng)域數(shù)據(jù)和業(yè)務(wù)的哈希索引算法及接口設(shè)計(jì)具有更強(qiáng)的適應(yīng)性和更高的效率。此外,考慮到實(shí)時(shí)數(shù)據(jù)庫(kù)基于測(cè)點(diǎn)的存儲(chǔ)結(jié)構(gòu)特征,綜合B+樹(shù)與哈希索引與一致性哈希索引的方法能夠有效提升數(shù)據(jù)查詢(xún)效率。

實(shí)時(shí)數(shù)據(jù)庫(kù)在組織存儲(chǔ)文件格式時(shí),極其重視數(shù)據(jù)壓縮算法的研究,以應(yīng)對(duì)實(shí)時(shí)數(shù)據(jù)庫(kù)在生產(chǎn)環(huán)境面臨海量數(shù)據(jù)存儲(chǔ)的挑戰(zhàn)。在實(shí)時(shí)數(shù)據(jù)庫(kù)領(lǐng)域中,數(shù)據(jù)壓縮技術(shù)主要有兩類(lèi),無(wú)損壓縮和有損壓縮。無(wú)損壓縮以通用壓縮理論為基礎(chǔ),采取哈佛曼算法等經(jīng)典的壓縮算法,如InStep公司的eDNA實(shí)時(shí)數(shù)據(jù)庫(kù);而有損壓縮則更多地考慮了工業(yè)實(shí)時(shí)數(shù)據(jù)的特征,采取特殊舍點(diǎn)的算法,著名的有損壓縮算法是OSI公司的PI實(shí)時(shí)數(shù)據(jù)庫(kù)使用的旋轉(zhuǎn)門(mén)壓縮算法;麥杰數(shù)據(jù)庫(kù)在時(shí)間維度上

有更全面考慮,綜合定制采樣頻率、例外報(bào)告、和矢量線性壓縮三種措施;庚頓數(shù)據(jù)將數(shù)據(jù)壓縮劃分為存儲(chǔ)前的定制采樣頻率、例外報(bào)告,和存儲(chǔ)后死區(qū)壓縮算法、可行域有損壓縮算法(自研)、兩階段無(wú)損壓縮算法,綜合壓縮比超1000:1。

此外,低成本的存儲(chǔ)是實(shí)時(shí)數(shù)據(jù)庫(kù)需要解決的一個(gè)主要問(wèn)題,對(duì)數(shù)據(jù)進(jìn)行分級(jí)存儲(chǔ),從使用不同存儲(chǔ)介質(zhì),以及減少數(shù)據(jù)的副本數(shù)等方面,解決如何在保證數(shù)據(jù)查詢(xún)性能的前提下,降低數(shù)據(jù)的存儲(chǔ)成本。對(duì)于實(shí)時(shí)數(shù)據(jù)庫(kù)來(lái)說(shuō),多級(jí)存儲(chǔ)表示:CPU寄存器->內(nèi)存->SSD固態(tài)硬盤(pán)->HDD機(jī)械硬盤(pán)->磁帶/光盤(pán)存儲(chǔ),實(shí)時(shí)數(shù)據(jù)庫(kù)把各種不同存儲(chǔ)容量、存取速度和價(jià)格的存儲(chǔ)器按照層次結(jié)構(gòu)組成多層存儲(chǔ)器,并通過(guò)管理有機(jī)的組合成為一個(gè)整體,使所存放的數(shù)據(jù)按照時(shí)間層次分布在各種存儲(chǔ)器中,同時(shí)隨著數(shù)據(jù)不斷增長(zhǎng)將數(shù)據(jù)從高速存儲(chǔ)向低速存儲(chǔ)持續(xù)遷移,在每一級(jí)存儲(chǔ)可以?huà)燧d多存儲(chǔ)路徑,實(shí)現(xiàn)存儲(chǔ)空間的在線擴(kuò)容。近年來(lái)非易失性?xún)?nèi)存等信息存儲(chǔ)硬件開(kāi)始普及,基于這類(lèi)新型硬件的實(shí)時(shí)數(shù)據(jù)庫(kù)的內(nèi)部處理邏輯、算法等需要重新設(shè)計(jì),實(shí)時(shí)數(shù)據(jù)庫(kù)技術(shù)可借此進(jìn)一步發(fā)展和完善。

(2)實(shí)時(shí)事務(wù)的管理策略

事務(wù)是指必須原子地執(zhí)行的一個(gè)或多個(gè)數(shù)據(jù)庫(kù)操作的集合,集合中的所有操作或者都執(zhí)行,或者都不執(zhí)行。實(shí)時(shí)數(shù)據(jù)庫(kù)的事務(wù)則兼具傳統(tǒng)數(shù)據(jù)庫(kù)事務(wù)與實(shí)時(shí)任務(wù)兩者的特征,必須同時(shí)實(shí)現(xiàn)數(shù)據(jù)一致性和定時(shí)限制。因此,實(shí)時(shí)事務(wù)的管理策略與傳統(tǒng)事務(wù)存在顯著差異,通常包括事務(wù)調(diào)度和并發(fā)控制兩項(xiàng)內(nèi)容。

事務(wù)調(diào)度的目標(biāo)是滿(mǎn)足定時(shí)限制事務(wù)的比率最大化,即讓盡可能多的事務(wù)處理在截止期之前完成。目前國(guó)內(nèi)外的實(shí)時(shí)數(shù)據(jù)庫(kù)中最為常用的是基于優(yōu)先級(jí)的事務(wù)調(diào)度策略,包括基于事務(wù)截止期來(lái)指派優(yōu)先級(jí)的截止期最早最優(yōu)先策略、基于空余時(shí)間(事務(wù)可推遲執(zhí)行的時(shí)間估算)來(lái)指派優(yōu)先級(jí)的空余時(shí)間最短最優(yōu)先策略、通過(guò)價(jià)值函數(shù)來(lái)指派優(yōu)先級(jí)的價(jià)值最高最優(yōu)先策略、通過(guò)價(jià)值密度函數(shù)(事務(wù)期望化值與所需執(zhí)行時(shí)間的比值)來(lái)指派優(yōu)先級(jí)的價(jià)值密度最大最優(yōu)先策略、基于事務(wù)執(zhí)行歷史日志的調(diào)度策略和廣義截止時(shí)間最優(yōu)策略等。上述事務(wù)實(shí)時(shí)調(diào)度策略有著各自的化勢(shì)應(yīng)用場(chǎng)景,但是能夠結(jié)合國(guó)防軍事領(lǐng)域特點(diǎn)的事務(wù)調(diào)度策略研究則相對(duì)不足。

并發(fā)控制的目標(biāo)是通過(guò)規(guī)范多個(gè)并發(fā)事務(wù)的執(zhí)行順序來(lái)避免它們之間的相互干擾,防止數(shù)據(jù)庫(kù)狀態(tài)一致性的破壞。實(shí)現(xiàn)并發(fā)控制的傳統(tǒng)技術(shù)包括鎖協(xié)議、時(shí)間戳和有效性確認(rèn)其中兩階段鎖是最經(jīng)典的鎖協(xié)議之一,但是在基于優(yōu)先級(jí)的事務(wù)調(diào)度過(guò)程中會(huì)產(chǎn)生“優(yōu)先級(jí)倒置”等問(wèn)題。為解決上述問(wèn)題,高優(yōu)先級(jí)兩階段鎖對(duì)傳統(tǒng)的兩階段鎖協(xié)議進(jìn)行了改進(jìn),在發(fā)生“優(yōu)先級(jí)倒置”時(shí)能夠中止低優(yōu)先級(jí)事務(wù)而確保高優(yōu)先級(jí)事務(wù)及時(shí)獲得相應(yīng)資源。分布式環(huán)境下的并發(fā)控制(分布式鎖)目前尚沒(méi)有特別高效的方案,國(guó)外分布式系統(tǒng)已經(jīng)廣泛應(yīng)用的算法和實(shí)現(xiàn)包括Paxios、Raft、Zookeeper等。

(3)分布式并行處理技術(shù)

在當(dāng)前最流行的分布式框架Hadoop中,不同的調(diào)度算法對(duì)于其性能有極大的影響。目前常用的作業(yè)調(diào)度算法主要包括先進(jìn)先出調(diào)度算法、公平份額調(diào)度算法和計(jì)算能力調(diào)度算法,其中應(yīng)用得最廣泛的是先進(jìn)先出調(diào)度算法。支撐Hadoop框架的兩個(gè)核心技術(shù)是源自Google File System的HDFS和MapReduce。MapReduce模型適用于批量處理任務(wù),但計(jì)算實(shí)時(shí)性不高。對(duì)于實(shí)時(shí)計(jì)算任務(wù),流式計(jì)算框架擁有更為針對(duì)性的設(shè)計(jì),典型地包括Twitter公司開(kāi)源的Storm框架、Linkedi公司開(kāi)發(fā)的Samza框架和UC BERKELEY大學(xué)研究的Spark流式框架。用于分布式環(huán)境下實(shí)時(shí)性要求嚴(yán)格而計(jì)算精確度要求稍低的應(yīng)用場(chǎng)景。

然而,工業(yè)領(lǐng)域有著豐富的數(shù)據(jù)查詢(xún)與處理場(chǎng)景,例如流程圖監(jiān)控頁(yè)面的實(shí)時(shí)數(shù)據(jù)展示,面向報(bào)警管理與優(yōu)化的數(shù)據(jù)挖掘分析等,需要系統(tǒng)能夠同時(shí)提供分布式查詢(xún)、實(shí)時(shí)訂閱、實(shí)時(shí)與非實(shí)時(shí)并行計(jì)算等多種能力。如果簡(jiǎn)單地將上述并行處理技術(shù)進(jìn)行集成和拼裝,而缺乏對(duì)流程工業(yè)數(shù)據(jù)處理場(chǎng)景的深入分析,將導(dǎo)致系統(tǒng)復(fù)雜而低效,無(wú)法滿(mǎn)足應(yīng)用的實(shí)時(shí)性和可靠性要求。因此,該方向尚存在大量研究工作有待開(kāi)展。

分布式實(shí)時(shí)數(shù)據(jù)庫(kù)的服務(wù)橫型包含分布式存儲(chǔ)服務(wù)、分布式計(jì)算服務(wù)和網(wǎng)絡(luò)通信服務(wù)三大分布式服務(wù)群。同時(shí),基于工業(yè)互聯(lián)網(wǎng)的跨地域數(shù)據(jù)傳輸與服務(wù)接口訪問(wèn)使得分布式實(shí)時(shí)數(shù)據(jù)庫(kù)的開(kāi)放性日益提升,信息安全問(wèn)題也逐漸成為分布式實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)設(shè)計(jì)過(guò)程中必須重點(diǎn)考慮和投入的方向,對(duì)應(yīng)的網(wǎng)絡(luò)信息安全和用戶(hù)訪問(wèn)認(rèn)證技術(shù)成為隔離系統(tǒng)外部和內(nèi)部的重要安全屏障。除此之外,組態(tài)管理服務(wù)用于對(duì)系統(tǒng)組態(tài)配置信息和工廠模型信息迸行統(tǒng)一管理和發(fā)布。事務(wù)管理服務(wù)參與全生命周期流程,將全局任務(wù)與分布式服務(wù)節(jié)點(diǎn)進(jìn)行緊密連接,確保任何涉及多服務(wù)節(jié)點(diǎn)的任務(wù)能夠完整、有序、正確地執(zhí)行,并在調(diào)度過(guò)程中盡可能滿(mǎn)足其實(shí)時(shí)特性。

進(jìn)入二十一世紀(jì),隨著國(guó)家鼓勵(lì)發(fā)展實(shí)時(shí)數(shù)據(jù)庫(kù)等基礎(chǔ)軟件的鼓勵(lì)以及數(shù)字化轉(zhuǎn)型、雙碳目標(biāo)等國(guó)策的出臺(tái),國(guó)內(nèi)實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)研究和應(yīng)用不斷深入,國(guó)產(chǎn)實(shí)時(shí)數(shù)據(jù)庫(kù)軟件取得長(zhǎng)足進(jìn)展,其功能和性能在電力、化工、冶金、煙草、軍工、新能源等眾多行業(yè)的重大項(xiàng)目中不斷得到驗(yàn)證,逐步實(shí)現(xiàn)了對(duì)國(guó)外軟件的趕超。

雖然實(shí)時(shí)數(shù)據(jù)庫(kù)管理系統(tǒng)屬于核心基礎(chǔ)軟件,但目前大部分國(guó)產(chǎn)實(shí)時(shí)數(shù)據(jù)庫(kù)軟件針對(duì)自主可控CPU和操作系統(tǒng)進(jìn)行優(yōu)化不足,軟件在一些功能的技術(shù)實(shí)現(xiàn)上使用通用但更依賴(lài)CPU計(jì)算能力的方法,CPU、IO設(shè)備等硬件能力不足。因此,如果想要真正滿(mǎn)足大工業(yè)市場(chǎng)海量傳感器數(shù)據(jù)實(shí)時(shí)存儲(chǔ)和處理的需求,尤其核電應(yīng)用等態(tài)勢(shì)感知、裝備運(yùn)行狀態(tài)監(jiān)控等高級(jí)數(shù)據(jù)應(yīng)用領(lǐng)域的特殊需求,目前大部分國(guó)產(chǎn)數(shù)據(jù)庫(kù)管理系統(tǒng)還需要更進(jìn)一步。針對(duì)以上問(wèn)題,以庚頓數(shù)據(jù)為代表的實(shí)時(shí)數(shù)據(jù)庫(kù)廠商例近年來(lái)不斷突破創(chuàng)新,海量順序和亂序數(shù)據(jù)的高性能寫(xiě)入、海量實(shí)時(shí)和歷史數(shù)據(jù)的原始及聚合查詢(xún)、廣泛適配國(guó)產(chǎn)硬件設(shè)備和操作系統(tǒng)以及如何實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)庫(kù)更高可靠性和安全性等領(lǐng)域均進(jìn)行了大量深入的研究與創(chuàng)新應(yīng)用,取得了豐碩的成果和市場(chǎng)回報(bào)。

11.4中國(guó)實(shí)時(shí)數(shù)據(jù)庫(kù)市場(chǎng)發(fā)展趨勢(shì)

對(duì)大型工業(yè)企業(yè)而言,精準(zhǔn)、快速掌握數(shù)字化轉(zhuǎn)型進(jìn)程中產(chǎn)生的各種數(shù)據(jù)和信息,可以進(jìn)一步保障生產(chǎn)穩(wěn)定、業(yè)務(wù)優(yōu)化、設(shè)備健康和能耗降低,而這些正是企業(yè)獲得高質(zhì)量發(fā)展的關(guān)鍵驅(qū)動(dòng)力。充分發(fā)掘工業(yè)數(shù)據(jù)價(jià)值的企業(yè),才能最大限度釋放工業(yè)數(shù)據(jù)生產(chǎn)力,幫助工業(yè)用戶(hù)在激烈的市場(chǎng)競(jìng)爭(zhēng)中搶占主動(dòng)、獲得先機(jī)。

隨著5G技術(shù)、高性能電池技術(shù)的發(fā)展和低成本傳感器的普及,工業(yè)數(shù)據(jù)呈現(xiàn)爆炸式增長(zhǎng),流程工業(yè)的工業(yè)數(shù)據(jù)資源日益豐富,但企業(yè)對(duì)數(shù)據(jù)的掌握和應(yīng)用沒(méi)有跟上數(shù)據(jù)增長(zhǎng)的速度,大部分工業(yè)數(shù)據(jù)并沒(méi)有得到有效的共享和利用,數(shù)據(jù)收集和整理的時(shí)間占比過(guò)大,真正被發(fā)掘并運(yùn)用到企業(yè)的日常運(yùn)營(yíng)中的數(shù)據(jù)不到三分之一。因此,流程工業(yè)迫切需要海量工業(yè)數(shù)據(jù)的整體解決方案,更加高效地、精準(zhǔn)地、實(shí)時(shí)地采集需要的工業(yè)數(shù)據(jù),同時(shí)對(duì)這些數(shù)據(jù)進(jìn)行整合分析并及時(shí)共享給各業(yè)務(wù)部分的數(shù)據(jù)使用方,以期創(chuàng)造更新的增長(zhǎng)極。數(shù)據(jù)已然成為現(xiàn)代流程工業(yè)數(shù)字化轉(zhuǎn)型的核心,真正實(shí)現(xiàn)工業(yè)數(shù)據(jù)的采集、存儲(chǔ)并幫助建立工業(yè)數(shù)據(jù)分析和應(yīng)用平臺(tái)挖掘工業(yè)數(shù)據(jù)價(jià)值,成為驅(qū)動(dòng)實(shí)時(shí)數(shù)據(jù)庫(kù)行業(yè)面臨的挑戰(zhàn)和機(jī)遇。

實(shí)時(shí)數(shù)據(jù)庫(kù)開(kāi)發(fā)的理念是為了實(shí)現(xiàn)工業(yè)監(jiān)控及工業(yè)數(shù)據(jù)分析應(yīng)用,其數(shù)據(jù)讀取以及存儲(chǔ)壓縮能力作為核心功能一直在升級(jí)迭代。為滿(mǎn)足工業(yè)企業(yè)更高標(biāo)準(zhǔn)要求,突破原有應(yīng)用場(chǎng)景限制,開(kāi)辟新的增量市場(chǎng),實(shí)時(shí)數(shù)據(jù)庫(kù)廠商需要在技術(shù)層面上需要實(shí)現(xiàn)更多種信息技術(shù)的深度融合,尤其要和邊緣計(jì)算結(jié)合互補(bǔ);為了降低企業(yè)應(yīng)用難度,提升使用感受,需要高度統(tǒng)一協(xié)議接口,進(jìn)一步提高系統(tǒng)一體化水平。

(1)融合與統(tǒng)一,實(shí)時(shí)數(shù)據(jù)庫(kù)技術(shù)創(chuàng)新不能停

與各類(lèi)信息技術(shù)的高度耦合,邊緣計(jì)算將算力下沉。實(shí)時(shí)數(shù)據(jù)庫(kù)當(dāng)前采集頻率已經(jīng)突破毫秒級(jí),超越了多數(shù)設(shè)備數(shù)據(jù)采集需求的上限。雖然性能已經(jīng)達(dá)到單體設(shè)備采集標(biāo)準(zhǔn),但是設(shè)備數(shù)量未來(lái)幾年將快速增長(zhǎng),與物聯(lián)網(wǎng)、云計(jì)算、邊緣計(jì)算等不同技術(shù)橫向融合是提升自身價(jià)值的重要途經(jīng),其中以邊緣計(jì)算與實(shí)時(shí)數(shù)據(jù)庫(kù)的相關(guān)性最強(qiáng)。當(dāng)數(shù)據(jù)過(guò)于龐大,集中化的處理方式很難響應(yīng)實(shí)時(shí)的數(shù)據(jù)分析需求時(shí),需要通過(guò)邊緣設(shè)備實(shí)時(shí)響應(yīng)的處理并反饋,采取這種分級(jí)處理的方式能夠有效提升時(shí)效性數(shù)據(jù)的價(jià)值,同時(shí)減輕存儲(chǔ)系統(tǒng)的負(fù)擔(dān)。尤其在離散制造業(yè)當(dāng)中,行業(yè)碎片化程度高且呈橫向分布,應(yīng)用邊緣計(jì)算技術(shù)可以更契合離散制造系統(tǒng)實(shí)時(shí)工業(yè)軟件開(kāi)發(fā)。

新一代實(shí)時(shí)數(shù)據(jù)庫(kù)正在全力支撐和加速流程工業(yè)數(shù)字化轉(zhuǎn)型升級(jí)

系統(tǒng)一體化程度提升,軟件協(xié)議接口統(tǒng)一化。硬件上,設(shè)備由企業(yè)采購(gòu),但是不同品牌的智能制造設(shè)備數(shù)據(jù)測(cè)點(diǎn)反饋的數(shù)據(jù)真實(shí)性、時(shí)效性會(huì)略有不同;軟件上,目前不同實(shí)時(shí)數(shù)據(jù)庫(kù)產(chǎn)品適用的開(kāi)發(fā)平臺(tái)或多或少存在限制,接口標(biāo)準(zhǔn)眾多難以高度統(tǒng)一,激化設(shè)備和軟件數(shù)據(jù)對(duì)接問(wèn)題。對(duì)實(shí)時(shí)系統(tǒng)的一體化成為企業(yè)、設(shè)備提供商、實(shí)時(shí)數(shù)據(jù)庫(kù)提供商的統(tǒng)一需求。

(2)更強(qiáng)大,更成熟,實(shí)時(shí)數(shù)據(jù)庫(kù)產(chǎn)品升級(jí)迫在眉睫

功能升級(jí),應(yīng)用場(chǎng)景增加。實(shí)時(shí)數(shù)據(jù)庫(kù)目前主要還是應(yīng)用于傳統(tǒng)大型工業(yè)例如火電廠、核電廠、煉鋼廠等,這些行業(yè)實(shí)時(shí)數(shù)據(jù)的并發(fā)量和處理量已經(jīng)處于金字塔頂端,印證了實(shí)時(shí)數(shù)據(jù)庫(kù)核心功能已經(jīng)具備“向下”兼容的能力,例如汽車(chē)、家具、食品等行業(yè)??山Y(jié)合云平臺(tái)技術(shù),突破現(xiàn)場(chǎng)控制監(jiān)控的瓶頸,賦能于更多的場(chǎng)景當(dāng)中。最大程度實(shí)現(xiàn)工廠自動(dòng)化生產(chǎn),實(shí)現(xiàn)無(wú)人化“黑燈工廠”減少企業(yè)人力成本,提高生產(chǎn)效率。

更完整成熟的實(shí)時(shí)數(shù)據(jù)庫(kù)產(chǎn)品。相較于通用的時(shí)序數(shù)據(jù)庫(kù),完整的實(shí)時(shí)數(shù)據(jù)庫(kù)產(chǎn)品更適用于工業(yè)制造領(lǐng)域。制造業(yè)企業(yè)與互聯(lián)網(wǎng)公司相比,缺少專(zhuān)業(yè)研發(fā)優(yōu)化人員,更多是使用者的身份,對(duì)產(chǎn)品的首要需求是高穩(wěn)定、可維護(hù)。工業(yè)智能生產(chǎn)采用的架構(gòu)比較類(lèi)似,擁有相對(duì)成熟的體系,標(biāo)準(zhǔn)化、成熟度高的實(shí)時(shí)數(shù)據(jù)庫(kù)產(chǎn)品更契合工業(yè)需求。成熟的實(shí)時(shí)數(shù)據(jù)庫(kù)產(chǎn)品需要提供標(biāo)準(zhǔn)的數(shù)據(jù)挖掘模式,對(duì)于基本的過(guò)程參數(shù)、不同工序之間一些標(biāo)準(zhǔn)的產(chǎn)品無(wú)需企業(yè)進(jìn)行進(jìn)一步開(kāi)發(fā)應(yīng)用。

(3)市場(chǎng)規(guī)模急速膨脹,資本進(jìn)入最佳時(shí)機(jī)

中國(guó)工業(yè)實(shí)時(shí)數(shù)據(jù)庫(kù)市場(chǎng)經(jīng)歷了二十多年的發(fā)展,至今一直處于穩(wěn)步增長(zhǎng)狀態(tài),但是增速較為緩慢,應(yīng)用動(dòng)機(jī)基本出于行業(yè)領(lǐng)頭企業(yè)“嘗鮮”使用、制造標(biāo)桿工廠的想法,未能得到深度開(kāi)發(fā)應(yīng)用,但是在工業(yè)數(shù)字化從口號(hào)進(jìn)階至國(guó)家重要發(fā)展方向后,給市場(chǎng)注入一陣強(qiáng)心劑。工業(yè)場(chǎng)景中,80%以上的監(jiān)測(cè)數(shù)據(jù)都是實(shí)時(shí)數(shù)據(jù),過(guò)去企業(yè)沒(méi)有重視保存歷史數(shù)據(jù),如今對(duì)數(shù)據(jù)價(jià)值挖掘及應(yīng)用的需求和實(shí)際使用的情況之間存在巨大缺口,市場(chǎng)有很大上升空間,預(yù)計(jì)至2025年達(dá)到269億元的規(guī)模。以數(shù)據(jù)為核心競(jìng)爭(zhēng)力的意識(shí)將在制造業(yè)中蔓延滲透至大大小小各個(gè)細(xì)分行業(yè),未來(lái)大量應(yīng)用實(shí)時(shí)數(shù)據(jù)庫(kù)成為必然趨勢(shì)。

(4)產(chǎn)品國(guó)產(chǎn)化替代大勢(shì)所趨

隨著大數(shù)據(jù)時(shí)代的來(lái)臨,數(shù)據(jù)成為企業(yè)的重要戰(zhàn)略資源,數(shù)據(jù)的隱私性和安全性是企業(yè)在選擇實(shí)時(shí)數(shù)據(jù)庫(kù)時(shí)的重要考量因素。特別是工業(yè)數(shù)據(jù),具有其他行業(yè)不具備的特征。與互聯(lián)網(wǎng)大數(shù)據(jù)不同,工業(yè)數(shù)據(jù)雖然規(guī)模龐大,但是大多為有效數(shù)據(jù),數(shù)據(jù)價(jià)值密度高,對(duì)企業(yè)而言具有絕對(duì)的商業(yè)價(jià)值。工業(yè)數(shù)據(jù)主要來(lái)源于各類(lèi)傳感器設(shè)備對(duì)環(huán)境和生產(chǎn)流程的監(jiān)測(cè),多種類(lèi)數(shù)據(jù)并發(fā)量巨大,數(shù)據(jù)類(lèi)型異常龐雜。工業(yè)制造是國(guó)家發(fā)展的重要依靠,特別是在高精尖領(lǐng)域,對(duì)數(shù)據(jù)泄露采取零容忍態(tài)度,數(shù)據(jù)機(jī)密性強(qiáng)。

中國(guó)實(shí)時(shí)數(shù)據(jù)庫(kù)研發(fā)起步較晚,初期階段更多借鑒國(guó)外的優(yōu)秀技術(shù)和經(jīng)驗(yàn),導(dǎo)致海外品牌在中國(guó)市場(chǎng)中占據(jù)了先機(jī)。近幾年在產(chǎn)品性能方面,本土產(chǎn)品奮起直追,甚至實(shí)現(xiàn)彎道超車(chē),卻在營(yíng)銷(xiāo)層面存在薄弱環(huán)節(jié),暫未打破壟斷局面,但海外產(chǎn)品靈活性不足及數(shù)據(jù)隱私兩個(gè)主要驅(qū)動(dòng)因素暗示著國(guó)產(chǎn)化替代浪潮的到來(lái)。在保證數(shù)據(jù)安全的前提下使用性能優(yōu)秀、維護(hù)便捷、成本更低、接口協(xié)議更開(kāi)放的產(chǎn)品是每一個(gè)理性的中國(guó)企業(yè)都會(huì)做的選擇,本土化產(chǎn)品的迅速崛起讓中國(guó)企業(yè)看到了新方向。

(5)頭部效應(yīng)驅(qū)動(dòng)實(shí)時(shí)數(shù)據(jù)庫(kù)再上層樓

工業(yè)實(shí)時(shí)數(shù)據(jù)庫(kù)不同于時(shí)序數(shù)據(jù)庫(kù)等通用數(shù)據(jù)庫(kù),在生產(chǎn)線的運(yùn)行時(shí)間可長(zhǎng)達(dá)數(shù)十年,且價(jià)格高昂,是企業(yè)實(shí)時(shí)系統(tǒng)的核心構(gòu)成。在初期選擇階段企業(yè)會(huì)進(jìn)行再三考量,安裝使用后不會(huì)輕易更換。替換周期長(zhǎng)、成本高或造成未來(lái)市場(chǎng)產(chǎn)生頭部效應(yīng)。對(duì)實(shí)時(shí)數(shù)據(jù)庫(kù)有迫切需求的更多是中大型工業(yè)企業(yè),產(chǎn)品應(yīng)用一步到位和可持續(xù)運(yùn)行是首要考量因素。實(shí)時(shí)數(shù)據(jù)庫(kù)未來(lái)的市場(chǎng)將屬于擁有絕對(duì)產(chǎn)品競(jìng)爭(zhēng)力的優(yōu)秀企業(yè)。

但目前市面產(chǎn)品質(zhì)量層次不齊,市場(chǎng)中得到認(rèn)可的產(chǎn)品來(lái)自十幾家不同的實(shí)時(shí)數(shù)據(jù)庫(kù)企業(yè),由于缺乏統(tǒng)一的對(duì)比標(biāo)準(zhǔn)和長(zhǎng)時(shí)間的調(diào)教優(yōu)化,部分國(guó)產(chǎn)產(chǎn)品在基本功能上仍存在缺陷。例如在數(shù)據(jù)點(diǎn)采集存儲(chǔ)方面,不少?gòu)S商在數(shù)據(jù)采集過(guò)程中存在數(shù)據(jù)不穩(wěn)定、數(shù)據(jù)斷包的現(xiàn)象;服務(wù)器兼容性、可靠性和穩(wěn)定性不足,導(dǎo)致經(jīng)常性停運(yùn)維修;數(shù)據(jù)檢索能力弱,進(jìn)行歷史數(shù)據(jù)定位提取時(shí)發(fā)生目標(biāo)屬性類(lèi)型不匹配的情況。

實(shí)時(shí)數(shù)據(jù)庫(kù)是典型的長(zhǎng)期主義市場(chǎng),爬坡周期長(zhǎng),產(chǎn)品成熟慢,用戶(hù)共創(chuàng)程度高,成熟穩(wěn)定性要求高,需要不斷優(yōu)化調(diào)節(jié)和歲月的沉淀。研發(fā)具有自主知識(shí)產(chǎn)權(quán)的實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)具有重要的意義,實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)的設(shè)計(jì)與結(jié)構(gòu)的開(kāi)發(fā)尤為重要,開(kāi)發(fā)流程繁瑣,需要時(shí)間的沉淀來(lái)對(duì)產(chǎn)品進(jìn)行反復(fù)的優(yōu)化調(diào)試。前期設(shè)計(jì)開(kāi)發(fā)包含概念結(jié)構(gòu)設(shè)計(jì)、邏輯結(jié)構(gòu)設(shè)計(jì)、物理設(shè)計(jì),對(duì)接入層、存儲(chǔ)層、計(jì)算層、平臺(tái)層以及應(yīng)用層多層面的開(kāi)發(fā)。后期運(yùn)維調(diào)試階段,則需要根據(jù)行業(yè)特定需求進(jìn)行實(shí)時(shí)數(shù)據(jù)庫(kù)優(yōu)化調(diào)整,產(chǎn)品的成熟度與工程支持人員的專(zhuān)業(yè)度及工業(yè)知識(shí)沉淀程度決定維護(hù)調(diào)試周期的長(zhǎng)短。

【來(lái)源: 微信公眾號(hào)“庚頓數(shù)據(jù)” 】

分享到

xiesc

相關(guān)推薦