在過去幾年,我們看到疫情加速了全球數(shù)字化的成長(zhǎng),數(shù)據(jù)技術(shù)也變成了一個(gè)熱門的賽道。數(shù)據(jù)技術(shù)本身在過去的兩三年里面,最重要的是受到了三種外部形態(tài):開源、云計(jì)算、人工智能地重塑。
開源數(shù)據(jù)技術(shù)在過去幾年快速興起,形成了很多細(xì)分賽道,而云計(jì)算由1.0的資源型現(xiàn)在走向了2.0,尤其進(jìn)入了多元的型態(tài),如多云云原生數(shù)倉(cāng)的出現(xiàn);另外人工智能逐步加入到數(shù)據(jù)價(jià)值的發(fā)現(xiàn)中,與數(shù)據(jù)技術(shù)融合形成新的數(shù)據(jù)智能平臺(tái)。
分布式數(shù)據(jù)庫(kù)仍然是比較熱門技術(shù),逐步走向了云源生,已經(jīng)開始在多云環(huán)境提供全托管服務(wù);此外,大數(shù)據(jù)技術(shù)還在不斷向前發(fā)展,尤其是在實(shí)時(shí)性技術(shù)方面不斷的向前演進(jìn)。再有就是數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)兩種技術(shù)融合的趨勢(shì),多模數(shù)據(jù)化也在不斷發(fā)展。
總之,數(shù)據(jù)技術(shù)已經(jīng)成為了企業(yè)軟件最黃金的一個(gè)賽道,在此,我提醒大家特別關(guān)注“數(shù)據(jù)庫(kù)”這個(gè)賽道。
今天的數(shù)據(jù)庫(kù)已經(jīng)不是單機(jī)版的,或者是第一代云數(shù)據(jù)庫(kù)RDS(關(guān)系型數(shù)據(jù)庫(kù))形態(tài),而數(shù)據(jù)庫(kù)如今已經(jīng)升華一個(gè)新的黃金時(shí)代,數(shù)據(jù)庫(kù)與分布式技術(shù)、云計(jì)算,尤其是云原生技術(shù)的融合,產(chǎn)生了一個(gè)新的物種。其與20年前應(yīng)用于信息化時(shí)代的數(shù)據(jù)庫(kù)不同,此前的數(shù)據(jù)庫(kù)多用來(lái)做記錄和統(tǒng)計(jì),是OLTP核心交易系統(tǒng),如銀行的核心交易,電信營(yíng)業(yè)系統(tǒng)、BOSS系統(tǒng)等,這些都是以記錄交易和統(tǒng)計(jì)業(yè)務(wù)為主的。
數(shù)字化時(shí)代,業(yè)務(wù)從穩(wěn)態(tài)進(jìn)入到敏態(tài),數(shù)據(jù)需求就由被動(dòng)存儲(chǔ)、統(tǒng)計(jì)進(jìn)入到數(shù)據(jù)驅(qū)動(dòng),對(duì)于實(shí)時(shí)性、實(shí)效性的業(yè)務(wù)追求。此前,用戶大多采用各種ETL工具、Hadoop集群、消息隊(duì)列,以及分庫(kù)分表,如此,客戶往往會(huì)三個(gè)以上的數(shù)據(jù)庫(kù)類型,4個(gè)以上數(shù)據(jù)工具,技術(shù)應(yīng)用非常復(fù)雜。
對(duì)此,新一代的數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生,尤以分布式數(shù)據(jù)庫(kù)走向云原生為代表,如果說,此前的數(shù)據(jù)庫(kù)應(yīng)用以O(shè)LTP為主,如今,新的數(shù)據(jù)庫(kù)就上升到處理OLAP為主;之前離線的速倉(cāng),第二天才能看到分析的結(jié)果,到現(xiàn)在,要以分鐘甚至以秒為單位得到結(jié)果,實(shí)時(shí)反饋,這些都使得數(shù)據(jù)庫(kù)技術(shù)進(jìn)入到了一個(gè)新的以實(shí)時(shí)應(yīng)用為主的簡(jiǎn)化和融合的應(yīng)用。
那么簡(jiǎn)化的意思,就是要把交易系統(tǒng)、分析系統(tǒng)一體化,為此產(chǎn)生了融合的需求,最有代表性的就是HTAP(Hybrid Transaction / Analytical Processing,混合事務(wù)分析處理))技術(shù),也就是在同一個(gè)數(shù)據(jù)庫(kù)里,能夠既處理交易(OLTP),又能夠做實(shí)時(shí)的分析(OLAP),對(duì)于所有的互聯(lián)網(wǎng)企業(yè),對(duì)于做數(shù)字化的企業(yè)都是一個(gè)必備的需求。在數(shù)字化的時(shí)代,它借助開源不斷迭代;借助云原生、新一代的技術(shù)資源的調(diào)度以及與人工智能的融合,已經(jīng)變成了一個(gè)具備在PB級(jí)別處理的新產(chǎn)品。
我們今天的整個(gè)數(shù)據(jù)庫(kù)分論壇也是聚焦這個(gè)新的數(shù)據(jù)技術(shù)時(shí)代,分享一些關(guān)鍵技術(shù)的趨勢(shì),我們也會(huì)有很多廠商在分布式數(shù)據(jù)庫(kù),在云原生的數(shù)倉(cāng),以及在分析型數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)方面有更多的介紹。我們也很期待大家能從這些分享里面看到今天數(shù)據(jù)技術(shù)未來(lái)的發(fā)展趨勢(shì),也能夠知道我們應(yīng)該在哪一個(gè)賽道上面投入更多的時(shí)間。
劉松:
PingCAP 副總裁 阿里巴巴原副總裁,負(fù)責(zé)公共事務(wù)與產(chǎn)學(xué)研生態(tài)構(gòu)建,是阿里巴巴云計(jì)算與大數(shù) 據(jù)生態(tài)體系的主要推動(dòng)者。2022中國(guó)數(shù)據(jù)與存儲(chǔ)峰會(huì),數(shù)據(jù)庫(kù)技術(shù)應(yīng)用分論壇出品人。