以下內(nèi)容根據(jù)演講速記整理,未經(jīng)本人審定。】
謝長(zhǎng)生:大家下午好,今天聊一聊我關(guān)對(duì)AI高端存儲(chǔ)系統(tǒng)的發(fā)展邏輯與技術(shù)特征的一些思考。
圖靈機(jī)表達(dá)了宇宙的一切規(guī)律
是誰(shuí)描繪了信息革命的千里江山圖?
我在博士生的課程上講了十幾年,但是在行業(yè)性的會(huì)很少講,這是信息革命的起點(diǎn),緣由是一個(gè)德國(guó)數(shù)學(xué)家希爾伯特在1900年的世界數(shù)學(xué)家大會(huì)上提出的一個(gè)哲學(xué)問題(提出問題比解決問題其實(shí)更重要):存不存在解決所有數(shù)學(xué)問題的一般算法?他感覺到是有,但不確定。
過了36年,圖靈為了回答這個(gè)問題構(gòu)造了一個(gè)圖靈機(jī),這個(gè)圖靈機(jī)其實(shí)很簡(jiǎn)單,一個(gè)無限長(zhǎng)的帶子,還有一個(gè)磁頭,要么是寫0,要么寫1,使它發(fā)生變化,這個(gè)帶子左右移動(dòng),圖靈證實(shí)說,就這樣的機(jī)器,所有的數(shù)學(xué)問題都可以理論上解決出來。
為了回答這個(gè)問題的操作,一下子就開啟了信息革命的原點(diǎn),所有后面的故事就此開始。
后來又有一個(gè)先驅(qū),一個(gè)很有名的元胞自動(dòng)機(jī)科學(xué)家企業(yè)家,說他能證明圖靈機(jī)模型可以表達(dá)宇宙的一切規(guī)律。這個(gè)問題雖然沒有像解決數(shù)學(xué)問題一樣得到證明,但我很相信這個(gè)道理的。
圖靈機(jī)有三個(gè)部分,一個(gè)是計(jì)算部分,讀寫頭機(jī)器控制,第二部分是存儲(chǔ),無限長(zhǎng)的帶子,上面都是數(shù)據(jù),這就是存儲(chǔ),帶子的移動(dòng)就是傳輸。
現(xiàn)在回過頭來看,人家早就說明了,整個(gè)數(shù)字信息設(shè)施就是這三樣?xùn)|西,現(xiàn)在所有數(shù)據(jù)中心跑不出這三個(gè)東西,計(jì)算設(shè)施、存儲(chǔ)設(shè)施,傳輸設(shè)施(網(wǎng)絡(luò))。
定義一下這三項(xiàng)內(nèi)容。計(jì)算就是在有限規(guī)則下對(duì)數(shù)據(jù)的序列變換;存儲(chǔ)是數(shù)據(jù)跨越時(shí)間的傳遞,老子寫一本書,跨越兩千多年傳到我們,這就是跨越時(shí)間的傳輸,打個(gè)電話就是空間的傳輸。這三件事情現(xiàn)在簡(jiǎn)稱算力、存力、運(yùn)力,它們表達(dá)了一個(gè)簡(jiǎn)單的真理,只要對(duì)數(shù)據(jù)進(jìn)行計(jì)算存儲(chǔ)傳輸,就能表達(dá)宇宙的一切規(guī)律。
這是非常偉大的發(fā)現(xiàn)。
圖靈機(jī)既是一個(gè)偉大的發(fā)現(xiàn),又是一個(gè)偉大的發(fā)明,就這么幾個(gè)簡(jiǎn)單的動(dòng)作可以表達(dá)世界的一切客觀規(guī)律,構(gòu)造成了計(jì)算存儲(chǔ)傳輸基礎(chǔ)性的發(fā)明,用一種開天辟地的方式開啟了信息時(shí)代,用計(jì)算來開辟一個(gè)和人腦智力不一樣的模式,但是可以表達(dá)世界運(yùn)行規(guī)律。
圖靈機(jī)可以表達(dá)世間的一切規(guī)律,這是它的理論能力;但是到底能表達(dá)多少,就看算力到?jīng)]到那個(gè)點(diǎn)。從計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)的來看有兩大措施,在集成電路技術(shù)體系下,一個(gè)是并行,一個(gè)是更多的角度,最早有指令級(jí)的并行,流水線、多發(fā)射,數(shù)據(jù)并行,還有多核,同構(gòu)多核到現(xiàn)在的異構(gòu)多核,然后就是大規(guī)模的并行,云計(jì)算中心、超算中心、智算中心等等,計(jì)算力就是一個(gè)系統(tǒng)上跑,這個(gè)就是計(jì)算原理所決定的,如果算力無窮大,那就什么事都能干。
從最開始的大型機(jī)到小型機(jī)到PC,剛開始的PC只能處理文字,后來圖像、視頻,這是算力在進(jìn)步。算力要靠數(shù)據(jù)來喂,要傳輸,要存儲(chǔ),所以就發(fā)展了互聯(lián)網(wǎng)、智能手機(jī)和移動(dòng)互聯(lián)網(wǎng)、云計(jì)算等。
在AI這個(gè)點(diǎn)上,人們覺得現(xiàn)在很先進(jìn),但其實(shí)后面的路還長(zhǎng)著呢,后面是宇宙一切規(guī)律,離那個(gè)點(diǎn)還遠(yuǎn)的很。所以圖靈是一眼望到了宇宙的一切規(guī)律,現(xiàn)在正在AI這個(gè)時(shí)間點(diǎn)上。
信息革命一波波的浪潮,目前都還在圖靈的手掌心當(dāng)中。剛才說了這么多成就,其實(shí)就像是孫悟空翻的跟頭十萬(wàn)八千里,停下來看還在圖靈的手掌心中,還是在圖靈的模式下工作。圖靈早就認(rèn)識(shí)到計(jì)算機(jī)是可以思考,所以他1950年發(fā)文,計(jì)算機(jī)學(xué)習(xí)智能,提出了著名的圖靈測(cè)試,通過圖靈測(cè)試才算完成人工智能。
圖靈機(jī)是可以表達(dá)宇宙的一切規(guī)律,人類的智能是關(guān)于思維的規(guī)律,在宇宙一切規(guī)律之內(nèi),所以圖靈機(jī)可以表達(dá)人類思維。
關(guān)于圖靈機(jī)和AI的邏輯
從邏輯可以推斷,AGI(通用人工智能)可以表達(dá)人類的思維,可以達(dá)到人類的水平。好幾個(gè)大佬都預(yù)測(cè)在2027年左右就可以做到跟人類一樣聰明,這是通用人工智能。
圖靈機(jī)可以表達(dá)宇宙的一切規(guī)律,那么存不存在于高于人類的智慧?其實(shí)比比皆是,很多東西人根本就想不出來,其實(shí)就存在于我們的視野當(dāng)中。任何一個(gè)生物的細(xì)胞很多機(jī)制,從微觀來看那種設(shè)計(jì)簡(jiǎn)直是太精巧了,可人的智慧設(shè)計(jì)不了那個(gè)東西,有人覺得這是上帝的安排。如果是靠進(jìn)化出來的,這個(gè)其實(shí)是很難理解的,所以很多人說是有比人類更高智慧的存在。
圖靈機(jī)按照這個(gè)進(jìn)度一定可以超越人類智能,這也是符合邏輯三段論的,這就是AI中的超級(jí)人工智能,叫做ASI。一個(gè)大集合是宇宙的一切規(guī)律,通用人工智能其實(shí)是一小部分,參與人工智能就是又一個(gè)更大的集,很多人都說人類智慧是不可能被機(jī)器超越的,有一個(gè)著名的企業(yè)家和馬斯克辯論,說人類有創(chuàng)造力,機(jī)器不可能超越,馬斯克說其實(shí)人類很多事情做得非常愚蠢,好端端的一個(gè)地球老是打來打去,沒有一個(gè)好辦法避免戰(zhàn)爭(zhēng)。
圖靈的成就抵得上10個(gè)諾貝爾獎(jiǎng)
圖靈的成就開啟了一個(gè)信息時(shí)代。
我認(rèn)為圖靈的成就比得上十個(gè)諾貝爾獎(jiǎng),圖靈啟動(dòng)了信息革命。晶體管和激光二極管是做傳輸?shù)?,巨磁阻效?yīng)(硬盤)是做存儲(chǔ)的,很多科學(xué)家都是在圖靈的框架下得到諾貝爾獎(jiǎng),今年的諾貝爾獎(jiǎng)兩個(gè)都是用人工智能得了物理學(xué)獎(jiǎng)和化學(xué)獎(jiǎng),所以圖靈的成就絕對(duì)頂十個(gè)諾貝爾獎(jiǎng)。
AI需要什么樣的算力?
圖靈獎(jiǎng)的獲得者派樂森講了一個(gè)重要的原理,就是Make the common case fast就是加快經(jīng)常性事件,也就是耗時(shí)最多/頻度最高的事件。15年前,兩個(gè)大學(xué)教授辯論說以后發(fā)展計(jì)算機(jī),像單個(gè)處理器發(fā)展的是強(qiáng)而少好,還是弱而多好,類似推斷發(fā)展幾頭牛好還是發(fā)展一大群雞好。這就要看經(jīng)常性的事件是什么,AI的經(jīng)常性事件就是它的Commo case是什么,是巨大數(shù)量的矩陣運(yùn)算,加成運(yùn)算占它的絕大部分。以前是單個(gè)CPU非常強(qiáng)的那條路好,如今每個(gè)計(jì)算單元都很弱,但數(shù)量巨大,這適應(yīng)了AI的計(jì)算的Commo case經(jīng)常性的事件,所以GPU適用于這個(gè)。
經(jīng)常性事件就是這樣的,像一頭牛拉一個(gè)很重要的東西,他很厲害,但假如說你一場(chǎng)地都是稻子,放一千只雞去吃,肯定比牛吃得快。所以現(xiàn)在GPU就像一大群雞,速度就特別快,這就是GPU或者是TPU、MPU一類的算力成為計(jì)算的主力的原因,CPU反而只成了一個(gè)調(diào)度而已。
AI的基礎(chǔ)設(shè)施帶來巨大的商機(jī),存儲(chǔ)能分多少?
AI的三個(gè)要素是算法、算力和數(shù)據(jù)。
AI是算力的吞金猛獸,所以GPU為代表的算力設(shè)施急劇增長(zhǎng),成為商業(yè)的最大贏家,現(xiàn)在一搞就是萬(wàn)卡,馬斯克搞一個(gè)超算中心就是10萬(wàn)卡,要花幾十億美金才能建一個(gè),國(guó)內(nèi)外都是如此,所以英偉達(dá)賺翻了;國(guó)內(nèi)不論是浪潮還是華為,他們賣服務(wù)器也賺了很多。
存儲(chǔ)的商機(jī)在哪里?好像并沒有得到與算力成正比的增長(zhǎng)。
一是要加強(qiáng)AI真正的應(yīng)用?,F(xiàn)在各地大力建設(shè)智算中心,但很多都是政績(jī)工程,建好后是不是用了,不得而知。假如真正落實(shí),存儲(chǔ)的商機(jī)會(huì)大大增加。國(guó)外的存算比比國(guó)內(nèi)高很多,國(guó)內(nèi)因?yàn)檫€沒有用起來,沒有足夠多數(shù)據(jù)存。算力越高,它的存儲(chǔ)也要跟著高,現(xiàn)在叫做以存配算,以存強(qiáng)算,也有很多積極的技術(shù),有些技術(shù)做得很好,特別是用存儲(chǔ)加強(qiáng)計(jì)算的能力,有很多的研究。
第二個(gè)因素是數(shù)據(jù),大模型的參數(shù)量激增,AIGC幾行字就可以產(chǎn)生一個(gè)視頻,所以它的數(shù)量也會(huì)劇增;算法也會(huì)帶來機(jī)會(huì),可以以存來代算,所以以存強(qiáng)算、以存代算都可以擴(kuò)大存儲(chǔ)的需求。只要加強(qiáng)這些,存儲(chǔ)就有商業(yè)機(jī)會(huì)。
圖靈機(jī)對(duì)存儲(chǔ)的直觀啟示
圖靈機(jī)對(duì)存儲(chǔ)的直觀啟示是什么?
第一,它要有足夠大的容量,就那個(gè)無限長(zhǎng)的帶子,預(yù)示將來對(duì)容量有無止境的需求,因?yàn)閿?shù)據(jù)量在不斷的增加,現(xiàn)在AI訓(xùn)練就靠要數(shù)據(jù),所以足夠大的容量是從圖靈機(jī)上就可以看出來的。
第二,提供數(shù)據(jù)機(jī)的速度必須與計(jì)算速度相匹配,就是磁頭在0變1、1變0的時(shí)候所需的數(shù)據(jù)可以到達(dá)該到的地方,所以存儲(chǔ)必須有兩點(diǎn)來保證,一是傳輸速度,光比電快這是介質(zhì)特性,越近就越快、越并行越快、越簡(jiǎn)單越快,GPU、顯存離的非常近就是這個(gè)原因;二是讀寫速度要快,從寄存器到SRAN到高帶寬的DRAM和HBM或者SSD、HDD到光盤等,算力、存力、運(yùn)力必須平衡。所以設(shè)計(jì)存儲(chǔ)系統(tǒng)一定要遵循最基本的道理。
有時(shí)候看問題,把圖靈機(jī)一看就知道,原來技術(shù)發(fā)展大思路是很簡(jiǎn)單的,就是要做到算力運(yùn)力存力要平衡。
AI高端存儲(chǔ)的設(shè)計(jì)原則
高端存儲(chǔ)就是與AI算力相平衡的存儲(chǔ)。
以前AI算力就是以GPU為核心的算力,平衡就是能供得上就是高端存儲(chǔ),那么設(shè)計(jì)原則還是加快經(jīng)常性的事件。這里有兩個(gè)技巧,一是要辨識(shí)現(xiàn)在AI的算力對(duì)存力的需求特征,要仔細(xì)的分辨哪些算法對(duì)IO的行為,經(jīng)常性事件的辨識(shí),二是設(shè)法加強(qiáng)存力,存力理論上就是性能和容量這兩個(gè)方面,
把握好了這個(gè)原則再設(shè)計(jì)存儲(chǔ)系統(tǒng),大方向就不會(huì)錯(cuò)。但是存力如何衡量?比如說帶寬IOPS這些簡(jiǎn)單的指標(biāo)能不能反映存儲(chǔ)系統(tǒng)用于真實(shí)使用時(shí)候性能就高,比如達(dá)到了什么百萬(wàn)級(jí)的IOPS,是不是一個(gè)指標(biāo)就可以反映用到AI訓(xùn)練和AI大模型真正就是最快的?不一定。
真正反應(yīng)存儲(chǔ)系統(tǒng)性能的是運(yùn)行實(shí)際程序的存算平衡度,要去拿一個(gè)真實(shí)的AI的負(fù)載評(píng)價(jià)存儲(chǔ)系統(tǒng),無論是戴爾的,是浪潮的,還是華為的,就跑一個(gè)正確的程序,看誰(shuí)先做完,光談帶寬可能個(gè)別的高,真正來比這個(gè)。所以建立一個(gè)AI存儲(chǔ)的benchmark至關(guān)重要。
AI存儲(chǔ)的Benchmark如何建立?
來看看Benchmark如何建立。要挑選有代表性的、真實(shí)的程序,把它合在一起做成一個(gè)Benchmark。這個(gè)還面臨一個(gè)困難:AI的進(jìn)步太快,前年還在說AIGC,去年講大模型,明年還不知道變成什么。應(yīng)對(duì)這些不一樣的模式,挑選的應(yīng)用變化太快。但總要有一個(gè)開頭,所以從去年開始成立了一個(gè)協(xié)會(huì),得圖靈獎(jiǎng)的戴維牽頭聯(lián)合谷歌、斯坦福大學(xué)和哈佛大學(xué)發(fā)起一個(gè)ML Commons協(xié)會(huì),選了一些真實(shí)、典型的AI負(fù)載,把運(yùn)行成果系統(tǒng)拿過來看誰(shuí)領(lǐng)先。
AI大模型發(fā)展迅猛,助力各行各業(yè)
AI大模型應(yīng)用發(fā)展很迅猛,對(duì)算力的提升和對(duì)存儲(chǔ)都提出挑戰(zhàn),一個(gè)是參數(shù)量越來越大,對(duì)存儲(chǔ)的容量提出了空前挑戰(zhàn),二是算力的猛增使它吞吐率猛增,存儲(chǔ)墻更加嚴(yán)重,現(xiàn)在存儲(chǔ)墻有內(nèi)存瓶頸和IO瓶頸兩個(gè),如何克服,三是大模型的分布式對(duì)傳輸?shù)膸捄脱舆t提出空前的要求,四是復(fù)雜的分布式算存?zhèn)鹘Y(jié)構(gòu)對(duì)協(xié)議棧、文件系統(tǒng)等提出了新的挑戰(zhàn),需要在存儲(chǔ)軟件層面上進(jìn)行變革。
AI高端存儲(chǔ)的技術(shù)特征
高端存儲(chǔ)技術(shù)特征,一是存力與算力的特征要匹配和平衡,圖靈機(jī)已經(jīng)說清楚了,二是分級(jí)存儲(chǔ)的調(diào)度策略與AI算法緊密相關(guān),二是性能型的存儲(chǔ)容量急劇擴(kuò)大,對(duì)大內(nèi)存和大顯存需求越來越大,要容量型存儲(chǔ)價(jià)格、能耗要急劇降低。
大模型強(qiáng)大能力的背后是龐大的參數(shù)量。大模型參數(shù)量以年均400%復(fù)合增長(zhǎng),大模型能力和模型參數(shù)量成正相關(guān),例如,GPT-4模型的參數(shù)規(guī)模超過萬(wàn)億,很快會(huì)到10萬(wàn)億。
蓬勃發(fā)展的AI大模型迫切需求存儲(chǔ)技術(shù)的革新。如何應(yīng)對(duì)AI大模型對(duì)存儲(chǔ)提出的挑戰(zhàn)?
一個(gè)是硬核科技。國(guó)內(nèi)有一些突破,長(zhǎng)江存儲(chǔ)是值得驕傲的一個(gè)企業(yè),如果沒有長(zhǎng)江存儲(chǔ),國(guó)內(nèi)所有的介質(zhì)和數(shù)據(jù)都還在國(guó)外,別看系統(tǒng)做得挺好,介質(zhì)中硬盤沒有一塊國(guó)產(chǎn)、磁帶沒有一盤是國(guó)產(chǎn)。好在有了長(zhǎng)江存儲(chǔ),而且他們有自己的技術(shù)優(yōu)勢(shì),水平應(yīng)該說和國(guó)際水平很接近,這是硬核科技,不是一個(gè)創(chuàng)業(yè)公司可以做的。今年9月,在長(zhǎng)江存儲(chǔ)的支撐下,新存科技和華科大合作推出3D堆疊相變存儲(chǔ)器,將國(guó)外做到4層后做不下去的類似Xpoint技術(shù)做到了8層,容量也實(shí)現(xiàn)了64Gb,這個(gè)產(chǎn)品比NAND要快,而且容量還大、擦寫次數(shù)更多、壽命更還長(zhǎng)。
二是容量突破。華中科技大學(xué)在一片光盤上存10個(gè)T的技術(shù),現(xiàn)在在實(shí)驗(yàn)室已經(jīng)實(shí)現(xiàn)了,有待于產(chǎn)業(yè)化,在體系結(jié)構(gòu)上和存儲(chǔ)軟件上也有很多技術(shù)要做,同時(shí)在研發(fā)超大容量、低成本的五維玻璃存儲(chǔ),在一個(gè)玻璃盤片存10個(gè)PB,可以永久保存,這個(gè)也是在華中科技大學(xué)實(shí)驗(yàn)室進(jìn)行,微軟現(xiàn)在跟著在做。對(duì)中國(guó)而言,價(jià)值更大,全產(chǎn)業(yè)鏈都可在國(guó)內(nèi)解決。
其他方面,如華中科技大學(xué)團(tuán)隊(duì)和華為合作的一個(gè)文件系統(tǒng),能把華為的全閃存陣列數(shù)據(jù)能很快提到內(nèi)存中,因此兩次獲得國(guó)際IO500十節(jié)點(diǎn)榜單第一,這個(gè)文件系統(tǒng)關(guān)鍵的技術(shù)是學(xué)校首先提出。推出之前,華為用自己的文件系統(tǒng)獲得第七名,采用后提升為第一,而且比第二名快了十幾倍。
總體而言,數(shù)據(jù)存取的效率成為影響大模型訓(xùn)練性能的核心要素之一,計(jì)算硬件的快速發(fā)展需求更高的存儲(chǔ)性能,而計(jì)算和存儲(chǔ)模塊發(fā)展存在鴻溝。
總結(jié)
AI的發(fā)展仍在圖靈機(jī)的范疇之內(nèi),并遵循其普遍規(guī)律。
神經(jīng)網(wǎng)絡(luò)并不是說真正結(jié)構(gòu)上跟大腦神經(jīng)一樣,而是完全不一樣但可以表達(dá)的東西,這就是它的厲害之處,技術(shù)發(fā)展仍在圖靈機(jī)的范圍之內(nèi),但可以做到比人類智慧更高。不過它并不是一個(gè)最佳的途徑,人腦才消耗多大一點(diǎn)能量,而它要數(shù)十億投資建設(shè)數(shù)據(jù)中心,耗費(fèi)巨大的電能才能完成。
蓬勃發(fā)展的AI大模型迫切需要存儲(chǔ)技術(shù)的革新,高端存儲(chǔ)就是與AI算力相平衡的存儲(chǔ);現(xiàn)在以存強(qiáng)算,以存代算會(huì)帶來很多商機(jī),設(shè)計(jì)邏輯就是加強(qiáng)經(jīng)常性事件,以及性能型存儲(chǔ)和容量型存儲(chǔ)。