大模型發(fā)展需重視Native場景 避免路徑依賴
大模型與其他新技術(shù)出現(xiàn)以后,大家第一反應(yīng)都是“+”,“大模型+”這個說法并不新鮮,因為之前有互聯(lián)網(wǎng)+,所以大家從這個角度直接切入是很自然的。
大模型是百年來顛覆性的技術(shù)范式轉(zhuǎn)變,我認為它真正的應(yīng)用場景還沒有出現(xiàn),“+”的場景不是最好的場景,以前互聯(lián)網(wǎng)爆發(fā)的時候,最后跑出來的都是互聯(lián)網(wǎng)Native的應(yīng)用,大模型真正的應(yīng)用場景也應(yīng)該是Native的場景。我們尋找Native場景,要避免路徑依賴,也就是要避免模仿以前的模式和路徑來探索大模型的應(yīng)用場景。
目前大模型技術(shù)還沒有完全成熟,我們還看不到它未來的發(fā)展頂點在哪兒。我認為要關(guān)注一個非常大的、Native的場景是多模態(tài),在企業(yè)里面,多模態(tài)幾乎是沒有人去想,那多模態(tài)會出現(xiàn)什么場景,這個是要關(guān)注的。神州數(shù)碼關(guān)注大模型的時候,首先成立了一個追蹤團隊,組織一幫人關(guān)注行業(yè)動態(tài),看論文寫周報,如果論文內(nèi)容可驗證就第一時間進行驗證。其次是做敏捷,模型要想在企業(yè)里面用,需要做出一套敏捷平臺,讓企業(yè)去試,同時把客戶Involve進來共創(chuàng)。我們現(xiàn)在已經(jīng)簽了一些共創(chuàng)客戶,讓客戶使用敏捷平臺,在共創(chuàng)過程中去摸索最適合的場景。最后作為一個科技企業(yè)還是要第一性原理,兩頭跟住,一方面是研究的跟進,一方面是場景的跟進。
大模型評估專業(yè)又前沿 注重知識本身和涌現(xiàn)能力
大模型評估本身就是一個非常前沿的領(lǐng)域,雖然現(xiàn)在已經(jīng)有一些評估方法和標準出現(xiàn),但站在企業(yè)角度,這些方法和標準還不夠,所以模型評估本身就是一個研究方向。
目前行業(yè)里做模型評估主要圍繞兩點進行,針對外部模型進行評估,主要是通識能力評估,包括知識本身和涌現(xiàn)能力兩部分。在行業(yè)大模型方面,它的行業(yè)知識評估相對簡單,但行業(yè)涌現(xiàn)能力,是一個專業(yè)性很強的話題。舉個例子,我們在金融行業(yè)做了一個行業(yè)大模型,它的涌現(xiàn)能力是什么呢?通用大模型的涌現(xiàn)能力,比如我們給它一道奧數(shù)題,它能夠解出來,這就很厲害了。
行業(yè)大模型一般來說是通過通用大模型做全參,或者是做fine-tuning,做好了以后出來的這個大模型叫行業(yè)大模型。這個做好了以后,是不是說通用能力加行業(yè)知識等于行業(yè)涌現(xiàn)能力?這是個問題。我們講風控,如果不是風控應(yīng)用,而是行業(yè)大模型直接提供風控能力,這就是一個非常大的涌現(xiàn)出來的能力。它不是說只是看到了這些東西,他會直接對業(yè)務(wù)做一個風控評價,那這個就很難。
傳統(tǒng)來說,都是用傳統(tǒng)的機器學習做成的小模型來做,能不能泛化到大模型里面去做?這個是涌現(xiàn)出來的嗎?這就非常難。所以現(xiàn)在是一個選擇和共創(chuàng)的問題,選擇愿意在大模型里面跟我們一起做研究的,大家一起探索、共創(chuàng)。