你可能聽說過大型語言模型，即能生成類人文本的人工智能系統(tǒng)。但是小型語言模型呢？研究人員正在努力研發(fā)更小型、更緊湊的人工智能系統(tǒng)，以解決人工智能系統(tǒng)對數(shù)據(jù)日益增長的需求所帶來的一系列挑戰(zhàn)。而且，不只是如今新聞報道中的生成式人工智能模型需要變得更小，那些能夠運營工業(yè)設(shè)施、智慧城市或自動駕駛汽車的人工智能系統(tǒng)也需要如此。
大型人工智能模型面臨的挑戰(zhàn)
當(dāng)你使用人工智能（無論是在手機(jī)還是筆記本電腦上）時，大部分實際計算都發(fā)生在數(shù)據(jù)中心。這是因為最流行的人工智能模型在計算上非常耗費資源——你的筆記本電腦可能沒有足夠的計算能力來運行查詢。這些人工智能系統(tǒng)還會消耗大量能源。據(jù)說，在生成式人工智能模型中進(jìn)行一次查詢（例如問“生成式人工智能是如何工作的？”這樣一個問題）所消耗的電量相當(dāng)于一個燈泡點亮一小時的電量。
這給人工智能的使用帶來了兩個挑戰(zhàn)。首先，這引發(fā)了人們對人工智能可持續(xù)性的擔(dān)憂，因為為人工智能供電的電力也會增加溫室氣體排放。
在最近一項針對全球技術(shù)領(lǐng)導(dǎo)者的調(diào)查“The Impact of Technology in 2025 and Beyond: an IEEE Global Study”中，35%的人表示人工智能的實用性遠(yuǎn)遠(yuǎn)超過其能耗，而34%的人表示人工智能的能耗和實用性處于良好的平衡狀態(tài)。大約五分之一（21%）的人認(rèn)為人工智能的益處是顯著的，但高能耗仍然是一個問題，而8%的人認(rèn)為大量的能耗超過了人工智能的益處。
其次，這意味著任何依賴人工智能的事物要么需要更多的電力來運行，要么需要連接到數(shù)據(jù)中心。
削減人工智能規(guī)模的前沿技術(shù)正在取得一些成功（https://spectrum.ieee.org/1-bit-llm）。
IEEE會員Jay Shah表示：“這些（技術(shù)）耗電量顯著降低，通常在瓦特范圍內(nèi)運行，而不是大型數(shù)據(jù)中心系統(tǒng)消耗的千瓦或兆瓦?！?/p>
誰需要緊湊型人工智能？
更小、更節(jié)能的人工智能系統(tǒng)可以用于多種應(yīng)用，比如自動駕駛汽車。
Shah說：“就長期可靠性和降低功耗而言，下一代低功耗人工智能加速器對自動駕駛汽車的未來至關(guān)重要。它們能夠?qū)崿F(xiàn)實時決策并實現(xiàn)更緊湊的設(shè)計?！?/p>
同時，它們對機(jī)器人系統(tǒng)來說也是個福音，因為它們將降低機(jī)器人的電力需求。
IEEE高級會員Cristiane Agra Pimentel表示，緊湊型人工智能系統(tǒng)在工業(yè)環(huán)境中也將很有用，在這種環(huán)境中，更小的控制系統(tǒng)可以使工廠流程自動化。
Pimentel說：“在工業(yè)領(lǐng)域使用緊湊型人工智能將越來越適用于機(jī)器操作控制、產(chǎn)品追溯控制和供應(yīng)鏈系統(tǒng)管理?！?/p>
小型人工智能存在權(quán)衡取舍
大型語言模型通常適用于多種用途。它們可以協(xié)助撰寫大學(xué)論文，還能幫你構(gòu)建網(wǎng)站。緊湊型系統(tǒng)可以針對特定系統(tǒng)進(jìn)行優(yōu)化。它們可以被設(shè)計成公司的聊天機(jī)器人或者自動補(bǔ)全計算機(jī)代碼。
但是，緊湊型人工智能系統(tǒng)目前準(zhǔn)確性較低，因為它們通常使用較少的數(shù)據(jù)。
Shah表示：“考慮到低功耗、更快的推理時間以及在邊緣設(shè)備上運行人工智能的能力等好處，這些權(quán)衡通常是可以接受的。研究人員和開發(fā)人員會繼續(xù)努力提高緊湊型人工智能系統(tǒng)的準(zhǔn)確性，同時保持其效率優(yōu)勢?！?/p>
了解更多：EEE計算機(jī)協(xié)會最近發(fā)表了一篇關(guān)于小型語言模型的優(yōu)勢和挑戰(zhàn)的深度文章。去看看吧：https://www.computer.org/csdl/magazine/co/2024/08/10632613/1ZgY9z1BTGM。
