他提到將深度神經(jīng)網(wǎng)絡(DNN)映射到模擬交叉點陣列(模擬AI核心)。它們在陣列交叉點處擁有非易失性存儲材料來存儲權重。

為了提高訓練過程中決策的準確性,DNN計算中的數(shù)值進行了加權。

這些因素無需主機服務器CPU干預,就可以直接用交叉點PCM陣列實現(xiàn),從而提供內存計算,無需數(shù)據(jù)移動。相比英特爾XPoint SSD或DIMM等,這是一個模擬陣列。

PCM單元沿著非晶態(tài)和晶態(tài)之間的8步梯度記錄突觸權重。每個步驟的電導或電阻可以用電脈沖改變。這8個步驟在DNN計算中提供了8位精度。

非易失性存儲的交叉陣列可以通過在數(shù)據(jù)位置處執(zhí)行計算來加速完全連接的神經(jīng)網(wǎng)絡訓練。

模擬存儲器芯片內部的計算

IBM的研究論文指出:“模擬非易失性存儲器(NVM)可以有效地加速”反向傳播“算法,這是許多最新AI技術進步的核心。這些存儲器允許使用的“累積乘法”運算,在模擬域中權重數(shù)據(jù)的位置上,用基礎物理學進行并行化。

我們只需將一個小電流通過一個電阻器連接到一根電線上,然后將許多這樣的電線連接在一起,讓電流積聚起來。這樣我們不需要一個接一個地執(zhí)行計算,而是可以同時執(zhí)行許多計算。并且相比在數(shù)字存儲芯片和處理芯片之間花時間傳輸數(shù)據(jù),我們可以在模擬存儲芯片內執(zhí)行所有計算?!?/p>

PS:昨天對單身狗來說不是情人節(jié),而是IBM從Computing Tabulating Recording計算列表紀錄公司改名為國際商業(yè)機器公司International Business Machines的日子——1924年2月14日。

分享到

崔歡歡

相關推薦