模型中的先驗(yàn)探索(PrKE)模塊，可以通過預(yù)構(gòu)建包含心臟肥大、脊柱側(cè)彎、鈣化點(diǎn)、肺炎等常見異常特征信息的知識(shí)圖譜，模擬醫(yī)生學(xué)習(xí)過的醫(yī)學(xué)知識(shí)，以更好地識(shí)別出各種圖像中的異常。另一方面，通過在訓(xùn)練集中匹配、提取已知的相似圖像和報(bào)告，可以與病人的歷史報(bào)告做比對(duì)參考，模型亦在一定程度上模擬了醫(yī)生根據(jù)自身豐富的經(jīng)驗(yàn)來做決策的過程，實(shí)現(xiàn)利用先驗(yàn)知識(shí)來指導(dǎo)報(bào)告的生成。

在后驗(yàn)探索(PoKE)模塊中，模型可實(shí)現(xiàn)將當(dāng)前圖像進(jìn)行標(biāo)簽分類，模擬醫(yī)生找尋圖像異常的過程，大致框定異常的區(qū)域，提醒醫(yī)生針對(duì)該區(qū)域做進(jìn)一步識(shí)別處理。先驗(yàn)和后驗(yàn)知識(shí)在經(jīng)過多領(lǐng)域知識(shí)蒸餾(MKD)模塊的綜合過濾后，將生成最終的報(bào)告。

這一創(chuàng)新模型在IU-Xray和MIMIC兩個(gè)國際公認(rèn)的公開數(shù)據(jù)集上，取得了比以往所有同類模型更好的結(jié)果，可以有效地生成更高質(zhì)量的報(bào)告。

醫(yī)學(xué)圖像報(bào)告自動(dòng)生成模型的論文登上人工智能領(lǐng)域第一的行業(yè)會(huì)議，是騰訊醫(yī)典在人工智能領(lǐng)域的又一次深入探索。騰訊醫(yī)典AI團(tuán)隊(duì)專注于醫(yī)學(xué)知識(shí)圖譜、醫(yī)學(xué)自然語言理解、多模態(tài)深度學(xué)習(xí)等領(lǐng)域的研究，將持續(xù)在醫(yī)學(xué)知識(shí)生成和推送、人工智能輔助診療等領(lǐng)域向行業(yè)輸出切實(shí)可行的解決方案和領(lǐng)先技術(shù)，用科技提升醫(yī)療服務(wù)效率，助力醫(yī)療行業(yè)的數(shù)字化轉(zhuǎn)型。

zhangnn