“金山云從事視頻編碼方向的研究已經(jīng)有超過5年的時間。編碼器常規(guī)度量失真的方式是PSNR或者SSIM，然而我們發(fā)現(xiàn)這兩種指標在MOS分數(shù)下的SROCC很難超過0.6。除此之外，在一些圖像處理諸如超分、去噪等算法應用時，這一問題更加嚴重?！辈替陆榻B道，“為了更好地打磨算法，我們決定每次測試都采用人工評測的方式，因此質量評測團隊、算法團隊、前端團隊聯(lián)合設計開發(fā)了內部版的評測平臺。經(jīng)過一次次高強度、高頻率的評測，我們發(fā)現(xiàn)并解決了以下這些主觀評測過程中的難題：比如什么樣的視頻用來評測更具代表性?哪些評測維度是有必要考量的?不同分辨率的視頻應該在什么樣的場景下進行評測?為了幫助更多客戶解決主觀評測中的類似難題，金山云魔鏡平臺應運而生?！?/p>
通過高效的主觀畫質驗證，金山云魔鏡平臺能夠幫助企業(yè)：實現(xiàn)算法原型短期快速驗證;算法長期迭代并提供可度量的畫質指標;幫助AI保障泛化性，以滿足商業(yè)化落地需求。
三種評測模式 建立“感知愉悅度”評價體系
金山云魔鏡平臺能兼容H.264、H.265、AV1編碼標準的視頻播放。通過模擬實際的觀看體驗，金山云魔鏡真正對“感知愉悅度”進行評測，并深度解析算法對主觀畫質的影響，克服AB-test的局限性，不僅能得到“好不好”，而且能知道“好在哪”、“為何好”。
“在視頻篩選方面，傳統(tǒng)基于內容的篩選策略存在較大缺陷，因為單一的內容場景也可以細分出不同維度的場景，更重要的是，諸如亮度、噪聲等維度是連續(xù)值而非離散值，因此手動篩選是不可能的。為此，金山云魔鏡平臺首先會對海量視頻數(shù)據(jù)進行過濾，其次會使用均衡算法，如特征均衡、質量均衡、內容均衡，對過濾后的數(shù)據(jù)綜合考量篩選。經(jīng)過篩選后，分布極度不均的原始數(shù)據(jù)集各維度分布更加均勻。”蔡媛表示。
蔡媛接著講到，數(shù)據(jù)篩選后，金山云魔鏡平臺會進行場景分析，并根據(jù)具體場景提供三種評測模式：專家模式(全參考模式)、用戶模式(無參考模式)和細粒度模式(OAA模式)?！霸u測維度分為整體維度和局部維度，我們給評測員呈現(xiàn)的不是籠統(tǒng)的分數(shù)制，而是具體的描述，如難以忍受、令人愉悅等。此外，我們還會根據(jù)各維度打分對整體評分的影響，以及維度之間的相關性，進行相關的實驗論證。不僅如此，金山云魔鏡平臺在如何將結果進行映射方面也有專業(yè)的考量，因為我們發(fā)現(xiàn)使用數(shù)據(jù)映射算法能有效提升兩批不同時期標注數(shù)據(jù)共同訓練的精度?！辈替卤硎?。
據(jù)悉，金山云魔鏡平臺以在線平臺的方式提供圖像/視頻評測服務，無需下載。除了平臺本身提供完整的畫質評測流程，金山云魔鏡平臺還能幫助企業(yè)提供全流程畫質評測解決方案，包括根據(jù)企業(yè)使用場景及樣本類型篩選評測數(shù)據(jù)，定制評測維度，提供評測人數(shù)建議以及評測報告分析，并提供客觀評價指標的自動計算。
連接產(chǎn)學界 助推視頻質量行業(yè)標準建設
為了保證專業(yè)性，在魔鏡平臺打造過程中，金山云與業(yè)內專家和機構進行了合作，平臺支持的三種評測模式就是雙方共同推出的。在評測精度方面，金山云魔鏡平臺通過教學試題、埋點監(jiān)控、數(shù)據(jù)分析等手段，確保評測員的專業(yè)性以及結果的準確性。
“高清的研究過程必須有明確可量化的質量目標，支持高清路線迭代前進，否則容易變成南轅北轍，缺乏明確的目標。”蔡媛表示，“下一階段，我們希望以金山云魔鏡平臺拋磚引玉，尋求更多合作，打造完善畫質評價體系，包括建立符合國人審美、適合不同終端的評價體系;連接學術界，更精準地傳遞工業(yè)界需求，推動技術發(fā)展;明確可度量的評測分數(shù)，促進高清技術進步，推動視頻質量的行業(yè)標準。”
金山云魔鏡平臺的推出不單是希望幫助用戶提升畫質評測效率和質量，更是希望能夠推動國內評價標準的建立，推動整個視頻行業(yè)的發(fā)展，為用戶提供更加多元化和全方位服務。
