央視新聞客戶端AI智能剪輯專題
相較于人工剪輯,AI技術的加入使得視頻產(chǎn)量實現(xiàn)幾何式增長,且識別準確率較高,大大提高了效率,解放了人力,視頻編輯可以省出精力,專注于其他更加精細化且有編輯思路的視頻產(chǎn)品的制作上。
AI剪輯是怎樣煉成的?
AI厲害,是因為背后的程序猿厲害。這次大顯神通的AI技術并不是來自想象中的阿里、騰訊,而是一支既年輕又老道的隊伍——索貝AI團隊。年輕是因為,在媒體領域,人工智能(AI)技術發(fā)展迅猛就是近兩年的事,老道則是因為,索貝是一家專注視頻技術20多年的專業(yè)視音頻技術解決方案公司,是最懂廣電應用場景的。
國慶閱兵AI剪輯系統(tǒng)框架
針對新聞新媒體國慶報道AI剪輯需求,索貝以公司最新打造的媒體智能平臺——麒智AI平臺為基礎開發(fā)出視頻AI智能剪輯系統(tǒng),利用平臺積累的計算機視覺、音頻、自然語言處理算法,進行快速定制、訓練算法提取視音頻特征,同時結(jié)合平臺具備的大數(shù)據(jù)分析處理算法及工具,進一步完成數(shù)據(jù)及特征分析整合,形成應用所需的有用的信息及知識,最后結(jié)合編輯場景所需完成最后的知識應用,形成AI編輯生產(chǎn)力,完成之前需要大量人力投入的編輯工作。AI剪輯平臺以圖像識別技術為基礎,結(jié)合語音識別等人工智能技術,設計開發(fā)了隊伍方陣識別、有效鏡頭檢測、自動合成剪輯三大類智能處理模型,通過三類模型的綜合應用,實現(xiàn)智能剪輯功能。
麒智AI平臺基本結(jié)構(gòu)
隊伍方陣識別模型主要采用了人臉識別、動作識別、物體識別等圖像識別方式,用于確認各隊伍、方陣在視頻畫面中出現(xiàn)的時間位置。確認時間位置后,通過有效鏡頭檢測模型在一定范圍內(nèi)對畫面進行前后智能比對,提取同一隊伍、方陣在各機位中的有效視頻畫面。最后使用自動合成剪輯模型,按預先訓練完成的編輯剪輯規(guī)則,將同一隊伍、方陣的可用畫面進行拼接,再通過語音識別、圖像識別將畫面與聲音同步對齊后,自動生成精彩視頻。
AI剪輯不僅是簡單的切條,而是有“靈魂”的剪輯師,遠全中近特,各種鏡頭組合技巧講究,讓觀眾覺得自然順暢。AI剪輯的特長在效率,一個資深的視頻剪輯師,通常需要一個小時才能剪出幾分鐘的精彩時刻。而對于AI剪刀手來說,90秒就能出片。
國內(nèi)媒體AI技術應用最高水平
作為廣電行業(yè)的領軍企業(yè),索貝一直十分重視先進技術在媒體行業(yè)的應用研究。在人工智能方面,索貝堅持長期的資源、資金和人力投入,專門成立了媒體智能實驗室,并與上海交大、四川大學、鵬城實驗室等科研單位進行深度合作。同時,索貝始終堅持AI結(jié)合業(yè)務的研發(fā)原則。索貝媒體智能實驗室負責人溫序銘表示:“20多年來,索貝專注于視頻技術,擁有深厚的技術積淀與媒體服務經(jīng)驗。索貝堅信AI的落地離不開具體的場景,離不開專業(yè)的領域知識。我們和中央廣播電視總臺等頂級媒體單位展開聯(lián)合研究,深入理解專業(yè)編輯知識,面向媒體行業(yè)具體需求進行針對式研發(fā)?！?/p>
在此次大規(guī)模應用于新中國70年華誕國慶閱兵、慶典之前,索貝AI技術已經(jīng)成功應用于中央廣播電視總臺體育CBA籃球智能剪輯。此外,索貝智能臺標、智能多媒體稿等多個產(chǎn)品也成功應用于多個媒體單位。本次索貝和總臺團隊共同打造的大閱兵AI剪輯是國內(nèi)首次將人工智能技術應用于新聞節(jié)目制作,這代表了國內(nèi)媒體AI技術應用的最高水平,受到了用戶的廣泛好評。一場移動互聯(lián)網(wǎng)時代廣播電視轉(zhuǎn)播技術的比武閱兵,索貝以AI技術亮劍,跑在了阿里、騰訊等大佬前面,首戰(zhàn)告捷!
