作為國內領先的流媒體音樂平臺,QQ音樂在數(shù)字音樂發(fā)展的浪潮中不斷推陳出新,以滿足用戶日益多元化的音頻體驗訴求。論壇上,QQ音樂音頻算法研究員就通過HarmonyOS SDK實現(xiàn)端側聲伴分離的方案進行了介紹與解讀。
QQ音樂的“伴唱模式”可供用戶自主調節(jié)人聲與伴奏的占比,但在部分場景下,應用的聲伴分離能力無法覆蓋全量曲庫。例如古風歌曲的聽眾往往熱衷于“純人聲”聽歌,但由于曲風小眾等原因受限,很多歌曲不在其伴唱模式的支持范圍內?;诖送袋c,QQ音樂與HarmonyOS SDK開展深化合作,利用CANN的端側NPU自定義算子編程,為端側音頻處理帶來了全新解決方案。
得益于此能力的開放,QQ音樂基于CANN提供的工具鏈,通過算子原型定義、工程生成、代碼編寫等步驟,快速完成聲伴分離核心算子開發(fā)。CANN開放的端側NPU自定義算子編程,就像開了一扇門,讓從前只在云端跑的復雜算法,能“接地氣”地在端側高效運行。其編程語言Ascend C,兼容C/C++標準,支持自動并行調度與結構化核函數(shù)編程,大幅降低了算子的開發(fā)難度。例如,針對聲伴分離中常用的序列建模等操作,利用Ascend C優(yōu)化后,計算效率可顯著提升。
在這個過程中,CANN的作用至關重要。它不僅提供了高效的計算平臺,還通過優(yōu)化的內存管理和任務調度,確保了音樂分離過程的流暢性和實時性 。同時,NPU自定義算子編程的靈活性,使得開發(fā)者能夠根據(jù)不同的音樂分離算法和需求,定制最適合的計算邏輯,從而提高聲伴分離的準確性和效率。
CANN開放Ascend C NPU自定義算子編程能力,使能QQ音樂聲伴分離功能落地 。不僅為QQ音樂用戶帶來了更加優(yōu)質、全面的音頻體驗,也為開發(fā)者提供了全新的技術路徑。未來,隨著人工智能技術的不斷進步,基于HarmonyOS SDK開放的技術特性將在更多領域得到應用,為用戶帶來更加智能、便捷的應用體驗。
了解更多HarmonyOS SDK內容,請訪問HarmonyOS SDK官網。