吳迪表示，自今年5月15日豆包大模型發(fā)布以來，60天時間里云計算客戶總調(diào)用量增長了三倍左右。隨著處理的問題越來越多，火山引擎對市場挑戰(zhàn)的理解也越來越深刻，并將AI大模型落地具體行業(yè)所面臨的問題總結(jié)為“三大挑戰(zhàn)”：
一是基礎模型是否足夠“聰明”；二是價格和成本；三是落地過程中所面臨新工作范式和企業(yè)原有IT系統(tǒng)之間的改造，以及兼容成本等具體問題。
而對于這些問題，豆包大模型則以更強模型、更低價格、更易落地的解決方案加以應對。
吳迪表示，目前在字節(jié)跳動企業(yè)內(nèi)部，包括抖音、剪映、頭條、豆包APP、飛書、懂車帝、貓箱、河馬、番茄等約50余個業(yè)務線在使用豆包大模型，在外部每天則有30余個行業(yè)客戶在使用。
而在價格方面，豆包通用模型pro的推理輸入為0.8厘/千tokens，輸出為2厘/千tokens。之所以能夠把價格做到這個水平，背靠的則是強勁的系統(tǒng)承載力、充沛算力，以及積累多年的推理算法、系統(tǒng)優(yōu)化及系統(tǒng)調(diào)度能力。
首先，火山引擎擁有海量GPU資源，目前在豆包大模型和火山方舟平臺，已投入多達數(shù)萬張不同型號GPU算力。
同時，造成算力枯竭的一個重要原因，是很多企業(yè)做不到靈活調(diào)配GPU算力，從而造成2/3甚至更多時間里，算力出現(xiàn)閑置或低效率表現(xiàn)。而火山引擎通過極致調(diào)度，避免浪費，則可以進一步將成本優(yōu)勢控制到同行的1/3甚至1/10。
第三則是極致彈性。火山引擎可以做到分鐘級完成數(shù)千卡伸縮，有效支持突發(fā)流量和業(yè)務高峰。而火山引擎推出的多種批量推理模式，則提供了業(yè)界領先的TPU初始額度。
除此之外，火山引擎還配備了優(yōu)秀精干的算法工程師團隊，支撐企業(yè)客戶需求以及疑難問題的解決，用抖音內(nèi)容、抖音搜索、知識庫等插件，配合Coze扣子平臺，打造更易使用的開發(fā)者環(huán)境，并利用安全沙箱，使客戶可以更加放心地使用大模型。
在安全方面，首先通過TLS和安全沙箱實現(xiàn)雙向身份認證和加密，建立互信連接，保證用戶訪問的安全。
其次則通過全鏈路數(shù)據(jù)加密，確保用戶的使用安全。
第三則是通過安全沙箱技術，杜絕內(nèi)外風險入侵和數(shù)據(jù)泄露的風險。
第四是“信息無痕”，做到“全鏈路”、“全內(nèi)存”、“零日志”，在任務結(jié)束時安全沙箱自動銷毀，用戶畫像全程無痕。
第五是操作可審計，對沙箱系統(tǒng)及用戶流量的訪問均有日志記錄，客戶也可以自行通過token API的方式對日志進行審計。
目前，火山引擎新升級的內(nèi)容和聯(lián)網(wǎng)插件提供包括金融、旅游、影視、生活服務等27個行業(yè)垂直內(nèi)容的數(shù)據(jù)源，并新增抖音百科類型數(shù)據(jù)。
吳迪表示，升級后的知識庫，在文檔解析和檢索能力方面都有了大幅提高，可以應對包括圖片、多列表格、PPT、Markdown等更豐富的文檔類型，并更具性價比，支持向量庫的語義檢索以及類似傳統(tǒng)搜索引擎的準確檢索等。
在活動現(xiàn)場，火山引擎還公開發(fā)布了全新的Coze扣子專業(yè)版，用于企業(yè)開發(fā)智能體。吳迪表示，火山引擎將在Coze扣子專業(yè)版上提供企業(yè)級穩(wěn)定性保障，以及一鍵式接入火山方舟模型的能力、更高的tokens配額。
作為零售行業(yè)大模型生態(tài)聯(lián)盟的發(fā)起者之一，多點DMALL創(chuàng)始人、物美集團創(chuàng)始人張文中博士也來到現(xiàn)場，并從具體的操作層面，與在場與會者分享了大模型如何在零售行業(yè)中具體落地。
張文中提出，目前AI大模型已經(jīng)可以廣泛應用于包括超市智能防損、智能補貨、智能客服、以及折扣出清等多個方面。由于豆包大模型tokens定價極低，很多以往很難解決的難題，現(xiàn)在都有了很高性價比的解決方案。
張文中最后表示，AI時代，零售企業(yè)再也不能“單打獨斗”。大模型時代，行業(yè)更需要攜手共進，希望與火山引擎一起，向零售界發(fā)出呼吁，通過全面擁抱AI，一起努力共創(chuàng)智慧零售的新未來。（作者：梁蕓）
