Amazon SageMaker Unified Studio(以下簡稱Unified Studio)是一個統一了數據和AI的開發(fā)平臺,用戶能在這里找到所需的數據、分析工具以及構建機器學習模型與應用的一切資源。
它有效解決了過去企業(yè)內部不同角色使用不同工具所帶來的麻煩與混亂,將數據處理(如EMR、Glue、Athena)、SQL分析(Redshift)、模型開發(fā)訓練(SageMaker AI)、生成式AI構建(Amazon Bedrock)以及BI和搜索分析等功能統一在一個環(huán)境中。
其中,模型開發(fā)部分其實就是原來的Amazon SageMaker,現在改名叫Amazon Sagemaker AI。而生成式AI應用構建部分,則是集成的Amazon Bedrock。而剛才提到的數據處理、數據分析部分也都是把原有的工具集成到了這里。
雖然Unified Studio集成的工具服務大多是已有的,但真正的改變在于統一的環(huán)境。過去開發(fā)者需頻繁在多個服務間切換,項目協作困難,而現在通過代碼、數據和權限的集中管理,讓數據科學家、數據工程師與業(yè)務專家能在同一工作臺高效協作,顯著提升了團隊的效率與一致性。
為了提高易用性,亞馬遜云科技還將智能助手Amazon Q與Unified Studio集成,讓用戶用自然語言完成數據查詢和代碼編寫。這種集成不僅提升了用戶體驗,也進一步降低了企業(yè)數據使用門檻。
集合多種數據治理工具,為AI創(chuàng)新準備好數據
非常值得注意的是,Unified Studio只是新一代Amazon SageMaker的一部分。除此之外,它還有負責數據和AI治理的Amazon SageMaker Catalog,以及“湖倉一體”數據平臺Amazon SageMaker Lakehouse。
Unified Studio主要聚焦開發(fā)環(huán)境的整合,而Amazon SageMaker Catalog則強調統一的數據資產治理。Catalog基于Amazon DataZone,為企業(yè)提供統一的數據目錄平臺,實現數據資產集中發(fā)布、權限管理、血緣追蹤及數據質量監(jiān)控,有效避免了過去人工管理權限的低效與疏漏。實踐中,企業(yè)通常將Unified Studio與Catalog結合使用,實現工具和數據的雙重統一協作。
與Amazon SageMaker Catalog緊密配合的還有Amazon SageMaker Lakehouse平臺,它采用Apache Iceberg標準融合了數據湖與數據倉庫的優(yōu)勢,同時借助Zero-ETL技術,直接將多個數據源的數據用于分析,免去了遷移和重復加工的步驟。
為了進一步打破數據孤島,亞馬遜云科技還提供了Amazon Glue Connector,它內置了超過100種數據源連接器,結合聯邦查詢功能,用戶只需發(fā)起一個查詢請求,就可以同時訪問在多個數據源中的數據。
總之,負責數據和AI治理的Amazon SageMaker Catalog,還有“湖倉一體”數據平臺Amazon SageMaker Lakehouse為下一代Amazon SageMaker解決了數據問題,讓Unified Studio有數據可用。
Amazon SageMaker Unified Studio:幫助豐田汽車加快創(chuàng)新節(jié)奏
與很多亞馬遜云科技的服務一樣,Unified Studio本身的易用性較高。亞馬遜云科技大中華區(qū)數據分析與生成式AI產品總監(jiān)崔瑋用一個Demo展示了它的用法,它不僅能完成從數據準備、共享、訂閱,到數據治理、AI 開發(fā)的全過程,而且每一步都力求降低技術門檻,提升協作效率。
崔瑋提到,雖然目前沒有一個具體的量化指標可以衡量Unified Studio將效率提升了多少倍,但多個客戶已經反饋出非常明顯的收益,尤其是在多角色協作、權限管理和數據使用效率方面。
Unified Studio不僅將數據發(fā)布、權限申請和訂閱等流程的完成時間從過去的幾天甚至一周縮短到小時乃至分鐘級,也極大簡化了權限管理工作。過去權限維護復雜且易出錯,而現在通過內置的統一權限管理機制,企業(yè)能實現針對不同用戶和角色的統一策略管理,顯著降低了運維成本和出錯風險。
豐田汽車引入Unified Studio后有效解決了內部多個團隊間數據共享、管理與搜索的問題。例如在質量管理方面,豐田利用Unified Studio提前發(fā)現潛在問題并快速響應,極大提升了生產安全性和效率,也為團隊提供了靈活的試錯空間,加速了產品創(chuàng)新節(jié)奏。
崔瑋表示,Unified Studio能更好地適配企業(yè)復雜的組織結構和跨部門協作需求。對于像豐田這樣的制造型企業(yè),其內部往往包含多個業(yè)務板塊,工作流高度復雜,在這種環(huán)境下,Unified Studio就顯得尤為重要。