因?yàn)?,前不久金山云與英特爾宣布了彼此的深度合作,金山云托管Hadoop(Kingsoft MapReduce,簡(jiǎn)稱KMR)解決方案是結(jié)合雙方技術(shù)優(yōu)勢(shì)共同打造的、基于英特爾架構(gòu)的大數(shù)據(jù)解決方案。對(duì)此,金山云大數(shù)據(jù)和AI技術(shù)總監(jiān)張東進(jìn)、金山云大數(shù)據(jù)產(chǎn)品經(jīng)理?xiàng)盍练窒砹嗽摻鉀Q方案目前的部署情況與為用戶帶來的實(shí)際應(yīng)用價(jià)值。
一般具有顯著劃時(shí)代的科技創(chuàng)新都會(huì)有個(gè)規(guī)律,最初萌芽的時(shí)候帶來人類的無盡暢想,認(rèn)為其甫出便無所不能,但產(chǎn)業(yè)的狂躁過后便是冷靜,落地的層級(jí)表現(xiàn)也就逐步清晰了。
例如無人機(jī),剛出現(xiàn)的時(shí)候就被很多專家看出要重塑快遞、交通、代價(jià)等多個(gè)行業(yè),待到后來率先被亞馬遜及同行證實(shí)其僅在送貨上進(jìn)步還有巨大的空間。
人工智能也一樣。大數(shù)據(jù)時(shí)代的數(shù)據(jù)澆灌,讓人們覺得其是拯救企業(yè)走出數(shù)據(jù)創(chuàng)新樊籠最為得心應(yīng)手的殺手锏。但玩轉(zhuǎn)了一圈Hadoop后,認(rèn)識(shí)到,駕馭離夢(mèng)想還是有點(diǎn)遠(yuǎn)。所以,公有云廠商們相信,這會(huì)是市場(chǎng)在很長的時(shí)間范圍內(nèi)都會(huì)有的藍(lán)海。
為此,金山云認(rèn)為,企業(yè)從云計(jì)算走到人工智能,他們的深度學(xué)習(xí)平臺(tái)KDL價(jià)值不可或缺。“我們這個(gè)平臺(tái)(KDL)可以深度助力企業(yè)擁抱AI。它是一個(gè)機(jī)器學(xué)習(xí),尤其是深度學(xué)習(xí)的任務(wù)托管平臺(tái),底層是基于金山云高性能的異構(gòu)計(jì)算集群,融合了英特爾等頂級(jí)合作伙伴的領(lǐng)先技術(shù),將為我們的客戶帶來非常高的價(jià)值。”張東進(jìn)這樣介紹KMR。
看看熱詞曲線,云計(jì)算、大數(shù)據(jù)與AI相繼而出。產(chǎn)業(yè)界討論也逐漸認(rèn)為,大數(shù)據(jù)是云計(jì)算走向人工智能必不可少的中間路徑。張東進(jìn)介紹,金山云多年的發(fā)展,也是很好地遵循了這個(gè)發(fā)展路徑需求。初期投入IaaS虛擬化,“讓企業(yè)將其業(yè)務(wù)放到云端,降低企業(yè)的部署成本,并且加速企業(yè)業(yè)務(wù)的發(fā)展?!边M(jìn)而玩轉(zhuǎn)大數(shù)據(jù),讓數(shù)據(jù)變現(xiàn),“要有利用這些數(shù)據(jù)驅(qū)動(dòng)企業(yè)進(jìn)行決策的能力,以Hadoop為代表?!?現(xiàn)在看到人工智能是接下來的未來,“人工智能的需求也在快速增長,我們發(fā)現(xiàn)人工智能本身其實(shí)是一個(gè)對(duì)性能和規(guī)模有非常大要求的行業(yè),這就是非常適合我們天然上云的一個(gè)行業(yè)。”
簡(jiǎn)單理解,玩轉(zhuǎn)Hadoop就是要解決實(shí)現(xiàn)AI的成本、效率、安全、性能等方面的巨大挑戰(zhàn)。例如張東進(jìn)強(qiáng)調(diào),金山云提供的全功能的深度學(xué)習(xí)集成環(huán)境,全流程優(yōu)化,所以從整個(gè)物料的預(yù)處理、物料的存儲(chǔ)、物料的訓(xùn)練、評(píng)估、上線預(yù)測(cè)等等方面都提供完整的支持。還有,人工智能的一個(gè)訓(xùn)練任務(wù)可能長達(dá)一周或者是半個(gè)月,而金山云可以提供一個(gè)企業(yè)級(jí)的數(shù)據(jù)加密和企業(yè)級(jí)HPC集群的安全、最穩(wěn)定環(huán)境,并且可以做到分鐘級(jí)的自動(dòng)恢復(fù),不耽誤人工智能出活兒。
除了KDL,金山云還為行業(yè)提供了各種中間層,包括提供基礎(chǔ)的視覺、聽覺、自然語言、VR/AR等等技術(shù)能力。同時(shí),金山云還有一些上層行業(yè)的AI解決方案,針對(duì)醫(yī)療、金融、交通、物聯(lián)網(wǎng)等行業(yè)提供解決方案。
而這一切一切的背后,英特爾“inside”出力不小。金山云KMR,該解決方案采用基于英特爾? 至強(qiáng)? 處理器E5 v4產(chǎn)品家族的硬件平臺(tái),是一個(gè)可伸縮的通用數(shù)據(jù)計(jì)算和分析平臺(tái)。它以Apache Hadoop和Apache Spark兩大數(shù)據(jù)計(jì)算系統(tǒng)為基礎(chǔ),通過自動(dòng)調(diào)度彈性計(jì)算服務(wù)(KEC),能夠幫助企業(yè)用戶快速構(gòu)建分布式數(shù)據(jù)分析系統(tǒng)。此外,結(jié)合金山云所提供的多種云服務(wù)產(chǎn)品,還可形成端到端的數(shù)據(jù)分析處理解決方案,進(jìn)而幫助用戶更加靈活方便地收集和管理數(shù)據(jù),花費(fèi)更低的成本,獲得更高的數(shù)據(jù)可靠性。
基于英特爾與金山云一直以來的緊密合作,在KMR大數(shù)據(jù)解決方案的構(gòu)建過程中,英特爾不僅為金山云提供了性能強(qiáng)勁的硬件平臺(tái),在針對(duì)Apache Hadoop、Apache Spark等開源數(shù)據(jù)分析技術(shù)的優(yōu)化、創(chuàng)新與應(yīng)用等方面也提供了有力的支持與幫助。目前,該解決方案已經(jīng)在當(dāng)當(dāng)、WPS等多家行業(yè)用戶中應(yīng)用部署。以當(dāng)當(dāng)為例,KMR大數(shù)據(jù)解決方案幫助其有效緩解促銷期間IT系統(tǒng)的壓力、大幅減少系統(tǒng)維護(hù)的工作和資源擁有成本,并根據(jù)業(yè)務(wù)需求實(shí)現(xiàn)了資源配置的靈活調(diào)配。
楊亮透露,當(dāng)當(dāng)網(wǎng)已經(jīng)是KMR的受益者了?!爱?dāng)當(dāng)網(wǎng)在電商大促的時(shí)候,通過專線把實(shí)時(shí)數(shù)據(jù)流打到我們的KMR集群做處理和分析。處理的結(jié)果相對(duì)來說數(shù)據(jù)量會(huì)比較小,也會(huì)通過我們的專線寫回到當(dāng)當(dāng)網(wǎng)的數(shù)據(jù)中心。所以對(duì)于用戶來說,首先它的數(shù)據(jù)是不需要搬遷的,第二個(gè),他的核心數(shù)據(jù)也可以保留在自己的數(shù)據(jù)中心,在數(shù)據(jù)安全方面也會(huì)更加放心?!?/p>