大數(shù)據(jù)工具:砸錢太多、回報(bào)太少
至頂網(wǎng) 發(fā)表于:13年03月04日 15:37 [轉(zhuǎn)載] 至頂網(wǎng)
Hadoop與NoSQL最近一段時(shí)間已經(jīng)成為網(wǎng)絡(luò)行家最為青睞的技術(shù)選擇方案,但根據(jù)某位開發(fā)人員兼技術(shù)撰稿人的觀點(diǎn),許多企業(yè)在此類技術(shù)的投入方面“熱情過高”——事實(shí)上優(yōu)秀的在線SQL方案也完全能夠達(dá)到同樣的效果。
自從雅虎技術(shù)團(tuán)隊(duì)以Hadoop為武器、一舉將谷歌拉下神壇以來,眾多企業(yè)相繼把這項(xiàng)技術(shù)引入業(yè)務(wù)流程當(dāng)中。但相對(duì)于高昂的資金投入、巨大的精力消耗,Hadoop技術(shù)所帶來的優(yōu)勢(shì)卻顯得微乎其微。Tim O’Brien在本周三于圣克拉拉市舉行的O’Reilly Strata大會(huì)上表達(dá)了以上觀點(diǎn)。
“大家可能都有這種感覺,當(dāng)我們?cè)谧h程中談到此類技術(shù)時(shí),最終都將歸結(jié)于其帶來的巨大開支,”他指出。
鑒于大數(shù)據(jù)技術(shù)對(duì)人力成本的極高要求(我們需要高薪聘請(qǐng)懂得如何使用Hadoop的相關(guān)人才)、實(shí)施流程的昂貴投入(我們需要將數(shù)據(jù)遷移至NoSQL或 HDFS當(dāng)中,否則將毫無可靠性可言)以及意外狀況發(fā)生之頻繁(用戶可能不完全了解自己正在使用什么),O’Brien對(duì)技術(shù)行業(yè)及其擁躉的極高熱情潑下一盆無情的冷水。
大數(shù)據(jù)是規(guī)模化的必然解決方案:如果大家需要監(jiān)控所有橫跨大陸的電話通話,MapReduce能幫上忙……如果大家需要以毫秒為單位搜索整個(gè)互聯(lián)網(wǎng)內(nèi)容,MapReduce能幫上忙;如果大家需要運(yùn)行全球最大的社交網(wǎng)絡(luò),MapReduce能幫上忙;即使上述任務(wù)都引不起大家的興趣,大數(shù)據(jù)技術(shù)在數(shù)據(jù)庫擴(kuò)展方面也能起到作用。
眾多企業(yè)對(duì)“大數(shù)據(jù)”技術(shù)的追捧可謂不遺余力卻又不辨是非,包括 MongoDB、Hadoop與Impala在內(nèi)的全方位大數(shù)據(jù)方案導(dǎo)致公司技術(shù)堆棧既難于維護(hù)又不便理解,O’Brien表示。“我曾被無數(shù)次要求為生產(chǎn)流程提供幫助……但我甚至弄不清這些客戶到底用了多少套數(shù)據(jù)庫。”
對(duì)于某些大型企業(yè),“大數(shù)據(jù)”產(chǎn)品的確是必要的;但對(duì)于其它規(guī)模較小的企業(yè),大數(shù)據(jù)只能算是“實(shí)用性工具”;而另有一些企業(yè)只會(huì)在使用過程中“逐步被技術(shù)推向自己并不適合的解決方向,”他解釋道。
如果大家只有10TB甚至更少的數(shù)據(jù)需要加以分析,那么Postgres或其它一些典型處理系統(tǒng)就完全能夠搞定。但如果大家需要記錄的數(shù)據(jù)已經(jīng)以PB為單位,那么盡快向Hadoop或其它同類方案傾斜吧。“別再等了,這是惟一的出路,”他建議稱。
位于金字塔頂部的技術(shù)驅(qū)動(dòng)著80%的市場(chǎng)份額,O’Brien指出。“我并不是說新興企業(yè)就一定不該使用Hadoop,但就我所經(jīng)歷的眾多項(xiàng)目來看,小規(guī)模公司最好先從MySQL開始——畢竟大部分用戶的有價(jià)值數(shù)據(jù)也就在GB級(jí)別。
即使是像谷歌這樣的業(yè)界巨頭也開始放下大數(shù)據(jù)前續(xù)技術(shù)BigTable與GFS學(xué)術(shù)論文的飄渺光環(huán),由NoSQL及Hadoop社區(qū)的先驅(qū)者轉(zhuǎn)向如今的“Spanner”數(shù)據(jù)庫。
Spanner比其它同類產(chǎn)品更接似于SQL類關(guān)系型數(shù)據(jù)庫,這一次谷歌算是相時(shí)而動(dòng)。眾多企業(yè)都已經(jīng)開始選擇這條道路,像TransLattice這類對(duì)Spanner架構(gòu)進(jìn)行重新實(shí)現(xiàn)的方案受到廣泛關(guān)注。
也許NoSQL與Hadoop已經(jīng)將不少企業(yè)帶入了死胡同?隨著營(yíng)銷預(yù)算的緊縮與O’Brien的指導(dǎo)性意見,企業(yè)在技術(shù)普及方面的過度膨脹問題已經(jīng)凸顯出來,剛剛接觸到大數(shù)據(jù)技術(shù)的入門用戶也開始抱持謹(jǐn)慎的態(tài)度。此類技術(shù)也許確實(shí)前景廣闊,但其最終成效還是要以企業(yè)用戶的聰明才智而定。
公司簡(jiǎn)介 | 媒體優(yōu)勢(shì) | 廣告服務(wù) | 客戶寄語 | DOIT歷程 | 誠(chéng)聘英才 | 聯(lián)系我們 | 會(huì)員注冊(cè) | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.