鄔賀銓：大數(shù)據(jù)時代的發(fā)展趨勢
CIO時代網(wǎng) 發(fā)表于：13年07月24日 14:15 [轉載] CIO時代
以“從大數(shù)據(jù)中挖掘大價值”為主題的“第二屆中國大數(shù)據(jù)應用論壇”于2013年7月21日在北京大學英杰交流中心陽光大廳隆重舉辦。本次活動由北京大學信息化與信息管理研究中心和北京大學CIO班教務辦公室主辦，北達軟協(xié)辦，CIO時代網(wǎng)承辦。各企事業(yè)單位信息化負責人、北大CIO班學員及有關媒體代表200多人薈萃于此，對大數(shù)據(jù)的眾多議題進行了熱烈討論。
中國工程院副院長、院士、國家信息化專家咨詢委員會委員鄔賀銓先生首先以“大數(shù)據(jù)時代的發(fā)展趨勢”為主題發(fā)表了精彩的演講。鄔院士的精彩觀點包括：大數(shù)據(jù)必然催生大帶寬;云計算將改變互聯(lián)網(wǎng)流量和流向，大數(shù)據(jù)將驅動大量部署的對等連接，網(wǎng)絡節(jié)點位置從信源中心向能源中心擴展;大數(shù)據(jù)呼喚智能化的處理和分析。以下為演講實錄：
中國工程院副院長、院士、國家信息化專家咨詢委員會委員 鄔賀銓
尊敬的北大的各位老師、各位專家、各位CIO，很高興來參加這次論壇。最近這幾天好像有點“CIO熱”，上個禮拜Gartner在北京有CIO論壇，明天在上海也有CIO論壇，大數(shù)據(jù)論壇也是到處在開。今天的標題是“大數(shù)據(jù)應用”，我知道今天后面的幾位報告人會講到大數(shù)據(jù)在教育、醫(yī)療、商業(yè)等等方面的應用，所以我這里就只講一下大數(shù)據(jù)時代的ICT趨勢，會講到四個方面的問題：大數(shù)據(jù)浪潮的到來、大帶寬發(fā)展的趨勢、大網(wǎng)絡布局的演變、大數(shù)據(jù)挖掘的挑戰(zhàn)。
第一，大數(shù)據(jù)浪潮的到來。綠色圖表示每個網(wǎng)民人均每個月下載流量，1998年每個網(wǎng)民一個月只需要一兆流量，2003年就需要一百兆，2008年就是1G，到2014年每個月要10個G的下載量。右邊的圖是講全世界互聯(lián)網(wǎng)流量累計達到1EB所需要的時間，2001年需要一年，2004年需要一個月，而今年只需要一天。2012年去年全世界互聯(lián)網(wǎng)一天的信息量大概是1EB，可以刻滿1.68億張DVD，�，F(xiàn)在全世界新產(chǎn)生的數(shù)據(jù)量每年增加40%，每兩年數(shù)據(jù)翻一番。2012年、2013年產(chǎn)生數(shù)據(jù)量總和是人類有歷史以來到2011年產(chǎn)生數(shù)據(jù)量的總和，兩年的數(shù)據(jù)量等于一萬年的總和，這個數(shù)據(jù)規(guī)模為1.8ZB，假如把這個數(shù)據(jù)裝在32G的IPad上，要裝575億個，把這些iPad摞起來，可以摞起兩座中國的長城。2020年全球數(shù)據(jù)將達到40ZB，如果將數(shù)據(jù)裝在光盤上，這些光盤總重量等于424艘尼米茲號航母。所以說，大數(shù)據(jù)時代到來了。
大數(shù)據(jù)有網(wǎng)絡數(shù)據(jù)、企事業(yè)單位數(shù)據(jù)、政府數(shù)據(jù)，網(wǎng)絡數(shù)據(jù)自媒體數(shù)據(jù)(比如社交網(wǎng)絡、博客、微博等)，有日志數(shù)據(jù)(比如搜索引擎，大家上網(wǎng)等等都會留下很多足跡)，還有富媒體數(shù)據(jù)(視頻、音頻等等)，每天的數(shù)據(jù)量很大。比如淘寶每天數(shù)據(jù)量就超過50個TB;新浪微博晚上高峰的時候一秒鐘就要接收100萬以上的響應請求;百度每天大概處理60億次搜索請求，幾十PB;中國聯(lián)通每天記錄用戶上網(wǎng)條數(shù)，一秒鐘記錄83萬條，一個月大概是300TB;國家電網(wǎng)信息中心目前累計收集了2PB的數(shù)據(jù);北京公交一卡通，每天用公交一卡通的旅客有4000萬刷卡記錄，而北京地鐵每天乘客1000萬，把這些數(shù)據(jù)每天收集起來分析數(shù)據(jù)可以用于改善北京的交通狀況，優(yōu)化北京的公交線路。
最大的流量是視頻。美國TouTube網(wǎng)站一分鐘有72小時的視頻上載，到2016年互聯(lián)網(wǎng)上的忙時流量是720Tbps，相當于全世界有6億人同時看不一樣的高清電影。到2016年每3分鐘互聯(lián)網(wǎng)傳送360萬小時視頻，相當于全球已經(jīng)生產(chǎn)的全部電影。這個電影用什么量衡量呢?如果一個人要看3分鐘所傳送的電影，需要34年不吃飯、不睡覺才能看完。最近兩個月在TouTube上載的視頻量是美國三大電視臺--ABC、NBC、CBS自1948年以來24/7/365連續(xù)播出的內容，可以看到視頻流量非常大。
大數(shù)據(jù)無所不在。圖中是美國的一家醫(yī)院(UPMC)，一年能收500TB數(shù)據(jù);倫敦有200個交通攝像頭，每天是8TB數(shù)據(jù);倫敦才200個，北京有八十萬個攝像頭，數(shù)據(jù)量要比倫敦大得多了。還有其他方面的數(shù)據(jù)量，大數(shù)據(jù)無所不在。就監(jiān)控而言，很多城市的攝像頭多達幾十萬個，一個月的數(shù)據(jù)就達到數(shù)十個PB。北京公安局規(guī)定，所有超市，只要有開放食品架的，全都要裝高清攝像頭，能清晰的拍攝到走在架前人的臉部，以防投毒，防用針管裝艾滋病毒、傳染病毒打到液體里等，那么產(chǎn)生的數(shù)據(jù)就更大了。飛機的汽輪機產(chǎn)生的數(shù)據(jù)是Twitter的七倍，例如波音787，它每一個飛行來回可產(chǎn)生TB級的數(shù)據(jù)，美國每個月收集360萬次飛行記錄;監(jiān)視機隊25000個引擎，每個引擎的數(shù)據(jù)一天產(chǎn)生588GB;空客380軟件有10億行，每30分鐘產(chǎn)生10TB的數(shù)據(jù);風力發(fā)電機裝有測量風速、螺距、油溫等多種傳感器，每隔幾毫秒測一次，用于檢測葉片、變速箱、變頻器等的磨損程度;一個具有500個風機的風場一年會產(chǎn)生2PB的數(shù)據(jù)。這些數(shù)據(jù)用于預防性維護，可使風機壽命延長3年即達到18年，每年每風機的成本將降低17%。根據(jù)上面監(jiān)測的統(tǒng)計，今天所有企業(yè)的信息存儲總量已達2.2ZB，未來幾年將年增67%。
大數(shù)據(jù)的應用很多，比如淘寶，通過采集淘寶網(wǎng)上成交額比較高的390個類目的商品價格來搞出淘寶的CPI，比國家統(tǒng)計局公布的CPI更早的預測到經(jīng)濟狀況。為什么?國家統(tǒng)計局統(tǒng)計的CPI主要根據(jù)是剛性的物品;比如食品，經(jīng)濟好、經(jīng)濟不好，人們都要吃飯，因此差別不大�？墒翘詫毶隙际琴I化妝品、電子產(chǎn)品、服裝，經(jīng)濟不好就會少買，因此淘寶CPI更能反映價格走勢，一般來講比我們國家統(tǒng)計局公布的CPI，能提前一個月到半個月預測到走勢。中央首長到了淘寶看了以后就說“你們每天把淘寶的CPI送到中南海”。最近經(jīng)濟情況的下行壓力很大，很多中小企業(yè)貸款很難，因為他們沒用擔保。阿里公司根據(jù)在淘寶網(wǎng)上中小公司遭遇的狀況，篩選出財務健康、誠信企業(yè)，不要他們擔保，阿里放貸300多億元，壞賬率僅0.3%。去年公布的四大商業(yè)銀行壞賬率是這個數(shù)字的13倍。商業(yè)銀行是有擔保的，而阿里沒有擔保。
