国产精品一区二区av交换,中文字幕人成无码免费视频,永久免费av无码网站性色av,欧美一道本一区二区三区,樱桃熟了a级毛片

為了從2億多個(gè)日常事件中收集和分析數(shù)據(jù)，Evernote(印象筆記)從MySQL數(shù)據(jù)倉庫轉(zhuǎn)向了由Hadoop和ParAccel組成的混合環(huán)境。

由于數(shù)據(jù)洪流已經(jīng)威脅到了Evernote的分析系統(tǒng)，為了處理這些大數(shù)據(jù)，Evernote開始在不增加預(yù)算的情況，對(duì)其分析環(huán)境進(jìn)行現(xiàn)代化升級(jí)。作為一家頗受歡迎的個(gè)人組織與生產(chǎn)力應(yīng)用提供商，Evernote已經(jīng)開始從常規(guī)數(shù)據(jù)倉庫遷移至由Hadoop和ParAccel組成、且能夠進(jìn)行大規(guī)模并行處理(MPP)分析的現(xiàn)代化數(shù)據(jù)庫。

Evernote一直在收集并分析其用戶數(shù)據(jù)。自2008年以來，已經(jīng)有3600多萬用戶創(chuàng)建了自己的 Evernote賬戶，與此同時(shí)這些賬戶生成了數(shù)百太字節(jié)的數(shù)據(jù)。這些數(shù)據(jù)包括了12億條“筆記”和20億個(gè)附件。其中的筆記以文本、網(wǎng)頁、照片、語音備忘錄等多種形式存在的，并且能夠被標(biāo)記、注釋、編輯、分類，以及用其他方式進(jìn)行操作。

為了確定優(yōu)化Evernote用戶體驗(yàn)的方式，該公司每天通過Hadoop和ParAccel混合數(shù)據(jù)庫對(duì)2億多個(gè)事件進(jìn)行分析。此外，Evernote還利用開源的JasperReports服務(wù)器社區(qū)版生成相關(guān)報(bào)告和圖表。

突破數(shù)據(jù)容量限制

Evernote最初的數(shù)據(jù)倉庫是以O(shè)LTP(聯(lián)機(jī)事務(wù)處理)關(guān)系型數(shù)據(jù)庫為基礎(chǔ)的。這些數(shù)據(jù)倉庫使用的是一個(gè)星形模型。這意味著數(shù)據(jù)是根據(jù)查詢進(jìn)行安排，而不是根據(jù)處理進(jìn)行安排的。通常只要MySQL中的數(shù)據(jù)容量在數(shù)太字節(jié)以內(nèi)，這一解決方案都能夠很好地進(jìn)行報(bào)告與分析。但是當(dāng)數(shù)據(jù)超過了這一限制，只有很少一部分歷史數(shù)據(jù)能夠被保留下來，同時(shí)數(shù)據(jù)倉庫的查詢速度、靈活性與可負(fù)擔(dān)性將難以忍受。

這就是Evernote所遇到的問題。以前，Evernote的數(shù)據(jù)倉庫建立在MySQL之上，龐大的 RAID10陣列與應(yīng)用的主服務(wù)器使用相同的網(wǎng)絡(luò)。在每天晚上，批處理操作每隔9至18個(gè)小時(shí)就會(huì)將多個(gè)操作數(shù)據(jù)庫表單的增加部分與應(yīng)用服務(wù)器被解析的結(jié)構(gòu)化事件日志關(guān)聯(lián)起來。在手動(dòng)創(chuàng)建和調(diào)整之后，再通過電子郵件的形式分發(fā)報(bào)告。

自2012年年初以來，Evernote的分析團(tuán)隊(duì)意識(shí)到，他們現(xiàn)有的解決方案已經(jīng)無法應(yīng)對(duì)這些負(fù)載。由于主要的表單超過了400億行，因此每次訪問幾天的數(shù)據(jù)就根本是不可能的事情。報(bào)告數(shù)據(jù)庫的速度也非常慢，并且難以維護(hù)，尤其是難以進(jìn)行查詢。

因此，Evernote開始著手創(chuàng)建一個(gè)分析環(huán)境。這個(gè)環(huán)境要能有效地存儲(chǔ)全部的歷史數(shù)據(jù)，生成十多份標(biāo)準(zhǔn)的每日?qǐng)?bào)告，特別是能夠方便地管理查詢，并且在未來能持續(xù)進(jìn)行擴(kuò)展。與此同時(shí)，Evernote的預(yù)算并不寬裕。