国产精品一区二区av交换,中文字幕人成无码免费视频,永久免费av无码网站性色av,欧美一道本一区二区三区,樱桃熟了a级毛片

Evernote最終選擇了由Hadoop和ParAccel組成的混合解決方案。目前，一個10個節(jié)點的Hadoop集群能夠存儲所有的歷史數(shù)據(jù)，以及處理用于分析的數(shù)據(jù)預(yù)處理工作。預(yù)算方面，Hadoop是一個他們能夠負擔(dān)得起的解決方案，這要歸功于 Hadoop的開源許可證，及其能夠使用商業(yè)硬件進行擴展的優(yōu)勢。

作為一個MPP分析數(shù)據(jù)庫，ParAccel電子表格能夠以超高的速度進行查詢。在Evernote公司中，3個節(jié)點的ParAccel列式分析數(shù)據(jù)庫能夠處理對大量派生表的查詢。作為節(jié)點的SuperMicro服務(wù)器，每個都配備有兩個L5630四核處理器、192GB內(nèi)存、10Gbps網(wǎng)絡(luò)，以及一個能夠與Red Hat Enterprise Linux進行手動配置與設(shè)置的RAID5固態(tài)硬盤。

最后，與主流開源報告的解決方案一樣，JasperReports也一個簡單易用的解決方案。為了查詢 ParAccel服務(wù)器以及生成的多種格式的日報，Evernote的團隊選擇了Jaspersoft的開源JasperReports服務(wù)器。(近期 ParAccel和JasperReports服務(wù)器混合環(huán)境也得到了亞馬遜的支持。亞馬遜正使用這兩款工具強化其Redshift托管分析環(huán)境。)

Evernote每天使用JasperReports服務(wù)器生成10多份圖表與報告

出于安全原因，這一分析環(huán)境被放在了一個獨立的網(wǎng)絡(luò)上，并不與生產(chǎn)應(yīng)用服務(wù)器相連。日常在線數(shù)據(jù)通過一個單向的網(wǎng)絡(luò)連接被安全地推送到報告環(huán)境中。

部署Hadoop并協(xié)同工作

全部的原始數(shù)據(jù)首先將發(fā)送至Hadoop。在這里，數(shù)據(jù)將被歸檔并為輸入至ParAccel進行日報和分析做好準(zhǔn)備。隨后，Evernote將使用Cloudera Hadoop進行分發(fā)，并使用Puppet進行配置管理。 Hadoop集群包括有6個配置了8個500GB硬盤的數(shù)據(jù)節(jié)點，總計可以存儲24TB的原始數(shù)據(jù)。2個8核處理器和64GB內(nèi)存在跨集群中運行132個 MapReduce任務(wù)，每個任務(wù)可擁有超過2GB的內(nèi)存。

此外，作為冗余，Evernote還在兩個服務(wù)器上運行了一個單獨的Hadoop Job Tracker，在一個客戶端節(jié)點運行Hive與Hue，這是兩個針對Hadoop的關(guān)鍵開源工具。Hadoop集群可通過Hive抽象層被訪問，后者提供了一個用于查詢的類SQL接口。Hue是一個針對Hadoop的基于Web接口，其中包含了大量的實用應(yīng)用，例如文件瀏覽器、工作追蹤接口、集群健康監(jiān)視器，以及一個創(chuàng)建個性化Hadoop應(yīng)用的環(huán)境。

由Hive采集的用戶活動數(shù)據(jù)與來自在線生產(chǎn)數(shù)據(jù)庫的參照表每晚會被加載在ParAccel上。通過Hive所創(chuàng)建的派生表包含有針對常見報告中最佳表述的預(yù)切片信息。例如，除了某一時期以來每天、每周和每月的活動用戶數(shù)量外，國家一覽表每天每個國家只有一行。

由于ParAccel數(shù)據(jù)庫和表單會針對快速數(shù)據(jù)聚合進行調(diào)整，因此與單獨使用Hive相比，Evernote能夠進行多類問題的查詢。例如，查看某周內(nèi)在德國哪個Windows版本的Evernote軟件使用最為頻繁，只需要3秒鐘的時間。

Evernote如今擁有了一個現(xiàn)代化的分析環(huán)境，并且這個環(huán)境擁有足夠的增長空間。由于有了 Hadoop，Evernote的團隊擁有了將海量數(shù)據(jù)運營與日志數(shù)據(jù)歸檔的能力。更重要的是，它們可以在兩個小時內(nèi)加載和轉(zhuǎn)換數(shù)百萬條記錄，而以往做這些工作需要花費10個小時或是更長的時間。同時得益于ParAccel，Evernote的團隊能夠執(zhí)行更為復(fù)雜的用戶趨勢分析操作，并通過 JasperReports服務(wù)器提供最終結(jié)果。

由于能夠存儲所有的歷史數(shù)據(jù)、進行更快速的查詢，以及每日自動生成質(zhì)量報告，Evernote能夠從更深的層次觀察客戶使用其產(chǎn)品的方式，持續(xù)提升和優(yōu)化自己的產(chǎn)品。