圖1云存儲架構(gòu)圖
(2)帶寬是否線形增長
使用云存儲的客戶,很多是考慮未來帶寬的增長,因此云存儲產(chǎn)品設(shè)計(jì)的好壞會產(chǎn)生很大的差異,有些十幾個節(jié)點(diǎn)便達(dá)到飽和,這樣對未來帶寬的擴(kuò)容就有不利的影響,這一點(diǎn)要事先弄清楚,否則等到發(fā)現(xiàn)不符合需求時,已經(jīng)買了幾百TB,后悔就來不及了。
(3)管理是否容易。
2云存儲關(guān)鍵技術(shù)
云存儲必須具備九大要素:①性能;②安全性;③自動ILM存儲;④存儲訪問模式;⑤可用性;⑥主數(shù)據(jù)保護(hù);⑦次級數(shù)據(jù)保護(hù);⑧存儲的靈活;⑨存儲報表。
云計(jì)算的發(fā)展離不開虛擬化、并行計(jì)算、分布式計(jì)算等核心技術(shù)的發(fā)展成熟。下面對其介紹如下:
(1)集群技術(shù)、網(wǎng)格技術(shù)和分布式文件系統(tǒng)
云存儲系統(tǒng)是一個多存儲設(shè)備、多應(yīng)用、多服務(wù)協(xié)同工作的集合體,任何一個單點(diǎn)的存儲系統(tǒng)都不是云存儲。
既然是由多個存儲設(shè)備構(gòu)成的,不同存儲設(shè)備之間就需要通過集群技術(shù)、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù),實(shí)現(xiàn)多個存儲設(shè)備之間的協(xié)同工作,使多個的存 儲設(shè)備可以對外提供同一種服務(wù),并提供更大更強(qiáng)更好的數(shù)據(jù)訪問性能。如果沒有這些技術(shù)的存在,云存儲就不可能真正實(shí)現(xiàn),所謂的云存儲只能是一個一個的獨(dú)立 系統(tǒng),不能形成云狀結(jié)構(gòu)。
(2)CDN內(nèi)容分發(fā)、P2P技術(shù)、數(shù)據(jù)壓縮技術(shù)、重復(fù)數(shù)據(jù)刪除技術(shù)、數(shù)據(jù)加密技術(shù)
CDN內(nèi)容分發(fā)系統(tǒng)、數(shù)據(jù)加密技術(shù)保證云存儲中的數(shù)據(jù)不會被未授權(quán)的用戶所訪問,同時,通過各種數(shù)據(jù)備份和容災(zāi)技術(shù)保證云存儲中的數(shù)據(jù)不會丟失,保證云存儲自身的安全和穩(wěn)定。如果云存儲中的數(shù)據(jù)安全得不到保證,也沒有人敢用云存儲了。
(3)存儲虛擬化技術(shù)、存儲網(wǎng)絡(luò)化管理技術(shù)
云存儲中的存儲設(shè)備數(shù)量龐大且分布多在不同地域,如何實(shí)現(xiàn)不同廠商、不同型號甚至于不同類型(例如FC存儲和IP存儲)的多臺設(shè)備之間的邏輯卷管 理、存儲虛擬化管理和多鏈路冗余管理將會是一個巨大的難題,這個問題得不到解決,存儲設(shè)備就會是整個云存儲系統(tǒng)的性能瓶頸,結(jié)構(gòu)上也無法形成一個整體,而 且還會帶來后期容量和性能擴(kuò)展難等問題。
3部署Hadoop
從歷史上看,數(shù)據(jù)分析軟件面對當(dāng)今的海量數(shù)據(jù)已顯得力不從心,這種局面正在悄然轉(zhuǎn)變。新的海量數(shù)據(jù)分析引擎已經(jīng)出現(xiàn)。例如Apache的Hadoop,實(shí)踐證明,Hadoop在數(shù)據(jù)處理方面是做得最好的且是開源的平臺之一。
云存儲中心是由大量服務(wù)器構(gòu)成Hadoop的數(shù)據(jù)節(jié)點(diǎn)((DataNodes),負(fù)責(zé)保存文件的內(nèi)容,實(shí)現(xiàn)文件的分布式存儲、負(fù)載平衡以及文件的容錯控制。
下面將利用Hadoop作為實(shí)驗(yàn)平臺,一步一步演示如何部署一個三個節(jié)點(diǎn)的集群,并測試一下MapRe-dace分布式處理的強(qiáng)大功能,在Hadoop分布式文件系統(tǒng)(HDFS)中存人兩個文件,并采用MapReduce計(jì)算出兩個namelist文件中各個名字出現(xiàn)的次數(shù),程序架構(gòu)設(shè)計(jì)如圖2所示。
圖2 3個節(jié)點(diǎn)的Hadoop集群
其中NameNode主節(jié)點(diǎn)和DataNode從節(jié)點(diǎn)的分布情況如下:
表1
(1)啟動Hadoop集群
只需要在NameNode主節(jié)點(diǎn)上執(zhí)行start-all.sh命令即可,同時Master節(jié)點(diǎn)可以通過ssh登錄到各,lave節(jié)點(diǎn)去啟動其他相關(guān)進(jìn)程。
(2) MapRudce測試
在NameNode和DataNode兩個結(jié)點(diǎn)都運(yùn)行正常的時候,也就是Hadoop部署成功了之后,我們在NameNode主節(jié)點(diǎn)上準(zhǔn)備兩個名單文件。名單文件的內(nèi)容如下:
4運(yùn)行實(shí)驗(yàn)及結(jié)果
5結(jié)語
結(jié)果跟我們預(yù)期的一樣,這樣在以Hadoop為平臺進(jìn)行了對HDFS的文件存儲,并且統(tǒng)計(jì)了文件中數(shù)據(jù)的數(shù)量,然后顯示出來。