眾所周知,為了讓大規(guī)模分布式數(shù)據(jù)處理系統(tǒng)能發(fā)揮更好的性能,傳統(tǒng)的Hadoop架構是將計算節(jié)點和數(shù)據(jù)節(jié)點連在一起的。但隨著業(yè)務數(shù)據(jù)量爆發(fā)式增長以及企業(yè)對數(shù)據(jù)價值的不斷重視,數(shù)據(jù)存儲規(guī)模和數(shù)據(jù)計算需求經常是無法保持線性增長,計算和存儲這兩者之間隨之產生了“木桶效應”,極易造成資源的浪費,而用戶開始越來越關注數(shù)據(jù)存儲成本及計算成本的問題。

這時,計算與存儲資源的分離解耦,成為了一個非常合理的選擇。UCloud UHadoop帶來的計算與存儲的分離,完全消除了計算與存儲之間的“木桶效應”,在資源隔離、計算管理和存儲管理三個方面具有極大優(yōu)勢,同時為業(yè)務創(chuàng)新、技術架構升級提供了更多的靈活性和可能性。

1. 不同業(yè)務計算資源的物理隔離,保障業(yè)務穩(wěn)定

傳統(tǒng)模式下,用戶是通過配置資源隊列,來為不同業(yè)務分配計算資源,但這種方式實際上只能做到邏輯隔離,無法真正實現(xiàn)計算資源的物理隔離,不可避免會發(fā)生計算集群搶占資源的情況,業(yè)務與業(yè)務之間相互影響,導致業(yè)務狀態(tài)的不穩(wěn)定。UCloud UHadoop 可以幫助用戶將不同業(yè)務拆分到不同計算集群上,實現(xiàn)計算資源的物理隔離,避免資源搶占、相互影響,從而保障業(yè)務持續(xù)穩(wěn)定。

如離線業(yè)務與實時業(yè)務的隔離業(yè)務場景,用戶可以借助UCloud UHadoop將離線計算與實時計算 拆分成兩個計算集群,然后訪問獨立的HDFS存儲集群,有效隔離計算資源,保障業(yè)務的穩(wěn)定。

2. 彈性管理計算資源,成本最優(yōu)化

傳統(tǒng)資源配置下,計算資源調度水平受限于單臺機器的存儲容量。UCloud UHadoop實現(xiàn)了存儲與計算分離之后,用戶可根據(jù)業(yè)務需要,單獨增加計算節(jié)點,計算任務完成即可釋放計算資源,無需擔心臨時的大規(guī)模擴容帶來的成本飆升,更不用再進行跨集群數(shù)據(jù)拷貝操作,有效降低了管理集群的人力成本和服務器成本。

與此同時,若計算集群有故障或是計算集群框架升級,也不會直接影響獨立的HDFS集群中的數(shù)據(jù),更好的保障了數(shù)據(jù)安全,同時也可縮短故障排查流程,降低集群運維成本。

3. HDFS存儲集群可單獨使用,更好滿足再分析需求

UCloud UHadoop提供獨立的HDFS存儲集群,用戶可以單獨使用存儲資源構建存儲集群,將歷史數(shù)據(jù)或者原始數(shù)據(jù)壓縮后進行歸檔存儲,當有數(shù)據(jù)分析的需求時,不需要進行數(shù)據(jù)遷移,即可完成數(shù)據(jù)分析任務,使用簡單、成本還低。

除了以上三個方面, UCloud UHadoop實現(xiàn)的存儲計算徹底分離,還可以讓多個不同版本Hadoop集群,分析底層同一份HDFS存儲集群中的數(shù)據(jù),滿足了數(shù)據(jù)一致性要求,及歷史原因導致的多版本Hadoop集群共存問題。為優(yōu)化集群整體成本,UCloud UHadoop 更是針對存儲計算分離場景推出了存儲更大、價格更低的機型,可根據(jù)不同數(shù)據(jù)量規(guī)模選擇不同節(jié)點機型,幫助用戶更好的降低成本。

分享到

xiesc

相關推薦