MapReduce 框架的核心優(yōu)勢:

1. 高度可擴展,可動態(tài)增加/削減計算節(jié)點,真正實現彈性計算。

2. 高容錯能力,支持任務自動遷移、重試和預測執(zhí)行,不受計算節(jié)點故障影響。

3. 公平調度算法,支持優(yōu)先級和任務搶占,兼顧長/短任務,有效支持交互式任務。

4. 就近調度算法, 調度任務到最近的數據節(jié)點,有效降低網絡帶寬。

5. 動態(tài)靈活的資源分配和調度,達到資源利用最大化,計算節(jié)點不會出現閑置和過載的情況;同時支持資源配額管理。

6. 經過大量實際生產環(huán)境使用和驗證,最大集群規(guī)模在 4000 個計算節(jié)點。

分享到

wangguang

相關推薦