隨著各行業(yè)對(duì)數(shù)據(jù)價(jià)值認(rèn)知的不斷提高，大數(shù)據(jù)成為繼云計(jì)算之后最火熱的詞匯。為應(yīng)對(duì)各行業(yè)海量數(shù)據(jù)處理需求，大數(shù)據(jù)一體機(jī)應(yīng)運(yùn)而生。作為業(yè)界領(lǐng)先的云計(jì)算解決方案及服務(wù)提供商，浪潮在近日發(fā)布了自主研發(fā)的云海大數(shù)據(jù)一體機(jī)系統(tǒng)軟件,創(chuàng)新優(yōu)化算法的大數(shù)據(jù)處理平臺(tái)——浪潮云谷CloudCanyon V1.0。小編在同浪潮大數(shù)據(jù)一體機(jī)產(chǎn)品經(jīng)理的交流中，對(duì)這款產(chǎn)品有了更深入的了解。下面，就為大家?guī)��?lái)最新鮮的浪潮云谷Cloud Canyon V1.0版本的解析資料。

浪潮云谷CloudCanyon V1.0是面向行業(yè)海量數(shù)據(jù)整合、分析、挖掘的大數(shù)據(jù)平臺(tái)，是浪潮大數(shù)據(jù)一體機(jī)的靈魂，是浪潮行業(yè)大數(shù)據(jù)業(yè)務(wù)的核心發(fā)動(dòng)機(jī)。最新發(fā)布的浪潮云谷CloudCanyon V1.0版本采用創(chuàng)新算法，涵蓋數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理等全環(huán)節(jié)。Canyon本義大峽谷，CloudCanyon是云中大峽谷的意思，浪潮云谷CloudCanyon寓意浪潮提供的這款系統(tǒng)軟件是處理云計(jì)算和大數(shù)據(jù)的大峽谷，任海量數(shù)據(jù)排山倒海，洶涌而至，盡收云谷，如清風(fēng)拂云泰然處之。

浪潮云谷CloudCanyon V1.0是能夠提供企業(yè)級(jí)的、兼具高可靠性和穩(wěn)定性的Hadoop平臺(tái)，其組件包括HDFS分布式文件存儲(chǔ)系統(tǒng)、MapReduce編程框架、ZooKeeper分布式協(xié)同工作系統(tǒng)以及Hive數(shù)據(jù)倉(cāng)庫(kù)，Pig數(shù)據(jù)流分析平臺(tái)和HBase分布式數(shù)據(jù)庫(kù)、Sqoop數(shù)據(jù)轉(zhuǎn)移工具和分布式監(jiān)控工具。

創(chuàng)新算法實(shí)現(xiàn)性能提升10倍以上

浪潮云谷CloudCanyon V1.0的核心框架在原有Hadoop架構(gòu)上開(kāi)發(fā)，使用了浪潮自主研發(fā)的算法，包括自適應(yīng)調(diào)度算法、低消耗鎖算法、熱點(diǎn)數(shù)據(jù)感知的負(fù)載均衡算法。經(jīng)過(guò)實(shí)際測(cè)試，這些算法從整體上大大提升了大規(guī)模集群的性能，在執(zhí)行諸如1TB數(shù)據(jù)排序、100億條記錄查詢、大小表聯(lián)合查詢、1TB單詞統(tǒng)計(jì)等任務(wù)時(shí)，比原有方案的性能提升至少十倍。

創(chuàng)新算法同時(shí)也解決了原有架構(gòu)的擴(kuò)展瓶頸，兼顧了數(shù)據(jù)驅(qū)動(dòng)型的縱向和橫向擴(kuò)展：既支持單節(jié)點(diǎn)計(jì)算能力的擴(kuò)展(即更高性能的CPU、更大容量的內(nèi)存)，也能將整個(gè)集群擴(kuò)展至數(shù)千節(jié)點(diǎn)。此外，還支持動(dòng)態(tài)改變數(shù)據(jù)結(jié)構(gòu)，在不影響業(yè)務(wù)的情況下進(jìn)行表結(jié)構(gòu)變化。

與現(xiàn)有系統(tǒng)的無(wú)縫集成

隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，新的應(yīng)用組件不斷出現(xiàn)，封閉的平臺(tái)已經(jīng)不能滿足日益增長(zhǎng)的用戶需求。用戶需要根據(jù)特定的需求編寫滿足應(yīng)用的大數(shù)據(jù)平臺(tái)程序，但不同的用戶對(duì)編程使用的語(yǔ)言是不同的，有的編程人員對(duì)Java比較熱衷，有的編程人員對(duì)腳本語(yǔ)言等有強(qiáng)烈的需求。為了更好的在平臺(tái)開(kāi)發(fā)特定需求的應(yīng)用程序，浪潮云谷CloudCanyon V1.0提供了開(kāi)發(fā)總線，集成了Java、Python、Shell、C/C++等通用的編程接口，能夠提供強(qiáng)大的、多功能開(kāi)發(fā)接口，滿足不同用戶的編程需求，為應(yīng)用程序的開(kāi)發(fā)帶來(lái)了極大的便捷性。

浪潮云谷CloudCanyon V1.0中的HDFS 支持Posix接口，可以像本地文件系統(tǒng)一樣掛載使用，用戶的應(yīng)用程序不需要進(jìn)行任何修改就可以無(wú)縫的遷移到CloudCanyon V1.0上，大大降低了使用的難度和門檻。

高密度、多維度的自動(dòng)化監(jiān)控體系

浪潮云谷CloudCanyon V1.0可以對(duì)大規(guī)模集群進(jìn)行高密度、多維度的自動(dòng)化監(jiān)控報(bào)警，由此保證集群的穩(wěn)定性和安全性。

隨著集群規(guī)模的不斷擴(kuò)大，業(yè)務(wù)復(fù)雜性的不斷提升，傳統(tǒng)的監(jiān)控手段已經(jīng)不再能滿足需求。浪潮云谷CloudCanyon V1.0監(jiān)控報(bào)警工具可以實(shí)時(shí)監(jiān)控系統(tǒng)的運(yùn)行狀態(tài)，包括系統(tǒng)服務(wù)、CPU 、內(nèi)存、網(wǎng)絡(luò)、Hadoop組件服務(wù)的運(yùn)行狀態(tài)等等，并通過(guò)可視化的界面呈現(xiàn)，實(shí)現(xiàn)對(duì)集群的精細(xì)化監(jiān)控。

浪潮云谷CloudCanyon V1.0可以自動(dòng)收集軟硬件運(yùn)行狀態(tài)，對(duì)硬件異常、操作系統(tǒng)異常進(jìn)行報(bào)警;通過(guò)監(jiān)控Hadoop運(yùn)行情況，自動(dòng)識(shí)別Hadoop運(yùn)行故障，自動(dòng)報(bào)警;支持報(bào)警等級(jí)的自定義：用戶可以對(duì)各種故障等級(jí)進(jìn)行自定義，不同報(bào)警等級(jí)以界面、郵件、短信等方式實(shí)現(xiàn)多元化的報(bào)警組合。通過(guò)制定靈活可控的告警策略，為管理員提供實(shí)時(shí)而準(zhǔn)確的告警通知和詳盡清晰的報(bào)表分析數(shù)據(jù)，幫助數(shù)據(jù)中心的運(yùn)維人員隨時(shí)掌握數(shù)據(jù)中心的各類軟硬件資源的運(yùn)行狀況，降低運(yùn)維管理復(fù)雜度，提高運(yùn)維效率。

自我感知的智能管理

在大數(shù)據(jù)技術(shù)快速發(fā)展的時(shí)代，數(shù)據(jù)采集技術(shù)、數(shù)據(jù)存儲(chǔ)技術(shù)、數(shù)據(jù)處理技術(shù)、數(shù)據(jù)挖掘技術(shù)等都有其對(duì)應(yīng)的大數(shù)據(jù)組件。如何將滿足用戶不同需求的大數(shù)據(jù)組件自動(dòng)化安裝部署、集中配置和管理集群是用戶關(guān)心的問(wèn)題。浪潮云谷CloudCanyon V1.0自我感知式的智能管理，正是為解決用戶的這些問(wèn)題而誕生的。

浪潮云谷CloudCanyon V1.0自我感知式的智能管理主要實(shí)現(xiàn)了自動(dòng)化部署集群、向?qū)�式界面安裝，用戶可以非常方便的對(duì)集群進(jìn)行安裝和卸載操作。配置管理功能實(shí)現(xiàn)了界面自動(dòng)化配置，用戶可以根據(jù)應(yīng)用需要對(duì)集群中的配置參數(shù)進(jìn)行集中修改，省卻了單一手動(dòng)配置多個(gè)文件的繁瑣操作。同時(shí)，服務(wù)管理功能采用了一鍵式啟動(dòng)，用戶既可以集中啟動(dòng)或停止多個(gè)服務(wù)，也可以單獨(dú)的啟動(dòng)或停止某一個(gè)服務(wù)，方便用戶管理集群和服務(wù)。

浪潮云谷CloudCanyon V1.0的面市，解決了原有架構(gòu)的擴(kuò)展瓶頸和性能不足，提高了安全自主可控性，降低了在新技術(shù)條件下客戶應(yīng)用的易用性門檻，進(jìn)一步推進(jìn)了大數(shù)據(jù)技術(shù)在我國(guó)各行業(yè)的應(yīng)用，是金融、公安、電信、交通、醫(yī)療等各個(gè)行業(yè)用戶的大數(shù)據(jù)解決方案理想之選。