品高云數(shù)據(jù)湖產(chǎn)品功能示意圖
二、數(shù)據(jù)湖能解決什么問題?
品高數(shù)據(jù)湖的包括5個解決方案，分別是數(shù)據(jù)湖存儲、數(shù)據(jù)集成、數(shù)據(jù)處理、數(shù)據(jù)管理以及數(shù)據(jù)分析和消費。值得一提的是，Gartner的《數(shù)據(jù)湖最佳設(shè)計實踐》報告指出，保障數(shù)據(jù)湖成功落地需要重點考慮數(shù)據(jù)集成、數(shù)據(jù)探索和開發(fā)、數(shù)據(jù)治理、數(shù)據(jù)消費等四個方面，可以說，品高數(shù)據(jù)湖解決方案與Gartner觀點不謀而合。以下是對這5個部分的介紹：
● 數(shù)據(jù)湖存儲基于品高云對象存儲技術(shù)實現(xiàn)，能夠存儲全數(shù)據(jù)類型(結(jié)構(gòu)化數(shù)據(jù)、文本、圖片、音視頻等)的存儲，可與Hadoop、Spark、Greenplum等主流大數(shù)據(jù)計算技術(shù)無縫集成，可以實現(xiàn)多個租戶的數(shù)據(jù)隔離和共享，支持大文件切片、多節(jié)點并發(fā)傳輸。
● 數(shù)據(jù)集成是將數(shù)據(jù)提取、轉(zhuǎn)換和加載的過程，以自動化的形式從源系統(tǒng)中提取數(shù)據(jù)，轉(zhuǎn)換成一致的格式，并加載到數(shù)據(jù)湖中。品高數(shù)據(jù)湖提供數(shù)據(jù)湖集成工具，保障異構(gòu)數(shù)據(jù)源能夠快速、鮮活的流入數(shù)據(jù)湖。
● 數(shù)據(jù)處理是通過數(shù)據(jù)集成完成數(shù)據(jù)湖的數(shù)據(jù)集中后，品高提供內(nèi)置的Hadoop套件，幫助用戶快速探索、分析和處理數(shù)據(jù)湖的數(shù)據(jù)。
● 數(shù)據(jù)管理是通過元數(shù)據(jù)管理、數(shù)據(jù)目錄、數(shù)據(jù)監(jiān)控統(tǒng)計、數(shù)據(jù)質(zhì)量等手段，實現(xiàn)數(shù)據(jù)湖數(shù)據(jù)的可讀、可檢索、可管理和可用性。
● 數(shù)據(jù)分析和消費是指當(dāng)大量數(shù)據(jù)被采集到數(shù)據(jù)湖中，經(jīng)過開發(fā)處理，再將處理后的可用數(shù)據(jù)存入回數(shù)據(jù)湖，為各類大數(shù)據(jù)分析應(yīng)用提供數(shù)據(jù)支撐。品高數(shù)據(jù)湖方案中提供大數(shù)據(jù)分析平臺，幫助用戶解決數(shù)據(jù)可視化問題，提供儀表盤、報表、數(shù)據(jù)地圖、自助分析等多種分析工具。除此之外，我們還可以支持第三方的數(shù)據(jù)分析工具、以及用戶自己開發(fā)的分析工具等。
三、數(shù)據(jù)湖如何應(yīng)用?
基于品高云數(shù)據(jù)湖解決方案的功能特性和創(chuàng)新點，我們在此列舉了3個適合應(yīng)用數(shù)據(jù)湖方案的典型應(yīng)用場景。
場景一：跨組織邊界的數(shù)據(jù)共享
跨部門間數(shù)據(jù)共享示意圖
需求和挑戰(zhàn)
跨組織邊界的技術(shù)融合和共享權(quán)限問題、數(shù)據(jù)共享問題、缺乏數(shù)據(jù)運營體系問題。
應(yīng)對和解決
品高數(shù)據(jù)湖方案通過深度融合云計算和大數(shù)據(jù)技術(shù)，通過本文所述的數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)管理、數(shù)據(jù)消費等四個方面的創(chuàng)新能力，解決跨部門、跨組織、跨行業(yè)的數(shù)據(jù)共享和開放，幫助組織構(gòu)建可持續(xù)、健康的數(shù)據(jù)生態(tài)鏈，通過數(shù)據(jù)關(guān)聯(lián)進(jìn)一步挖掘數(shù)據(jù)價值。
場景二：促進(jìn)基于數(shù)據(jù)的產(chǎn)學(xué)研合作
產(chǎn)學(xué)研合作示意圖
需求和挑戰(zhàn)
政府機(jī)構(gòu)、大型企業(yè)擁有大量生產(chǎn)數(shù)據(jù)，但技術(shù)儲備和算法模型較弱，而高校、科研機(jī)構(gòu)有技術(shù)、有算法模型，苦于沒數(shù)據(jù)。
應(yīng)對和解決
利用數(shù)據(jù)湖建立生產(chǎn)和科研的橋梁，通過數(shù)據(jù)湖將行業(yè)生產(chǎn)數(shù)據(jù)脫敏后存儲到數(shù)據(jù)湖，開放給科研機(jī)構(gòu)、高校進(jìn)行研究性探索，同時，研究成果可應(yīng)用回企業(yè)，能夠有效促進(jìn)基于數(shù)據(jù)的產(chǎn)學(xué)研合作。
場景三：聯(lián)邦數(shù)據(jù)湖
跨組織聯(lián)邦數(shù)據(jù)湖示意圖
需求和挑戰(zhàn)
跨組織部門數(shù)據(jù)湖建設(shè)如果通過統(tǒng)一的數(shù)據(jù)湖來集中管理所有數(shù)據(jù)，可能會存在組織間的數(shù)據(jù)互信、數(shù)據(jù)主權(quán)、數(shù)據(jù)安全等一些列問題。
應(yīng)對和解決
品高數(shù)據(jù)湖提供去中心化的聯(lián)邦數(shù)據(jù)湖，平臺基于聯(lián)邦數(shù)據(jù)湖實現(xiàn)跨部門、跨組織的數(shù)據(jù)共享，并通過數(shù)據(jù)開放平臺，將數(shù)據(jù)相關(guān)的目錄、工具、服務(wù)、模型開放出來，各組織和數(shù)據(jù)模型相關(guān)軟件開發(fā)商均可在上面進(jìn)行數(shù)據(jù)協(xié)作，幫助企業(yè)、政府構(gòu)建可持續(xù)發(fā)展的數(shù)據(jù)生態(tài)鏈。
