如圖,從左到右數(shù)據(jù)的產(chǎn)生,獲取過程到分發(fā)給各個需要的,最后把他歸檔存儲起來,StorNext最核心的東西一個共享的存儲平臺,可以同時多路的高速的訪問存儲文件。StorNext產(chǎn)品本身貫穿整個大數(shù)據(jù)的生命周期。

圍繞StorNext的昆騰產(chǎn)品線
 
StorNext5.0的產(chǎn)品特點

StorNext5.0有哪些值得關(guān)注的技術(shù)升級?首先是更快的文件操作(創(chuàng)建/刪除/等)性能(SNFS),這是StorNext基本的文件操作,其創(chuàng)建、刪除等基本的文件性能得到極大提升。其次重新設計使用(Metadate Layout)元數(shù)據(jù)布局,重新設計使它創(chuàng)建在分配空間的時候速度有很大的提升,實現(xiàn)更多高效的元數(shù)據(jù)的磁盤使用。內(nèi)置高線程訪問(總效能)支持很多的線程同時訪問元數(shù)據(jù)。

第二,重新設計的元數(shù)據(jù)日志,元數(shù)據(jù)在這里從新做了很多設計,優(yōu)化SSD,使元數(shù)據(jù)在固態(tài)SSD的狀態(tài)下有很大的提升。

第三就是在StorNext原服務器上緩存從新設計,讓數(shù)據(jù)直接訪問緩存,不用通過磁盤。2級緩存(壓縮/非壓縮)技術(shù),
從新設計成兩級緩存:一個是壓縮;一個是非壓縮。非壓縮比以前性能要高,所以在整體上就會提高很多。為了實現(xiàn)這個技術(shù)昆騰把很多的數(shù)據(jù)重新做了設計。

文件系統(tǒng)相關(guān)優(yōu)勢

高密度的元數(shù)據(jù)緩存在內(nèi)存中保留更多的元數(shù)據(jù)

改進的文件擴展跟蹤

文件擴展塊的跟蹤連續(xù)的范圍,屬于一個特定的文件

StorNext5.0性能優(yōu)勢

更具擴展性的分配映射跟蹤

更快的范圍查找

更快的目錄查找

文件創(chuàng)建一個托管FS,StorNext5.0比StorNext4.7快了4倍

文件刪除托管FS,5.0刪除速度相比比4.7快了大約3倍

StorNext5存儲的元數(shù)據(jù)和元數(shù)據(jù)的I / O操作將大大提高空間利用率

剛講了很多跟文件系統(tǒng)相關(guān)的技術(shù)細節(jié),除此之外在StorNext5.0里面還有那些新的技能跟技術(shù)呢?

1、SSD優(yōu)化

在Infiniband數(shù)據(jù)路徑運輸

LTFS磁帶歸檔

2、提高運營方面的STORNEXT產(chǎn)品的線

更快的故障恢復

在線備份元數(shù)據(jù)

DR之間文件系統(tǒng)可用

在線升級管理的文件系統(tǒng)

重新設計客戶端緩沖I / O

Lattus:萬年存儲不夸張

昆騰新推出的Lattus存儲技術(shù),Lattus這個產(chǎn)品或者這個技術(shù),目的就是為了保留海量的數(shù)據(jù)。同時也要降低整個管理和存儲成本。

Lattus作為一款“永久磁盤歸檔產(chǎn)品”,可擴展到數(shù)百PB級別,并將數(shù)據(jù)分散在多個站點之上,同時,Lattus提供自我修復和自我遷移能力,使用扁平的命名空間從而可以大規(guī)模擴展——基于HTTP REST+文件系統(tǒng)訪問的Lattus借助昆騰StorNext在大規(guī)模文件共享系統(tǒng)上,而作為對象存儲平臺,Lattus還建立起一種“閃存加對象存儲的架構(gòu),以閃存為主存儲,實現(xiàn)數(shù)據(jù)分析,長期數(shù)據(jù)保護使用Lattus對象存儲。”

Lattus的功能,首先是支持的海量數(shù)據(jù)量,原理上擴展能力是無限的。而且在地理分布上可以把整個系統(tǒng)分部到不同的位置。其次Lattus有自我治愈、自我遷移的功能,在一定程度上損失外盤、損失界面,數(shù)據(jù)仍然可以在線訪問。

最后Lattus使用這個技術(shù)要比原來RAID用的磁盤用的要少,耗電量、成本,占用機房空間都比較小,整個技術(shù)的成本也比RAID要低,Lattus第一個技術(shù)就是把直接把一個數(shù)據(jù)分割成塊分散存儲,管理員得到一個鑰匙,存到不同存儲節(jié)點、不同的磁盤上,通過不同的控制器把他存到不同的位置,在不同的位置存放很多的副本。

第二個是算法技術(shù),實現(xiàn)遠距離通訊的技術(shù)。“這個也是一個很成熟的技術(shù),技術(shù)本身也不是一個新技術(shù),他最早是用在太空技術(shù)上,他是一個通信技術(shù),最早在美國一個全球合作的項目,發(fā)射了旅行者號探測器,他可以探索太陽系里面任何一個行星。距離這么遠跟地球之間的通訊怎么辦,就是靠這樣的一個技術(shù)來做的。”Ivan講到。

大數(shù)據(jù)發(fā)展離不開Hadoop

Hadoop跟StorNext結(jié)合是順應大數(shù)據(jù)時代的,昆騰StorNext存儲技術(shù)通過Lattus的云存儲,實現(xiàn)Hadoop數(shù)據(jù)的獲取。未來新的版本昆騰希望Hadoop可以直接通過StorNext進行數(shù)據(jù)管理分析提取。


 
“我們現(xiàn)在看到這部分左邊是StorNext存儲技術(shù),右邊實際上是剛提到的Lattus的云存儲,StorNext跟Hadoop結(jié)合就是通過Hadoop,產(chǎn)生的在線運算,把長期不用不活躍的數(shù)據(jù)存到StorNext上面,StorNext通過他的智能運算把他遷移到Lattus云存儲上面。Hadoop需要拿Lattus上面數(shù)據(jù)的時候,需要通過StorNext API直接到云存儲上面去獲取。”Ivan 講到。

“將來昆騰的新版本Hadoop直接在StorNext上,可以直接存到StorNext的主存儲上或者是Lattus上面,讀取的時候也是直接讀取。”

最后,我們看到昆騰StorNext5.0升級了很多技術(shù),同時與Hadoop結(jié)合,其目的就是在不斷變革的企業(yè)級存儲市場保持強勁的發(fā)展力。面對大數(shù)據(jù)時代的到來,昆騰StorNext5.0以及其完整的解決方案能夠幫助用戶在大數(shù)據(jù)浪潮中閑庭信步。

 

分享到

renxinbo

相關(guān)推薦