大數(shù)據(jù):媒體文件存儲(chǔ)的六大建議
王振 發(fā)表于:13年07月04日 16:45 [編譯] DOIT.com.cn
大數(shù)據(jù)在今年可算是一個(gè)熱門(mén)話題,但是對(duì)于廣播行業(yè)而言,這只不過(guò)是老生長(zhǎng)談罷了。該行業(yè)在如何存儲(chǔ)大量的媒體文件方面已經(jīng)探索了好多年了。
CDW公司的企業(yè)存儲(chǔ)專(zhuān)家穆薩·瑪塔瑞耶說(shuō):“廣播數(shù)據(jù)可算是真正的原始大數(shù)據(jù),它們數(shù)量巨大,往往要占用大量的存儲(chǔ)空間。”
如今,IT行業(yè)的每樣?xùn)|西都發(fā)生了變化。實(shí)際上,廣播公司們需要像BBC更換《神秘博士》的演員那樣頻繁地改變自己的存儲(chǔ)系統(tǒng),而促進(jìn)這一變化的,應(yīng)該就是點(diǎn)播視頻的發(fā)展。
瑪塔瑞耶說(shuō):“你上網(wǎng)然后重新點(diǎn)播觀看午間新聞,就這個(gè)動(dòng)作對(duì)架構(gòu)的性能要求很高,對(duì)數(shù)據(jù)的訪問(wèn)要求也很高。這就要求企業(yè)要加固背后的可橫向擴(kuò)展架構(gòu)。”
下面就介紹幾個(gè)小建議來(lái)幫助你優(yōu)化媒體文件的存儲(chǔ)。
1.確定使用場(chǎng)景
大數(shù)據(jù)對(duì)數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析都有要求。
NetApp產(chǎn)品及媒體娛樂(lè)解決方案部門(mén)的杰森·丹尼爾森說(shuō):“大數(shù)據(jù)對(duì)容量的要求是廣播公司這么多年來(lái)一直努力解決的問(wèn)題,但是在對(duì)大量消費(fèi)者信息數(shù)據(jù)庫(kù)分析這個(gè)問(wèn)題上,大部分廣播公司還未起步。”
不過(guò),一些廣播公司已經(jīng)開(kāi)始發(fā)力于大數(shù)據(jù)分析,比如說(shuō)放棄進(jìn)行用戶(hù)調(diào)查而是選擇分析Twitter數(shù)據(jù)來(lái)更快速地獲得某項(xiàng)活動(dòng)對(duì)用戶(hù)影響的反饋。從存儲(chǔ)的角度來(lái)看,大數(shù)據(jù)分析和媒體存儲(chǔ)最主要的不同是大數(shù)據(jù)分析需要低延遲訪問(wèn)大量的小文件,而媒體存儲(chǔ)則要不間斷地訪問(wèn)數(shù)量相對(duì)較少的文件。
2. 將閃存用于流媒體
在建立文件系統(tǒng)時(shí),把元數(shù)據(jù)和縮略圖放在第一層存儲(chǔ)中,這里最好選擇固態(tài)硬盤(pán)或閃存,它們更適合于長(zhǎng)文件,無(wú)論文件是低分辨率還是高解析度,它們都能輕松應(yīng)對(duì)。另外還包括4k的視頻——把它們放在更低層的存儲(chǔ)層中。這樣不僅適用于數(shù)據(jù)編輯,還適用于緩沖流媒體的點(diǎn)播。
StorageIO公司的高級(jí)顧問(wèn)格爾茲·舒庫(kù)茨說(shuō):“視頻的縮略圖和開(kāi)頭部分可以在線存儲(chǔ)在固態(tài)硬盤(pán)中用來(lái)實(shí)現(xiàn)快速訪問(wèn),后端的硬盤(pán)或磁帶則用來(lái)支持后續(xù)訪問(wèn)(比如說(shuō)減少一個(gè)視頻下載或緩沖的等待時(shí)間)。”
3.根據(jù)使用環(huán)境選擇正確的存儲(chǔ)
應(yīng)用對(duì)存儲(chǔ)系統(tǒng)的需求是不同的。
瑪塔瑞耶說(shuō):”對(duì)于廣播媒體公司來(lái)說(shuō),最好的解決方案要取決于使用環(huán)境。如果我們討論一些我們?cè)诿襟w中經(jīng)常見(jiàn)到的應(yīng)用,其中有許多應(yīng)用自出現(xiàn)的時(shí)候就要占用存儲(chǔ)空間,不僅要在本地占用,還要跨過(guò)多個(gè)媒體通過(guò)光纖通道接口來(lái)實(shí)現(xiàn)大量數(shù)據(jù)轉(zhuǎn)移。對(duì)于這種情況,許多應(yīng)用程序都會(huì)有一個(gè)預(yù)先核實(shí)的它們支持的產(chǎn)品的生產(chǎn)商名單。“
他說(shuō)自從考慮并選擇了針對(duì)單組數(shù)據(jù)的存儲(chǔ)系統(tǒng)之后,系統(tǒng)吞吐量和容量都增加了,支持更多的人同時(shí)下載或訪問(wèn)同一首歌曲或同一個(gè)視頻,無(wú)論是實(shí)況轉(zhuǎn)播還是在線流媒體,系統(tǒng)處理起來(lái)都游刃有余,系統(tǒng)架構(gòu)也非常適合流媒體。
瑪塔瑞耶說(shuō):“這個(gè)系統(tǒng)的另一個(gè)優(yōu)勢(shì)是它們可以協(xié)同工作,多個(gè)應(yīng)用程序和用戶(hù)可以通過(guò)簡(jiǎn)單的NFS訪問(wèn)這個(gè)系統(tǒng),這就允許一個(gè)媒體文件可以在一個(gè)單一的平臺(tái)上被下載,編輯,或以流媒體的形式播放。”
4.保留磁帶
磁盤(pán)在許多領(lǐng)域都在代替磁帶,但是磁帶仍然在廣播行業(yè)中起到重要作用,一個(gè)單一的視頻文件就可以占若干TB的空間,利用磁帶可以建立活動(dòng)歸檔。但是,如果你不想把那些幾乎再也用不著的視頻文件移到線下,你就可以利用磁帶庫(kù),把它們建成活動(dòng)歸檔,在需要的時(shí)候把它們恢復(fù)到硬盤(pán)上。
Spectra Logic公司的業(yè)務(wù)發(fā)展及合作高級(jí)副總裁侯賽因·茲沙科瑞說(shuō):“大數(shù)據(jù)環(huán)境中最流行的戰(zhàn)略是建立一個(gè)活動(dòng)歸檔存儲(chǔ)模式。活動(dòng)歸檔價(jià)格低廉,是一個(gè)可以在線完成的解決方案。通過(guò)把文件系統(tǒng)擴(kuò)展到磁帶上,可以訪問(wèn),存儲(chǔ)所有被創(chuàng)建的數(shù)據(jù)。一個(gè)活動(dòng)歸檔包括生產(chǎn)數(shù)據(jù),不管它們多老,被訪問(wèn)的頻率多么頻繁,它們?nèi)匀豢梢员辉诰恢復(fù)。”
5.不要進(jìn)行重復(fù)數(shù)據(jù)刪除
對(duì)于某些種類(lèi)的文件而言,數(shù)據(jù)去重和壓縮有很大的優(yōu)勢(shì),但是對(duì)于媒體存儲(chǔ)來(lái)說(shuō),它們的幫助卻不大。首先,許多文件一開(kāi)始就已經(jīng)是壓縮格式了,比如MP3,MP4或WAV,再壓縮就會(huì)降低質(zhì)量了。
舒庫(kù)茨說(shuō):“在媒體領(lǐng)域,不用考慮去重類(lèi)型功能,也不用在乎那些可在性能(帶寬),空間容量,可靠性,持久性以及管理方式等方面擴(kuò)展的的存儲(chǔ)方式。對(duì)于元數(shù)據(jù),可編輯或訪問(wèn)頻繁的熱數(shù)據(jù)就適合存儲(chǔ)于固態(tài)硬盤(pán)中,而高性能,低消耗的SAS及SATA硬盤(pán),還有支持LTO,LTFS的磁帶也可以滿(mǎn)足數(shù)據(jù)對(duì)帶寬和存儲(chǔ)空間的要求。”
但處理非媒體數(shù)據(jù)應(yīng)采用有更高IOPS的固態(tài)硬盤(pán),而不是大容量的SAS或SATA硬盤(pán)。
6.要想到分析
EMC Isilon產(chǎn)品管理和市場(chǎng)部門(mén)副總裁山姆·克羅克特說(shuō):“當(dāng)提到媒體存儲(chǔ)時(shí),大數(shù)據(jù)就是一個(gè)非常適用的術(shù)語(yǔ)。一些單一的文件很容易就達(dá)到了TB級(jí),而每個(gè)電影都需要轉(zhuǎn)換為大概16種不同的格式以便在全世界范圍內(nèi)傳播,并應(yīng)用到多個(gè)平臺(tái),媒體行業(yè)數(shù)據(jù)的增長(zhǎng)要比其它行業(yè)多得多。”
但是廣播行業(yè)需要對(duì)大數(shù)據(jù)進(jìn)行分析,確保得到它們想要的回報(bào)。簡(jiǎn)言之就是,觀眾們?cè)邳c(diǎn)他們的鼠標(biāo)時(shí)有上千萬(wàn)種娛樂(lè)選擇,通過(guò)大數(shù)據(jù)分析,企業(yè)要知道他們要提供給觀眾的是什么?
克羅克特說(shuō):“對(duì)于廣播公司來(lái)說(shuō),最重要的是它們?nèi)绾尾拍馨阉鼈兊馁Y產(chǎn)轉(zhuǎn)化成貨幣。為了達(dá)到這一目的,廣播公司們不僅要最大化觀眾的數(shù)量,還要從成千上萬(wàn)的觀眾們看到它們的資產(chǎn)。”
公司簡(jiǎn)介 | 媒體優(yōu)勢(shì) | 廣告服務(wù) | 客戶(hù)寄語(yǔ) | DOIT歷程 | 誠(chéng)聘英才 | 聯(lián)系我們 | 會(huì)員注冊(cè) | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.