以下內(nèi)容根據(jù)奧思數(shù)據(jù)解決方案總監(jiān)李鋒演講實(shí)錄整理:
各位下午好,我們是國(guó)內(nèi)一家專(zhuān)門(mén)做企業(yè)級(jí)對(duì)象存儲(chǔ)的公司,我們今天談安全的對(duì)象存儲(chǔ),一個(gè)是對(duì)象存儲(chǔ),一個(gè)是安全。第一部分講對(duì)象存儲(chǔ)的背景,第二部分講如何解決安全問(wèn)題。
新一代對(duì)象存儲(chǔ)的概念從AWS的S3開(kāi)始的,很多很多用戶有很多很多數(shù)據(jù),傳統(tǒng)的存儲(chǔ)技術(shù)都搞不定,只能用對(duì)象存儲(chǔ)解決,2006年、2007年概念出現(xiàn),之后才開(kāi)始慢慢向其他的運(yùn)營(yíng)商互聯(lián)網(wǎng)服務(wù)發(fā)展,接下來(lái)往企業(yè)滲透,這是對(duì)象存儲(chǔ)的大致過(guò)程。
我們說(shuō)對(duì)象存儲(chǔ)是一種典型的軟件定義存儲(chǔ),最基本說(shuō)法是用最基本的硬件構(gòu)成一個(gè)集群,各個(gè)廠家闡述都不一樣,從我這個(gè)角度來(lái)說(shuō)可能有兩個(gè)地方:
第一,我為什么要用軟件定義存儲(chǔ),有的說(shuō)便宜,這點(diǎn)我不是特別同意,首先軟件定義存儲(chǔ)不見(jiàn)得就比集中存儲(chǔ)便宜,這里面貴的部分是硬盤(pán),硬盤(pán)其實(shí)都是一樣的。
第二點(diǎn)就是軟件定義存儲(chǔ)的好處在于可以解除綁定,這點(diǎn)我非常不同意的,軟件定義存儲(chǔ)作為甲方用戶來(lái)說(shuō),我恨不得要綁定一個(gè)廠商,要給我們負(fù)責(zé)任,要給我們做服務(wù),不可能說(shuō)不找一個(gè)廠商,所以我覺(jué)得解除綁定也是個(gè)偽需求,這個(gè)并不是真正的它的價(jià)值所在。
那軟件定義存儲(chǔ)的價(jià)值在哪里。在于它能提供過(guò)去存儲(chǔ)功能做不到的,獲得新的價(jià)值。這里面我們就以對(duì)象存儲(chǔ)為例,我們來(lái)看它是怎么獲得新的功能,我們舉幾個(gè)場(chǎng)景:
第一個(gè)百度云盤(pán),百度云盤(pán)號(hào)稱有4億注冊(cè)用戶,它上面存的數(shù)據(jù)量巨大無(wú)比,很多人都把自己的照片、小視頻之類(lèi)的傳到上面,如此規(guī)模數(shù)據(jù)量,上傳下載量,存儲(chǔ)如何實(shí)現(xiàn),這是一個(gè)場(chǎng)景。有人說(shuō)這就是運(yùn)營(yíng)商的場(chǎng)景,不管是百度云盤(pán)還是阿里云也好,我企業(yè)里面用不到,不過(guò)我們有新發(fā)現(xiàn),比如說(shuō)銀行,銀行原來(lái)的數(shù)據(jù)量并不大,而現(xiàn)在的銀行大量出現(xiàn)影像系統(tǒng),開(kāi)戶照片,說(shuō)話錄音,所有的東西都要檔案電子化,這時(shí)候銀行的數(shù)據(jù)量就極具擴(kuò)展,而且文件數(shù)量是以億計(jì)的。再比如監(jiān)控,監(jiān)控系統(tǒng)現(xiàn)在搞人臉識(shí)別,實(shí)現(xiàn)方式各種各樣,有一種方式把監(jiān)控的每一秒的50幀變成50張照片然后搜索,這時(shí)候數(shù)據(jù)量急劇擴(kuò)展,所以,企業(yè)數(shù)據(jù)的數(shù)量,文件的數(shù)據(jù)還是數(shù)據(jù)空間的需求量,都是開(kāi)始極具的膨脹。這個(gè)時(shí)候面臨像百度云盤(pán)一樣的場(chǎng)景。
第二個(gè)場(chǎng)景,我們讀取文件的行為習(xí)慣已經(jīng)發(fā)生了改變,過(guò)去我們用復(fù)雜的結(jié)構(gòu),是為了隨機(jī)讀寫(xiě)文件的一部分來(lái)做的,而這個(gè)動(dòng)作我們?cè)谌氖昵岸x的,那個(gè)時(shí)候處理量非常小。而現(xiàn)在我們的做法呢,因?yàn)槲覀儸F(xiàn)在性能非常大,現(xiàn)在出了一張照片不可能取一部分,文檔也是這樣,視頻也是這樣,是以一個(gè)文件進(jìn)行上傳下載,這個(gè)動(dòng)作就變的非常簡(jiǎn)單,變成了普遍的要求。
第三個(gè),對(duì)象存儲(chǔ)是云原生的。對(duì)象存儲(chǔ)的一個(gè)最根本的概念,第一沒(méi)有目錄,目錄是文件系統(tǒng)的概念,對(duì)象存儲(chǔ)里面對(duì)應(yīng)的是容器。第二我存取直接用API實(shí)現(xiàn)。這時(shí)候解決了很多問(wèn)題,第一個(gè)問(wèn)題就是可以到擴(kuò)展到百PB級(jí),在奧思數(shù)據(jù)的OStorage對(duì)象存儲(chǔ)系統(tǒng)中,一個(gè)容器放十億個(gè)對(duì)象的性能只比放一個(gè)對(duì)象下降不到20%。另外一個(gè)問(wèn)題,HTTP沒(méi)有狀態(tài),可以不用事先建立連接,好處在于不管同時(shí)存取的人有多少,存完了我這個(gè)動(dòng)作就做完了,特別適合廣域連接,是很好的跨區(qū)域存儲(chǔ),國(guó)內(nèi)外都有提供對(duì)象存儲(chǔ)的運(yùn)營(yíng)商,其中也有我們的客戶,運(yùn)營(yíng)商會(huì)建立一個(gè)跨城市甚至全球的存儲(chǔ)系統(tǒng)。
講完了對(duì)象存儲(chǔ),再來(lái)看一下安全性的問(wèn)題。
在企業(yè)里,安全跟其他部門(mén)是分開(kāi)的,安全是個(gè)獨(dú)立部門(mén),是一個(gè)成本中心,因?yàn)榘踩@個(gè)東西做到多少才能夠,這是一個(gè)大問(wèn)號(hào)。第一安全這個(gè)事特別復(fù)雜,特別麻煩,操作系統(tǒng)是不是安全,網(wǎng)絡(luò)是不是安全,應(yīng)用的框架是不是安全,寫(xiě)的代碼是不是安全,一堆事。第二就是成本中心,需要花人力做很多事情,而且沒(méi)有產(chǎn)出,安全還特別貴。比如企業(yè)里等保的認(rèn)證要比ISO9000認(rèn)證貴好幾十倍。
我們做對(duì)象存儲(chǔ)的時(shí)候考慮安全問(wèn)題,解決分成兩個(gè)層面,第一個(gè)我們叫safety,對(duì)存儲(chǔ)來(lái)說(shuō)就是數(shù)據(jù)的可靠性和服務(wù)的可用性。第二個(gè)是security,安全性,包括你會(huì)不會(huì)受到攻擊,受到病毒的侵害。
安全方面有很多解決方案,不過(guò)已有的安全方案都是針對(duì)傳統(tǒng)架構(gòu),對(duì)象存儲(chǔ)要提供服務(wù)要用新安全辦法解決。針對(duì)數(shù)據(jù)的可靠性問(wèn)題,這有兩種方式,現(xiàn)有的存儲(chǔ)集群有兩種,一種是集群里面有控制節(jié)點(diǎn),奧思數(shù)據(jù)OStorage對(duì)象存儲(chǔ)選用的是全對(duì)等架構(gòu),這是為了達(dá)到最高的可靠性,壞掉任何一個(gè)節(jié)點(diǎn)都沒(méi)問(wèn)題。可靠性的問(wèn)題用全分布全對(duì)等的架構(gòu)解決。
第二,訪問(wèn)的安全性要解決這樣幾個(gè)問(wèn)題,比如說(shuō)加密,在傳輸過(guò)程中走加密通道,在落盤(pán)的時(shí)候用一個(gè)加密軟件,加密的系統(tǒng)可以按照用戶要求來(lái)?yè)Q的,不同的行業(yè),不同的重要性的數(shù)據(jù)用戶可以定義自己的加密模塊,奧思數(shù)據(jù)OStorage對(duì)象存儲(chǔ)在這里提供了插件機(jī)制,非常靈活。
病毒殺毒以前的做法是對(duì)一個(gè)文件進(jìn)行殺毒,文件進(jìn)來(lái)用殺毒軟件去檢查,寫(xiě)到盤(pán)上掃描硬盤(pán),對(duì)象存儲(chǔ)怎么殺毒呢?奧思數(shù)據(jù)的OStorage的對(duì)象存儲(chǔ)可以把殺病毒的引擎放在中間件里,一個(gè)文件在寫(xiě)到硬盤(pán)之前,沒(méi)落盤(pán)的時(shí)候進(jìn)行殺毒,殺毒之后再寫(xiě)到盤(pán)上去。另外,由于對(duì)象存儲(chǔ)存的不是文件,而是對(duì)象,對(duì)象把文件包裹起來(lái),沒(méi)有文件也沒(méi)有目錄,這叫做病毒免疫,即使這是一個(gè)病毒,但由于是被包裹起來(lái)了,病毒無(wú)法運(yùn)作,從而防止病毒大規(guī)模破壞。
視頻網(wǎng)站有版權(quán)管理的需求,用戶請(qǐng)求一個(gè)視頻,視頻的數(shù)據(jù)出去的時(shí)候,對(duì)視頻打一個(gè)不可見(jiàn)的水印,會(huì)把請(qǐng)求者信息留下,如果視頻被下載了又傳給別人了,是可以被檢測(cè)到的,這是一個(gè)非常典型的版權(quán)保護(hù)方式,這在奧思數(shù)據(jù)OStorage對(duì)象存儲(chǔ)里面非常容易實(shí)現(xiàn),因?yàn)榭梢赃x用插件對(duì)用戶讀取的數(shù)據(jù)進(jìn)行后處理。
最后分享一個(gè)銀行的場(chǎng)景,銀行里把大量的非結(jié)構(gòu)化的數(shù)據(jù)放到兩地三中心,或者三地六中心,數(shù)據(jù)可以在A地寫(xiě)入讀出來(lái),也可以在B地寫(xiě)入讀出來(lái),但在系統(tǒng)里面都是同步的,就是說(shuō)在內(nèi)部實(shí)現(xiàn)一致性,而且是跨區(qū)域的,完全不用任何其他軟件就能實(shí)現(xiàn)銀行的兩地三中心,或者四中心,甚至五中心。
我今天就講這么多,有問(wèn)題的話我們接下來(lái)討論,謝謝。