圖1 重復(fù)數(shù)據(jù)刪除效果示例
重復(fù)數(shù)據(jù)刪除技術(shù)按照部署位置可分為源端重復(fù)數(shù)據(jù)刪除和目標(biāo)端重復(fù)數(shù)據(jù)刪除。顧名思義，源端重復(fù)數(shù)據(jù)刪除就是先刪除重復(fù)數(shù)據(jù)，再將數(shù)據(jù)傳到備份設(shè)備；目標(biāo)端重復(fù)數(shù)據(jù)刪除是先將數(shù)據(jù)傳到備份設(shè)備，存儲時(shí)再刪除重復(fù)數(shù)據(jù)。按照檢查重復(fù)數(shù)據(jù)的算法不同，重復(fù)數(shù)據(jù)刪除可以分為對象（文件）級和塊級的重復(fù)數(shù)據(jù)刪除，對象級的重復(fù)數(shù)據(jù)刪除保證文件不重復(fù)；塊級重復(fù)數(shù)據(jù)刪除則將文件分成數(shù)據(jù)塊進(jìn)行比較，根據(jù)劃分?jǐn)?shù)據(jù)塊的不同方法，又可分為定長塊和變長塊的重復(fù)數(shù)據(jù)刪除技術(shù)。變長塊的方法可以"斤斤計(jì)較"地把每一個重復(fù)的字節(jié)都刪掉，重復(fù)刪除率最高；定長塊的技術(shù)只能大致地把相同的數(shù)據(jù)塊去掉，刪除率次之。
EMC能夠根據(jù)客戶的不同需求，提供三種重復(fù)數(shù)據(jù)刪除技術(shù)。一是對象級的重復(fù)數(shù)據(jù)刪除。在EMC Centera歸檔平臺中，因?yàn)橐獫M足法規(guī)遵從，EMC提供文件級（也叫對象級）的重復(fù)數(shù)據(jù)刪除，將一個文件視為一個對象，當(dāng)一個對象又被再次存儲時(shí)，它不會存兩份同樣的數(shù)據(jù)，只是返回一個指針，并提示這個數(shù)據(jù)已經(jīng)存在。但只有兩個文件一模一樣，它才會只存一次。如果文件哪怕有微小的變化，它就要存兩次。二是Avamar重復(fù)數(shù)據(jù)刪除技術(shù)，它是變長塊的源端重復(fù)數(shù)據(jù)刪除，刪除率達(dá)到300:1，500:1，甚至更高。三是EMC虛擬磁帶庫（EMC Disk Library，EDL）。EDL跟Avamar是一個互補(bǔ)，Avamar是在源端進(jìn)行重復(fù)數(shù)據(jù)刪除，EDL是在后端（目標(biāo)端）進(jìn)行重復(fù)數(shù)據(jù)刪除。
圖2 EMC Avamar工作原理
重復(fù)數(shù)據(jù)刪除可以給用戶帶來諸多好處。一是減少了存儲容量；二是避免了備份窗口不足的問題；三是可以通過廣域網(wǎng)異地備份，對分支機(jī)構(gòu)的備份可以集中管理；四是在VMware虛擬化環(huán)境中，（EMC Avamar在虛擬主機(jī)源端進(jìn)行重復(fù)數(shù)據(jù)刪除后）可以極大地減少備份程序?qū)ξ锢碇鳈C(jī)CPU和內(nèi)存資源的爭用。
從獨(dú)立的技術(shù)到集成的功能
作為全球信息管理解決方案的領(lǐng)導(dǎo)者，EMC很早就對重復(fù)數(shù)據(jù)刪除技術(shù)給予關(guān)注。2006年11月，EMC就收購當(dāng)時(shí)在重復(fù)數(shù)據(jù)刪除技術(shù)的領(lǐng)先廠商Avamar，比IBM收購Diligent早17個月。如今，重復(fù)數(shù)據(jù)刪除技術(shù)已經(jīng)成為EMC BuRA（備份恢復(fù)與歸檔）方案的基礎(chǔ)，EMC Avamar與VMware、EMC NetWorker、EMC Backup Advisor和EMC Celerra等產(chǎn)品集成。EMC磁盤庫集成了目標(biāo)端的重復(fù)數(shù)據(jù)刪除技術(shù)。EMC Centera歸檔平臺集成了對象級的重復(fù)數(shù)據(jù)刪除技術(shù)。
如果客戶需要廣域網(wǎng)環(huán)境下的遠(yuǎn)程備份，或者在VMware、大文件服務(wù)器以及其它受制于網(wǎng)絡(luò)瓶頸的環(huán)境下備份，EMC可以提供Avamar重復(fù)數(shù)據(jù)刪除技術(shù)，不僅可以減少后臺存儲，而且在源端就已經(jīng)把重復(fù)數(shù)據(jù)刪除了。客戶既可以部署EMC Avamar軟件，也可以購買軟件和硬件集成的EMC Avamar Data Store系統(tǒng)。
如果客戶對現(xiàn)有的備份軟件還滿意，在把數(shù)據(jù)傳到備份設(shè)備時(shí)也沒有遇到網(wǎng)絡(luò)瓶頸。EMC可以提供具有目標(biāo)端重復(fù)數(shù)據(jù)刪除技術(shù)的虛擬磁盤庫（DL3D），包括面向中型用戶的EMC DL3D 1500和EMC DL3D 3000，面向大型用戶的EMC DL3D 4000，容量從4TB到幾個PB。DL3D可以保證后臺磁盤存儲的優(yōu)化利用，同時(shí)讓客戶受益于災(zāi)難復(fù)制這樣的SAN技術(shù)。
重復(fù)數(shù)據(jù)刪除技術(shù)加上歸檔技術(shù)的應(yīng)用，讓數(shù)據(jù)量極大減少，讓備份到磁盤成為可行，讓數(shù)據(jù)的可用性、可管理性、安全性得到保障，數(shù)據(jù)的介質(zhì)更新和長期保存成為可能。EMC在這個領(lǐng)域先一步的行動，也讓它成為應(yīng)對信息爆炸增長的排頭先鋒，再次加強(qiáng)了它在產(chǎn)業(yè)界的領(lǐng)導(dǎo)者地位。
附：大禹治水的傳說
禹為鯀（音ｇǔｎ）之子，又名文命，字高密。相傳生于西羌（今甘肅、寧夏、內(nèi)蒙南部一帶），后隨父遷徙于崇（今河南登封附近），堯時(shí)被封為夏伯，故又稱夏禹或伯。
堯在位的時(shí)候，黃河流域發(fā)生了很大的水災(zāi)，莊稼被淹了，房子被毀了，老百姓只好往高處搬。堯召開部落聯(lián)盟會議，商量治水的問題。他征求四方部落首領(lǐng)的意見：派誰去治理洪水呢？首領(lǐng)們都推薦鯀。
堯?qū)︴叢淮笮湃?。首領(lǐng)們說："現(xiàn)在沒有比鯀更強(qiáng)的人才啦，你試一下吧！"堯才勉強(qiáng)同意。
鯀花了九年時(shí)間治水，沒有把洪水制服。因?yàn)樗欢盟畞硗裂?，造堤筑壩，結(jié)果洪水沖塌了堤壩，水災(zāi)反而鬧得更兇了。
舜接替堯當(dāng)部落聯(lián)盟首領(lǐng)以后，親自到治水的地方去考察。他發(fā)現(xiàn)鯀辦事不力，就把鯀殺了，又讓鯀的兒子禹去治水。
禹改變了他父親的做法，用開渠排水、疏通河道的辦法，把洪水引到大海中去。他和老百姓一起勞動，戴著箬帽，拿著鍬子，帶頭挖土、挑土，累得磨光了小腿上的毛。
經(jīng)過十三年的努力，終于把洪水引到大海里去，地面上又可以供人種莊稼了。
