2013年10月17日存儲(chǔ)在線、ZDNet企業(yè)解決方案中心聯(lián)合發(fā)布：基于閃存(Flash)技術(shù)的固態(tài)盤(SSD)成為存儲(chǔ)市場(chǎng)上的熱點(diǎn)話題已有時(shí)日，但在中國(guó)的傳統(tǒng)企業(yè)用戶中，也要面對(duì)“叫好不叫座”的尷尬。原因當(dāng)然有很多，其中最重要的一條，還是同樣容量下，比硬盤高得多的價(jià)格。加之中國(guó)的傳統(tǒng)企業(yè)用戶通常比較“羞澀”，所以我們看到出來(lái)分享固態(tài)盤使用心得的多是互聯(lián)網(wǎng)企業(yè)，較大型的傳統(tǒng)企業(yè)都少見(jiàn)。

在一個(gè)偶然的機(jī)會(huì)，ZDNet企業(yè)解決方案中心首席分析師張廣彬(新浪微博@狒哥)和DOIT傳媒副總編彭彥明(新浪微博@阿明1977)結(jié)識(shí)了中國(guó)鐵道出版社的劉波。在我們的印象中，還沒(méi)做好把相對(duì)高端的PCI Express固態(tài)盤(PCIe閃存卡)與鐵道出版社這樣的企業(yè)聯(lián)系起來(lái)的思想準(zhǔn)備——恕我們無(wú)知，主要還是對(duì)固態(tài)盤在中國(guó)傳統(tǒng)企業(yè)用戶中的接受程度不敢樂(lè)觀。因此，當(dāng)我們得知?jiǎng)⒉ㄒ呀?jīng)用生產(chǎn)環(huán)境中的設(shè)備體驗(yàn)了PCIe閃存卡相對(duì)老式磁盤陣列的巨大性能提升時(shí)，不由得產(chǎn)生了巨大的興趣。

以下是劉波的分享文章，紅色字體的段落是編者的注解……一定要結(jié)合起來(lái)看喲!

本文通過(guò)對(duì)MEMBlaze Q520H型PCIe接口固態(tài)硬盤與EMC CX3-20型SAN傳統(tǒng)磁盤存儲(chǔ)陣列進(jìn)行的對(duì)比測(cè)試，提出了使用PCIe接口固態(tài)硬盤作為存儲(chǔ)介質(zhì)，提高SQLServer數(shù)據(jù)庫(kù)性能的一種技術(shù)途徑。

MEMBlaze Q520H型PCIe接口固態(tài)硬盤

EMC CLARiiON CX3-20存儲(chǔ)陣列

編者注：Q520H是國(guó)內(nèi)初創(chuàng)企業(yè)MemBalze公司的上一代產(chǎn)品，而CX3-20又要早上個(gè)四五年。在三年恨不得當(dāng)三十年過(guò)的IT行業(yè)，相差四五年之間的產(chǎn)品比拼，快趕上“關(guān)公戰(zhàn)秦瓊”了……不過(guò)，這種情況在用戶考慮系統(tǒng)升級(jí)方案的時(shí)候，卻是很有可能出現(xiàn)的。這種不同產(chǎn)品品類之間“非對(duì)稱”對(duì)比的另一前提在于，用戶只想要更高的單機(jī)數(shù)據(jù)庫(kù)性能——如果離不開共享存儲(chǔ)和基于SAN的高級(jí)軟件功能，全閃存陣列或混合陣列更為合適。

一、 測(cè)試設(shè)備

在一臺(tái)服務(wù)器中同時(shí)架設(shè)Q520H型PCIe接口固態(tài)硬盤與EMC CX3-20型SAN傳統(tǒng)磁盤存儲(chǔ)陣列，分別對(duì)存儲(chǔ)設(shè)備的指標(biāo)進(jìn)行測(cè)試。其中，

1. 服務(wù)器型號(hào)為：DELL R900;

2. 服務(wù)器配置：Intel Xeon E7320 4顆CPU，主頻2.13GHz;內(nèi)存64GB，4個(gè)PCIe x8接口;

3. 固態(tài)硬盤加速卡型號(hào)：MEMBlaze Q520H型PCIe接口固態(tài)硬盤，插入PCIe x8接口;

4. 存儲(chǔ)陣列型號(hào)：5塊光纖接口硬盤RAID 5模式構(gòu)成的4Gb 光纖通道EMC CX3-20存儲(chǔ)陣列;

5. 配置軟件：Windows 2008 Server 64位操作系統(tǒng)、SQL Server 2008 64位數(shù)據(jù)庫(kù)

編者注：正如作者所言，包括服務(wù)器、存儲(chǔ)陣列、操作系統(tǒng)和數(shù)據(jù)庫(kù)軟件在內(nèi)的整個(gè)現(xiàn)有方案，部署于2008年�；叵肽菚r(shí)尚可擔(dān)綱主力的R900，提供的還是PCI Express 1.1插槽，而去年基于至強(qiáng)E5平臺(tái)的服務(wù)器就已達(dá)到PCI Express 3.0，短短四年間換了兩代，真有恍如隔世之感……

如此的老平臺(tái)對(duì)Q520倒不是大問(wèn)題，因其使用的是PCI Express 1.1 x8接口，與服務(wù)器正好匹配，單向帶寬2GB/s。

真正老態(tài)盡顯的是CX3-20。作為EMC在2006年推出的CLARiiON CX3中端存儲(chǔ)家族的一員，CX3-20最多支持120個(gè)FC硬盤，4-12個(gè)4Gb/s FC主機(jī)端口，但4Gb/s FC磁盤端口只有2個(gè)，因而磁盤帶寬不會(huì)超過(guò)800MB/s。

那么，這是一場(chǎng)注定不公平的對(duì)決么?


PCIe閃存卡開路先鋒Fusion-io早期的案例：對(duì)那些使用SAN，只為獲得大量硬盤堆疊IOPS的用戶來(lái)說(shuō)，以PCIe閃存卡替代，是非常好的選擇。

二、 測(cè)試方法

使用CrystalDiskMark3_64位軟件，分別測(cè)試連續(xù)讀寫、隨機(jī)讀寫，2種模式下的傳輸率，測(cè)試5次，取平均值，并推算出IOPS，另選擇了HD_Tune_Pro測(cè)試軟件進(jìn)行參考對(duì)比，以排除測(cè)試軟件誤差。同時(shí)進(jìn)行了SQL Server2008數(shù)據(jù)庫(kù)實(shí)際使用測(cè)試。

為排除操作系統(tǒng)緩存的干擾，測(cè)試中關(guān)閉了操作系統(tǒng)的寫緩存功能。

編者注：這個(gè)測(cè)試最有爭(zhēng)議的部分來(lái)了，那就是測(cè)試軟件的選擇。CrystalDiskMark和HD Tune Pro都是用來(lái)測(cè)消費(fèi)類設(shè)備如SSD的，怎么能測(cè)這些企業(yè)級(jí)存儲(chǔ)產(chǎn)品呢?

這一點(diǎn)我原則上同意，但不贊成持全盤否定的態(tài)度。這里先從技術(shù)上不太“嚴(yán)謹(jǐn)”的探討一下，文尾再說(shuō)說(shuō)我的看法，也是刊出本文的價(jià)值所在。

一方面，從原理上，存儲(chǔ)產(chǎn)品的測(cè)試，企業(yè)級(jí)產(chǎn)品和消費(fèi)類產(chǎn)品、系統(tǒng)級(jí)產(chǎn)品(如磁盤陣列)與部件級(jí)產(chǎn)品(如硬盤)，沒(méi)有本質(zhì)的區(qū)別。譬如說(shuō)，IOmeter測(cè)試消費(fèi)類產(chǎn)品和企業(yè)級(jí)產(chǎn)品，都是可以信賴的;存儲(chǔ)性能委員會(huì)(Storage Performance Council，SPC)在存儲(chǔ)系統(tǒng)級(jí)Benchmark規(guī)范SPC-1/2的基礎(chǔ)上，開發(fā)出了面向存儲(chǔ)部件(磁盤、SSD、HBA/RAID卡等)的SPC-1C/2C;

另一方面，CrystalDiskMark、HD Tune Pro畢竟不是IOmeter，它們可以說(shuō)是專門為消費(fèi)類產(chǎn)品設(shè)計(jì)的，沒(méi)有考慮到外部存儲(chǔ)系統(tǒng)的一些特性。以我個(gè)人以前使用同類軟件的經(jīng)驗(yàn)來(lái)看，它們對(duì)內(nèi)置存儲(chǔ)和簡(jiǎn)單的直連存儲(chǔ)設(shè)備(包括PCIe閃存卡和USB存儲(chǔ))測(cè)試的結(jié)果一致性比較好，但對(duì)外部存儲(chǔ)系統(tǒng)的測(cè)試結(jié)果則往往難以解釋;

更不要說(shuō)企業(yè)級(jí)產(chǎn)品都要測(cè)持續(xù)性能，SSD還包括抖動(dòng)、延時(shí)、損耗……的考察，這些也不是相對(duì)簡(jiǎn)單的消費(fèi)級(jí)測(cè)試軟件可以承擔(dān)的。

那么，這不是對(duì)老存儲(chǔ)系統(tǒng)更不公平了么?莫急，我們可以對(duì)看來(lái)不太可信的測(cè)試結(jié)果進(jìn)行強(qiáng)力“補(bǔ)償”，重點(diǎn)仍然在于最后解釋用戶這么做的合情性……so請(qǐng)性急的看客耐著性子往下看……

三、 測(cè)試結(jié)果

1.CrystalDiskMark3_64位軟件測(cè)試結(jié)果

2.HD_Tune_Pro軟件測(cè)試結(jié)果

3.SQL Server數(shù)據(jù)庫(kù)備份還原測(cè)試

編者注：正如上一段點(diǎn)評(píng)所指出的，CrystalDiskMark和HD Tune Pro測(cè)試PCIe閃存卡的成績(jī)還算靠譜。以CrystalDiskMark來(lái)說(shuō)，Q520H順序讀(1147MB/s)超過(guò)了接口理論帶寬(2GB/s)的一半，而CX3-20就有點(diǎn)過(guò)低了。雖然只配5個(gè)FC盤，但即使配滿了120個(gè)硬盤，實(shí)際帶寬也超不過(guò)800MB/s。這還是兩個(gè)4Gb/s FC磁盤端口全用上的情況，如果只用一個(gè)，那CX3-20的帶寬連400MB/s都到不了。

這也不能怪CX3-20，因?yàn)閭鹘y(tǒng)磁盤陣列堆那么多硬盤，不是為了湊順序訪問(wèn)帶寬，而是拼隨機(jī)訪問(wèn)的IOPS(I/O per second，每秒I/O操作數(shù))。EMC曾經(jīng)給出過(guò)15000RPM(15K RPM)硬盤在CLARiiON這樣的中端存儲(chǔ)系統(tǒng)中隨機(jī)訪問(wèn)性能的經(jīng)驗(yàn)值——大約200IOPS。照這樣算的話，5個(gè)盤的讀IOPS可以有1000，兩款軟件的隨機(jī)測(cè)試成績(jī)有點(diǎn)過(guò)低了。但即使按1000算，比Q520H也還差很多。

EMC官方發(fā)布的CLARiiON CX3應(yīng)用性能，注意CX3-20滿配的OLTP性能，單位是TPM，即每分鐘交易數(shù)，折合成每秒I/O的話……

第三項(xiàng)是真實(shí)應(yīng)用中的測(cè)試，SQL Server備份的速度比EMC官方發(fā)布的CLARiiON CX3應(yīng)用性能指標(biāo)要低不少。一則官方數(shù)據(jù)中的CX3-20是滿配，硬盤數(shù)24倍于本文配置;二則看起來(lái)劉波的測(cè)試中備份源與目標(biāo)都是同一設(shè)備(Q520H或CX3-20)，既讀又寫，備份速度肯定大打折扣。

解釋的差不多了，看結(jié)論……

四、 數(shù)據(jù)分析

1. 連續(xù)傳輸率比較

讀比率：PCIe固態(tài)盤/RAID5光纖盤=1147/205.9= 5.57

寫比率：PCIe固態(tài)盤/RAID5光纖盤=647.3/224= 2.89

結(jié) 論：PCIe固態(tài)盤比RAID5光纖盤連續(xù)存取傳輸率有大幅提升。

2. 隨機(jī)讀寫傳輸率比較

(1)512KB測(cè)試塊：

讀比率：PCIe固態(tài)盤/RAID5光纖盤=952.9/55.01= 17.32

寫比率：PCIe固態(tài)盤/RAID5光纖盤=644.4/96.99= 6.64

(2)4KB測(cè)試塊：

讀比率：PCIe固態(tài)盤/RAID5光纖盤=25.67/0.951= 26.99

寫比率：PCIe固態(tài)盤/RAID5光纖盤=83.97/12.71= 6.61

結(jié) 論：PCIe固態(tài)盤比RAID5光纖盤的隨機(jī)存取傳輸率有大幅提升，與連續(xù)存取傳輸率的提升比較，性能指標(biāo)提升的幅度更大，最高達(dá)26.99倍。

3.連續(xù)讀寫與隨機(jī)讀寫的差異比較

(1)PCIe固態(tài)盤差異：

連續(xù)傳輸率對(duì)比512K隨機(jī)傳輸率：

讀比率：1147/952.9=1.20

寫比率：647.3/644.4=1.00

連續(xù)傳輸率對(duì)比4K隨機(jī)傳輸率：

讀比率：1147/25.67=44.68

寫比率：647.3/83.97=7.71

(2)RAID5光纖盤差異：

連續(xù)傳輸率對(duì)比512K隨機(jī)傳輸率：

讀比率：205.9/55.01=3.74

寫比率：224/96.9=2.31

連續(xù)傳輸率對(duì)比4K隨機(jī)傳輸率：

讀比率：205.9/0.951=216.51

寫比率：224/12.71=17.62

結(jié) 論：無(wú)論是對(duì)讀操作還是寫操作，對(duì)于連續(xù)傳輸傳輸率與隨機(jī)存取傳輸率的性能差異，PCIe固態(tài)盤都比RAID5光纖盤的性能落差都有所收窄，并且這種性能落差的收窄幅度是與數(shù)據(jù)塊大小成負(fù)相關(guān)。即數(shù)據(jù)塊越小，相對(duì)于RAID5光纖盤而言，PCIe固態(tài)盤的性能提升越明顯。對(duì)于4K數(shù)據(jù)塊讀操作，性能提升最高達(dá)到4.85倍。

編者注：雖然在測(cè)試軟件的選擇和部分測(cè)試結(jié)果上存在著不同程度的爭(zhēng)議，Q520H與CX3-20在性能上的差距可能被拉大了一些，但上述分析結(jié)果的方向還是正確的，符合SSD隨機(jī)訪問(wèn)能力優(yōu)異，硬盤適合順序讀寫的認(rèn)知。所以，隨機(jī)訪問(wèn)的數(shù)據(jù)塊越小，SSD優(yōu)勢(shì)越明顯;數(shù)據(jù)塊越大，硬盤的落后幅度就會(huì)小一些。

換句話說(shuō)，劉波用不規(guī)范的測(cè)試手段，得到了總體正確的結(jié)論。那么，這對(duì)我們有何啟發(fā)?

五、總 結(jié)

連續(xù)傳輸率和隨機(jī)傳輸率是衡量存儲(chǔ)系統(tǒng)的重要指標(biāo)，這2個(gè)指標(biāo)的提高對(duì)于提升數(shù)據(jù)庫(kù)的訪問(wèn)性能具有直接作用。從以上測(cè)試結(jié)果說(shuō)明：

1. PCIe固態(tài)硬盤在這2個(gè)指標(biāo)上都比SAN光纖傳統(tǒng)硬盤有大幅度提高，并且各指標(biāo)表現(xiàn)更加均衡。

2. 相對(duì)傳統(tǒng)機(jī)械硬盤存儲(chǔ)而言，小數(shù)據(jù)塊隨機(jī)傳輸率的提升尤為顯著。小數(shù)據(jù)塊隨機(jī)傳輸率的提升會(huì)提高存儲(chǔ)設(shè)備的IOPS指標(biāo)。而IOPS是任何以數(shù)據(jù)庫(kù)為支撐的信息系統(tǒng)最為關(guān)心的指標(biāo)之一。對(duì)于傳統(tǒng)機(jī)械硬盤，這個(gè)指標(biāo)難以大幅度提高的，即時(shí)有所提高，代價(jià)也相對(duì)昂貴。通過(guò)發(fā)揮PCIe固態(tài)盤存儲(chǔ)介質(zhì)的優(yōu)勢(shì)，會(huì)直接提高數(shù)據(jù)庫(kù)的事物處理能力，對(duì)于提高OTLP類應(yīng)用的并發(fā)處理能力，是高效而低成本的性能提升手段。

3. 對(duì)于固態(tài)硬盤而言，由于隨機(jī)傳輸率的性能與連續(xù)傳輸率的性能呈正相關(guān)，并且連續(xù)傳輸率與隨機(jī)傳輸率的性能落差已大為縮小，因此連續(xù)傳輸率將成為反映固態(tài)硬盤性能的主要代表指標(biāo)之一，而連續(xù)傳輸率指標(biāo)將是由固態(tài)硬盤的內(nèi)部結(jié)構(gòu)及接口速率決定，因此考察固態(tài)硬盤的性能可以重點(diǎn)觀察固態(tài)硬盤的接口速率及讀寫延遲指標(biāo)。

4. 測(cè)試還證明，吞吐量的提升將會(huì)縮短數(shù)據(jù)庫(kù)備份還原時(shí)間，這會(huì)壓縮系統(tǒng)維護(hù)時(shí)間窗口，提高系統(tǒng)在線服務(wù)能力。

編者注：對(duì)上述結(jié)論，我們首先有一些補(bǔ)充意見(jiàn)：

1. 隨機(jī)訪問(wèn)性能是基于半導(dǎo)體技術(shù)的閃存相對(duì)機(jī)械硬盤最大的優(yōu)勢(shì)所在，不要說(shuō)老舊的CX3-20，一塊優(yōu)秀的PCIe閃存卡，IOPS性能優(yōu)于配備了幾百個(gè)高轉(zhuǎn)速硬盤的傳統(tǒng)磁盤陣列(或曰全磁盤的存儲(chǔ)系統(tǒng))，早已不是天方夜譚;

2. 相對(duì)而言，硬盤的順序讀寫能力不算差。以前受限于SAS/SATA接口的帶寬限制，SSD的順序讀性能至多是硬盤的兩三倍，現(xiàn)在有了PCI Express 3.0的支持，一個(gè)PCIe閃存卡的順序讀性能可以十倍于硬盤。但是，大量的硬盤堆疊起來(lái)，只要存儲(chǔ)系統(tǒng)的帶寬足夠，是可以與SSD一爭(zhēng)高下的。加上硬盤在容量和成本上的優(yōu)勢(shì)，用磁盤存儲(chǔ)系統(tǒng)來(lái)做備份，還是更好的選擇。

這么說(shuō)來(lái)，劉波的測(cè)試不過(guò)是證明了已有結(jié)論的事實(shí)?那為什么還要做這“無(wú)用功”呢?

或許恰恰說(shuō)明了閃存產(chǎn)品在中國(guó)的傳統(tǒng)企業(yè)市場(chǎng)上接受度未如人意的原因。雖然在大小廠商的發(fā)布活動(dòng)上，動(dòng)輒可見(jiàn)SSD或閃存陣列I/O性能“10X”、“30X”乃至“100X”于磁盤或磁盤陣列的對(duì)比，可能也沒(méi)有夸大，但一則面向用戶宣傳的力度還不夠，二則用戶對(duì)廠商自說(shuō)自話的宣傳也心存疑慮。在缺乏可信的第三方測(cè)試數(shù)據(jù)支持的情況下，用戶自己測(cè)試是既負(fù)責(zé)又無(wú)奈的行為。

可能有人會(huì)說(shuō)了，用戶自己測(cè)試可以呀，多搞些實(shí)際應(yīng)用環(huán)境中的測(cè)試，不要這么“小兒科”嘛……可是，用戶的本職工作是服務(wù)好所在企業(yè)的應(yīng)用，沒(méi)有成為專職測(cè)試人員的義務(wù)，大多數(shù)人也沒(méi)有這條件，不信請(qǐng)看：

3. 本文中在SQL Server環(huán)境中進(jìn)行了測(cè)試，算比較貼近該用戶的應(yīng)用。不過(guò)，我們知道，要檢驗(yàn)存儲(chǔ)設(shè)備在SQL Server環(huán)境中的性能，主要考察的應(yīng)該是隨機(jī)訪問(wèn)(IOPS)，復(fù)制/恢復(fù)屬于次要場(chǎng)景。但是，像SQL Server這樣的商業(yè)數(shù)據(jù)庫(kù)，專門設(shè)計(jì)的測(cè)試軟件并不多，現(xiàn)屬戴爾的Toad for SQL Server在高級(jí)版本里提供了測(cè)試工具，一則需要購(gòu)買軟件許可，二則配置復(fù)雜，不能指望大多數(shù)企業(yè)用戶為了測(cè)試存儲(chǔ)的性能，下這么大的功夫在本分以外的工作上。針對(duì)Oracle數(shù)據(jù)庫(kù)的Orion是免費(fèi)的，但也需要相當(dāng)?shù)臏y(cè)試經(jīng)驗(yàn)才能使用。至于編個(gè)腳本進(jìn)行針對(duì)性的測(cè)試，就更是對(duì)用戶的苛求了。

這一點(diǎn)同樣可以解釋該用戶使用CrystalDiskMark和HD Tune Pro，而不是IOmeter來(lái)進(jìn)行Benchmark測(cè)試。作為一款相對(duì)專業(yè)的測(cè)試工具，IOmeter可以調(diào)整很多參數(shù)，定制測(cè)試模型，也意味著更難上手;CrystalDiskMark和HD Tune Pro則相反，測(cè)試模型雖不透明但貴在簡(jiǎn)單，出結(jié)果快且直觀，拿來(lái)就用很是方便。

這也引發(fā)了關(guān)于“實(shí)際用戶場(chǎng)景測(cè)試”的思考。“貼近用戶實(shí)際應(yīng)用的測(cè)試”一直是ZDNet企業(yè)解決方案中心的宗旨，而有時(shí)面對(duì)“在實(shí)際用戶環(huán)境中測(cè)試的結(jié)果”這類要求，則令我們頗感為難。須知用戶是不會(huì)貿(mào)然直接在生產(chǎn)環(huán)境中使用新產(chǎn)品的，據(jù)說(shuō)即使是百度這樣的互聯(lián)網(wǎng)用戶，其測(cè)試部門也拿不到生產(chǎn)部門的數(shù)據(jù)集和代碼，只能以盡量貼近的腳本來(lái)模擬。這一步通常屬于驗(yàn)證性的，因?yàn)橛脩麸@然不能對(duì)廠商的宣傳照單全收，特別是在大規(guī)模的采購(gòu)部署之前，一定要先對(duì)性能和兼容性等方面有個(gè)基本的把握。至于在用戶應(yīng)用環(huán)境中的實(shí)際表現(xiàn)如何，那就屬于應(yīng)用案例的范疇，雖然數(shù)據(jù)更準(zhǔn)確也更有“可信度”，卻不能強(qiáng)加到產(chǎn)品測(cè)試的環(huán)節(jié)啦。

在磁盤陣列的時(shí)代，不同廠商的同代產(chǎn)品之間，性能通常不會(huì)有數(shù)量級(jí)的差別，用戶可以將注意力集中在軟件功能和對(duì)應(yīng)用的支持上。閃存作為一種顛覆性技術(shù)，雖然聲勢(shì)日隆，畢竟用過(guò)的企業(yè)用戶還不算多(尤其在中國(guó))。沒(méi)接觸過(guò)的企業(yè)不能毫無(wú)保留的信任，是對(duì)自身負(fù)責(zé)的表現(xiàn)。在這種情況下，我們第三方測(cè)試機(jī)構(gòu)有義務(wù)幫助企業(yè)級(jí)閃存技術(shù)/產(chǎn)品的潛在用戶，在貼近自身應(yīng)用的場(chǎng)景中，檢驗(yàn)新產(chǎn)品新技術(shù)的實(shí)際效能。（實(shí)際測(cè)試者：中國(guó)鐵道出版社劉波，文中編輯點(diǎn)評(píng)：ZDNet企業(yè)解決方案中心首席分析師張廣彬。）

ZDNet企業(yè)解決方案中心聯(lián)合發(fā)布本文：《一個(gè)PCIe閃存卡測(cè)試引發(fā)的思考》