新的免費(fèi)軟件工具,可在www.TestMyWorkload.com下載,允許跨平臺捕獲,實(shí)現(xiàn)真實(shí)世界存儲級工作負(fù)載的可視化測試。

真實(shí)世界的存儲工作負(fù)載是什么?真實(shí)世界的工作負(fù)載,從存儲SSD角度來看,是使用計(jì)算機(jī)系統(tǒng),數(shù)據(jù)中心網(wǎng)絡(luò)服務(wù)器,超融合服務(wù)器,獨(dú)立服務(wù)器,臺式機(jī)或筆記本電腦時(shí)出現(xiàn)的IO流的集合。 IO流部分是由你的軟件應(yīng)用程序,操作系統(tǒng)(OS),用戶操作,元數(shù)據(jù),日志活動,存儲分層策略,RAID配置以及硬件和軟件層抽象生成的。

SSD工作負(fù)載IO流是由不同數(shù)據(jù)傳輸大小(或塊大?。┖妥x/寫(R/W)混合的特定隨機(jī)(RND)或順序(SEQ)訪問組成。

工作負(fù)載IO流從用戶空間到存儲,遍歷硬件和軟件堆棧然后返回。IO流可以通過諸如虛擬化,分組化,數(shù)據(jù)簡化(壓縮和重復(fù)數(shù)據(jù)刪除),加密等多種活動在每個(gè)硬件和軟件層受到影響(變化)。此外,IO流可以被分解成更小的隨機(jī)或并發(fā)傳輸,并入更大的并行或異步IO或追加創(chuàng)建不同的數(shù)據(jù)傳輸大小。

典型的真實(shí)世界工作負(fù)載是由幾十,幾百甚至更多的IO流組成,IO活動通常由少量的IO流支配。例如,可能會出現(xiàn)幾百個(gè)獨(dú)立IO流,在那里只有六到八個(gè)流構(gòu)成IO活動總數(shù)的90%或更多。

我為什么要關(guān)心它?

SSD性能是不對稱的——SSD性能本身就不對稱(讀取速度更快,寫入速度更慢),性能高度依賴于SSD工作負(fù)載。

性能取決于SSD“看到”的工作負(fù)載——由于SSD的性能是不對稱的,因此了解SSD實(shí)際上所看到的工作負(fù)載是至關(guān)重要的。由于工作負(fù)載IO流在穿過硬件/軟件堆棧時(shí)發(fā)生了變化,那么盡可能靠近存儲捕獲工作負(fù)載非常重要。

你的應(yīng)用程序工作負(fù)載可能與供應(yīng)商的標(biāo)準(zhǔn)工作負(fù)載不同——你的SSD設(shè)計(jì)和優(yōu)化可能基于一系列供應(yīng)商選擇的訪問模式或與現(xiàn)實(shí)世界使用案例不符的工作負(fù)載。因此,如果你的SSD針對大型塊順序讀取流量進(jìn)行了優(yōu)化,那么如果你的工作負(fù)載實(shí)際是由小塊隨機(jī)寫入流量組成,那么它的性能就會很差。

每個(gè)人都可以從IO捕獲,分析和測試中獲益——幾乎所有人都能從了解他們的SSD工作負(fù)載中獲益。IO捕獲,分析和測試將吸引SSD制造商,設(shè)計(jì)師,vmware開發(fā)人員,故障分析工程師,營銷主管,增值經(jīng)銷商,系統(tǒng)集成商,IT專業(yè)人士,顧問,學(xué)者,研究人員,分析師,游戲玩家,發(fā)燒友充滿好奇心。

幾乎所有的客戶和企業(yè)應(yīng)用程序都可以從IO捕獲,分析和測試?yán)铽@益。許多應(yīng)用程序?qū)ⅹ?dú)特的或計(jì)算密集型的工作負(fù)載應(yīng)用于SSD,但我們不知道“凈SSD工作負(fù)載”是什么樣的。無論是使用案例或應(yīng)用程序,實(shí)際的IO捕獲可以幫助識別SSD工作負(fù)載,并有助于改進(jìn)SSD設(shè)計(jì)和優(yōu)化。

綜合基準(zhǔn)??測試與真實(shí)世界的工作負(fù)載有何區(qū)別?

合成基準(zhǔn)測試通常使用“四角壓力測試”,由特定的一組訪問模式和塊大小/讀/寫(BS/RW)混合組成的。此外,這些工作負(fù)載通常應(yīng)用在一個(gè)或多個(gè)IO流中。

SSD的設(shè)計(jì)和測試采用極端基準(zhǔn)測試,或由較少的用戶應(yīng)用程序工作負(fù)載的粗略估算的IO流和base 2整數(shù)塊大?。ㄈ?K,8K,16K,32K等)。

請參見圖2,顯示單個(gè)SSD上的四角環(huán)境工作負(fù)載。真實(shí)世界的工作負(fù)載是眾多復(fù)雜的IO流配置,代表了在多個(gè)硬件平臺和操作系統(tǒng)上運(yùn)行的一組幾乎無限的用戶工作負(fù)載。

由于真實(shí)世界的工作負(fù)載與用于制造和優(yōu)化SSD的工作負(fù)載不同,供應(yīng)商或制造商的性能指標(biāo)可能與SSD的實(shí)際工作負(fù)載和性能無關(guān)。

什么是IO捕獲?

IO捕獲是指你的計(jì)算機(jī)上發(fā)生的IO流活動的收集和統(tǒng)計(jì)表。IO捕獲與IO跟蹤和回放不同,因?yàn)樗鼪]有從目標(biāo)計(jì)算機(jī)收集數(shù)據(jù)。IO捕獲僅識別并計(jì)數(shù)訪問存儲的IO數(shù),并收集各種有意義的指標(biāo)信息。

IO流被列為各種數(shù)據(jù)傳輸大小和R/W混合的隨機(jī)或順序訪問。指標(biāo)收集是針對IOPS速率,吞吐量(MB/S),隊(duì)列深度和響應(yīng)時(shí)間,并且根據(jù)軟件工具,可以收集更多高級指標(biāo),例如LBA(邏輯塊尋址),重復(fù)數(shù)據(jù)刪除率和壓縮比(有關(guān)IO捕獲指標(biāo)的更多討論,請參見下文)。

IO追蹤和重放是指寫入存儲器的二進(jìn)制數(shù)據(jù)實(shí)際記錄,包括閑置時(shí)間,未來可在不同的設(shè)備上重播。IO追蹤收集了大量的數(shù)據(jù)。

這限制了測試周期的實(shí)際長度,并將需求強(qiáng)度限制為源捕獲的強(qiáng)度。大型追蹤文件也讓管理(收集和回放)已創(chuàng)建的超大數(shù)據(jù)文件變得困難。

如何捕捉真實(shí)世界的工作負(fù)載?

公有和私有工具幫助你捕獲真實(shí)世界的工作負(fù)載IO文件。公有工具諸如用于Windows的PerfMon(Performance Monitor)和用于Linux的BlkTrace(Block Trace),提供用于報(bào)告和收集IO流量統(tǒng)計(jì)信息的操作系統(tǒng)內(nèi)核工具,也可以使用諸如Calypso IO分析器之類的免費(fèi)工具實(shí)現(xiàn)具體的監(jiān)控和測量存儲IO流量目的。IO 分析器提供詳細(xì)的特定輸出,支持SSD特性和測試??稍赥estMyWorkload.com下載。其他高級度量,數(shù)據(jù)分析和測試功能可以購買“Pro”版本IO分析器。

我們在軟件堆棧方面采取IO捕獲重要嗎?因?yàn)镮O流在穿過硬件和軟件堆棧(并受到系統(tǒng)緩存和軟件抽象使用的影響)時(shí)會發(fā)生變化,所以將IO流盡可能接近存儲級以便了解真正的SSD工作負(fù)載至關(guān)重要。在平臺和操作系統(tǒng)之間擁有通用的IO捕獲工具可以增強(qiáng)不同平臺和操作系統(tǒng)之間的工作負(fù)載的對比。

IO捕獲如何可視化?

獲取IO捕獲的原始數(shù)據(jù)有很多方法——從簡單的數(shù)據(jù)點(diǎn)值到csv表到關(guān)鍵的單一指標(biāo)繪圖。TestMyWorkload.com的免費(fèi)工具利用創(chuàng)新的數(shù)據(jù)可視化和數(shù)據(jù)分析工具來顯示SSD存儲規(guī)格在豐富的上下文數(shù)據(jù)儀表板中捕獲信息和指標(biāo)。

IO流映射

TestMyWorkload.com示例3顯示了2000個(gè)批發(fā)零售網(wǎng)絡(luò)服務(wù)器的24小時(shí)IO捕獲信息。IO流映射顯示了所有在24小時(shí)內(nèi)出現(xiàn)的IO流。每個(gè)單一IO流都用顏色表示,并列為數(shù)據(jù)系列圖例。IO流量度量根據(jù)Frequency(概率%)或Amount Transferred(GB)顯示。

流閾值功能過濾IO流,僅顯示構(gòu)成??所選百分比的IO流活動。默認(rèn)值顯示IO流的總數(shù)為3%或以上。更改流閾值將相應(yīng)更新IO映射,LBA映射和工作負(fù)載分段表。

工作負(fù)載分段表標(biāo)記A,B,C和D的紅線表示所選的工作負(fù)載段。工作負(fù)載表(見圖5)列出了整個(gè)捕獲周期內(nèi)出現(xiàn)的所有單一IO流。在這里,累加的工作負(fù)載顯示3個(gè)流,占總IO總數(shù)的55.1%(163.5GB的5,038個(gè)流)。如果流閾值降低到2%,則將增加2.12%的附加隨機(jī)8K R流,達(dá)到4個(gè)IO流。時(shí)間點(diǎn),時(shí)間段或進(jìn)程ID(見軟件進(jìn)程ID列表)的其他選定工作負(fù)載顯示為工作負(fù)載A,B和C.

選擇窗格和軟件進(jìn)程ID列表,在用戶窗格中選擇“進(jìn)程”顯示IO

通過軟件進(jìn)程ID捕獲指標(biāo)。默認(rèn)視圖顯示操作系統(tǒng)標(biāo)識的所有進(jìn)程??梢赃x擇特定的進(jìn)程顯示。在下面的圖6中,Windows系統(tǒng)進(jìn)程被隔離顯示。請注意進(jìn)程ID顯示與特定進(jìn)程相關(guān)的IO。然而,所選擇的進(jìn)程ID可能不會顯示與進(jìn)程相關(guān)聯(lián)的所有IO,因?yàn)樵S多的應(yīng)用進(jìn)程可能被包含在更廣泛的系統(tǒng)進(jìn)程ID內(nèi)。

LBA范圍地圖

LBA范圍顯示每次IO訪問由LBA(邏輯塊尋址)范圍以百分比表示。 100%LBA范圍代表整個(gè)用戶可??訪問的存儲區(qū)域。可以將IO流過濾以顯示隨機(jī)或順序訪問。訪問的數(shù)據(jù)量由在LBA范圍圖上顯示的氣泡顏色和大小表示。 LBA圖顯示每個(gè)IO流的局部空間和時(shí)間并可用于設(shè)計(jì)或驗(yàn)證存儲分層策略和軟件層優(yōu)化。

關(guān)鍵的IO捕獲指標(biāo)是什么?

下面討論一些關(guān)鍵的IO捕獲指標(biāo)。滿足最低百分比閾值的IO流將顯示在IO流映射上。IO流閾值可以設(shè)置為0.5%至10%,并可通過頻率或數(shù)量來查看。

數(shù)據(jù)傳輸

在圖7中,每個(gè)IO流(或數(shù)據(jù)傳輸)都有獨(dú)特的顏色。當(dāng)工具提示懸停或選擇數(shù)據(jù)點(diǎn)或段時(shí),會顯示IO流詳細(xì)信息。

寫入存儲并指示寫入存儲的數(shù)據(jù)可以額外壓縮多少。可以在任何時(shí)間點(diǎn)或過程中查看工作負(fù)載的平均值和最大可壓縮比。

重復(fù)刪除率

重刪比率分析寫入存儲的二進(jìn)制數(shù)據(jù),并指示寫入存儲的數(shù)據(jù)可以再額外去刪重多少。任何時(shí)間點(diǎn)或過程都可以查看重復(fù)數(shù)據(jù)刪除率。

分享到

崔歡歡

相關(guān)推薦