按照以往的習慣,Intel Xeon E7平臺及其之前一代的Xeon 7500系列都是針對關鍵業(yè)務服務器,定位于U2L(UNIX to Linux)一類的需求。其特點是從Itanium(安騰)小型機平臺移植過來一系列R.A.S.(可靠性、可用性和可服務性)特性,按照x86架構中的最高標準來設計。這些年來小型機市場的不斷萎縮,可以說也是拜Xeon E7的不斷發(fā)展壯大所賜。
相比之下,Xeon E5-4600系列則定位于高密度高性價比四路服務器。延續(xù)了E5處理器平臺的兩個QPI架構,相比E5-2600系列能夠支持多一倍的CPU和內(nèi)存。其特點是低能耗、低延遲的內(nèi)存訪問,很適合高密度的部署。
至于具體行業(yè)應用,我給個不見得覆蓋全的評價:Xeon E5和E7兩個四路服務器平臺,性能方面并無絕對優(yōu)劣,不過傳統(tǒng)行業(yè)的關鍵業(yè)務和數(shù)據(jù)中心的核心節(jié)點,特別是替代小型機時采用Xeon E7平臺較多。而互聯(lián)網(wǎng)、電商等新型行業(yè)和對性價比機架利用率要求較高的企業(yè)比較喜歡Xeon E5-4600,因為他們在能耗和系統(tǒng)整體的擁有成本比較看重,對單一設備可靠性和擴展能力的需求相對低些,所以青睞性價比較高還可節(jié)省機架空間的四路E5平臺。還有一種,就是像SAP HANA這樣的內(nèi)存計算應用,Xeon E7的內(nèi)存容量支持要優(yōu)于E5。
第一輪PK
四路Xeon E7、E5價格,您想到了嗎?
我們知道,目前最新一代的Xeon E5/E7處理器是v4,上圖引用的E7 v3正好也能包含我想要討論的幾個要點。
首先是特性,這方面E7更新的同時E5通常也會有,所以被排除了。性能的情況有些不同,因為我們需要從單一CPU本身的性能和系統(tǒng)性能兩個角度來看,還會受到一些外部規(guī)格影響。內(nèi)存容量也是如此,因為市場上有不少服務器都沒有按照Intel推薦的最大規(guī)格來設計。
可靠性方面,Xeon E7平臺上的Intel Run Sure Technology引入了eMCA GEN 1、MCA RECOVERY EXECUTION PATH、MCA IO、PCIe LIVE ERROR RECOVERY這些新技術,先進的RAS 特性已經(jīng)達到70 多個??傊褪菑膬?nèi)存運行、PCIe、QPI互連等方面減少出錯和提高診斷能力。而我們也知道,硬件可靠性除了CPU、芯片組這些核心技術之外,還與服務器系統(tǒng)設計和主板等方面的用料做工密不可分。這就是以往各廠商普遍把Xeon E7按最高標準做成旗艦平臺的原因。
Intel Xeon Processor E7 v4產(chǎn)品家族
我從Intel網(wǎng)站截這2個圖(2016年11月8日),是為了從宏觀上對比一下Xeon E7和E5-4600系列的規(guī)格和價格水平。上面選了2個代表型號——指導價最高也是核心數(shù)最多的E7-8890 v4(24核),2.2GHz,60MB L3 Cache;以及最便宜的E7-4809 v4(8核),2.1GHz,20MB三級緩存。
Intel Xeon Processor E5-4600 v4產(chǎn)品家族
我們看到,在這個表格中頂級的Xeon E5-4669 v4具備22個核心,2.2GHz和55MB L3 Cache,規(guī)格方面與E7-8890 v4非常接近,價格也相當接近。而最便宜的Xeon E5-4610 v4具備10個核心,1.8GHz和25MB L3 Cache,加上比它高一檔的Xeon E5-4620 v4,規(guī)格和價格也與低端Xeon E7處于同一水平(Intel公布的實際性能也是相當,甚至E5平臺還有少許優(yōu)勢)。
這個比較能說明什么呢?既然E5和E7本身的定位不同、且規(guī)格設計以及性能方面旗鼓相當,Intel不見得把Xeon E7 CPU賣得比E5-4600貴,更多的價值還要針對不同需求通過服務器的設計最大化。
第二輪PK
內(nèi)存控制器設計和QPI差異
四路Intel Xeon E7內(nèi)存、QPI連接示意圖
由于如今的CPU早已集成了內(nèi)存控制器,對內(nèi)存的支持程度(特別是DIMM插槽)每家服務器廠商在設計時就存在固定的上限。目前新一代的Xeon E7每顆支持連接4個SMI內(nèi)存緩沖芯片,每個SMI提供2個內(nèi)存通道,每個通道支持3根內(nèi)存條一共6個DIMM插槽。
這樣一顆E7 CPU就具備8個內(nèi)存通道,24 DIMM插槽,這也相當于兩路的Xeon E5-2600系列服務器的最大支持能力。而4顆Xeon E7總計96個內(nèi)存槽,如果插滿64GB內(nèi)存已經(jīng)達到單機6TB的容量,甚至最新的單條128GB DDR 4出現(xiàn)后內(nèi)存擴展能力更加驚人。
CPU整合內(nèi)存控制器的設計好處不少,但有一點需要注意的就是四路服務器的架構實際是一個NUMA架構,CPU訪問不同位置的內(nèi)存時并非對稱的。每顆CPU都是訪問自己控制的內(nèi)存時性能最好,如果跨CPU訪問就要通過QPI。上圖中的藍色連線表示CPU之間的QPI互連。每顆Xeon E7對外提供3條QPI,到另外3顆CPU都只需要“1跳”,算是延遲最低的設計了。
Dell PowerEdge R930內(nèi)存擴展板
上圖以支持Xeon E7的Dell R930服務器內(nèi)存板舉例說明。它的設計相當緊湊,2顆SMI芯片放在了PCB的背面(每個Xeon E7 CPU對應2塊內(nèi)存板),通過熱管和整個金屬底板輔助散熱。
在這張照片里,12個DIMM槽中安裝了4條內(nèi)存,每通道剩余的2個插槽也固定了dummy以保證散熱氣流等。
Dell PowerEdge R910內(nèi)存擴展板
對比一下早年的R910服務器,雖然前面一張照片的質(zhì)量有限,但內(nèi)行朋友們應該不難看出R930內(nèi)存板在密度設計和連接器用料上的改進。
四路Intel Xeon E5-4600內(nèi)存、QPI連接示意圖
如上圖,Xeon E5-4600與E7的區(qū)別很容易看出來。首先,E5-4600 CPU的內(nèi)存控制器沒有設計SMI,就是每CPU 4通道最多12個插槽,整體系統(tǒng)內(nèi)存支持只有Xeon E7的一半。當然,內(nèi)存訪問無需通過SMI進行,CPU訪問其直接連接的內(nèi)存時延遲也會降低。
此外,每顆Xeon E5提供的QPI數(shù)量也減少了一條,用于四路平臺時通常是按照上面這種連接,包括內(nèi)存訪問在內(nèi)的CPU插槽間通信效率不如Xeon E7。比如位于對角上的CPU互相訪問就需要“2跳”,延時因此而上升。
第三輪PK
Xeon E7“省錢”大法
▍省錢大法1——內(nèi)存支持砍半
目前,我們發(fā)現(xiàn)市場上出現(xiàn)一些“縮水”設計的Xeon E7服務器,可能是為了降低成本增強競爭力吧。那么這些廉價產(chǎn)品對用戶會有什么影響嗎?
比如下圖是某廠商的E7平臺四路服務器架構:
這種架構簡化了:每顆CPU只配備2顆SMI內(nèi)存緩沖芯片,這樣就把內(nèi)存支持數(shù)量/容量和帶寬性能都降低了一半。好處是可以降低成本,內(nèi)存條可以直接插服務器主板上而不再需要內(nèi)存板了。
不過問題也來了,這種配置下內(nèi)存容量的支持就與Xeon E5-4600沒有區(qū)別,而性能可能還會差一些,雖然都是每CPU 4通道。要知道當初引入SMI提高內(nèi)存數(shù)量也不是沒有代價的——數(shù)據(jù)路徑中多一顆buffer芯片就會增加一點延時。
▍省錢大法2——QPI還能少連一條?
對于上述Xeon E7平臺,除了標稱那些R.A.S.特性之外,還有一點E7重要的特征:3條QPI。然而,經(jīng)過業(yè)內(nèi)技術專家分析,Xeon E7服務器還有更進一步的“縮水”空間,比如下圖的某廠商E7平臺四路服務器設計架構:
在看到機器之前,我們也沒想到還能這樣做。有一款服務器在上述簡化基礎上再補上2刀,首先每個內(nèi)存通道只放2個DIMM插槽,這樣一顆CPU只支持8條內(nèi)存,還不如四路Xeon E5-4600。
更進一步的是,該平臺每顆Xeon E7 CPU提供的3條QPI連接有可能只使用了2條,如此拓撲方式就降低到Xeon E5-4600的水平了。在配置同級別CPU的情況下,可以預見這種架構的性能是無法與E5-4600架構相比的。如果是這樣,如果是這樣,選擇一個標準E5-4600平臺的四路服務器可能在性價比上比選這種縮水的E7平臺更好。
至于設計上的考慮,我只能理解是為了降低主板PCB布線難度和縮小面積以便最大程度降低成本。問題是,縮水到該程度的Xeon E7,其真實可靠性表現(xiàn)還會優(yōu)于Xeon E5嗎?
與普遍采用4U機箱的Xeon E7服務器相比,四路Xeon E5-4600可以輕松做到2U機架式的高度,上圖中的Dell PowerEdge R830就是一款中規(guī)中矩(沒有縮水)的產(chǎn)品。
換個思路,我覺得在招標條款中限定服務器內(nèi)存槽數(shù)量等參數(shù),有更多的積極意義了。即使用戶不需要用到滿配的內(nèi)存容量,有些情況下也可以避免買到減配、性能等方面打折扣的產(chǎn)品。
第四輪PK
同配置性能還要看優(yōu)化
最后,我再簡單列出一些性能對比數(shù)字,供大家參考。
上表比較了幾款規(guī)格接近的Xeon E7和E5-4600系列CPU,運行SPEC CPU2006整數(shù)和浮點基準測試的成績。我們看到在多線程測試中,1.8GHz 10核的E5-4610 v4比2.1GHz 8核的E7-4809 v4表現(xiàn)要好;另外在同樣10核的對比中,2.1GHz的E5-4620 v4也比2.0GHz的E7-4820 v4領先不少。
這部分的結論是,在忽略內(nèi)存容量、CPU之間通信效率的情況下,E5本身的計算效率不比E7差,甚至還有稍許優(yōu)勢。
那么如果不是簡單地看系統(tǒng)的浮點運算和整數(shù)運算性能,而是綜合地看CPU、內(nèi)存、IO聯(lián)動的情況下的性能表現(xiàn)呢?一個典型的場景是ERP。
這個表格中的測試數(shù)據(jù)從SAP網(wǎng)站摘錄,對比了SAP SD Standard Application Benchmark的結果,兩層Internet配置(簡稱SD2)。該測試衡量的是ERP軟件的處理性能,支持多種操作系統(tǒng)和后端關系型數(shù)據(jù)庫,并不限于SAP ASE,其得分“SAPS”越大越好。
先看四路服務器。同樣配置4顆Xeon E7-8890 v4 CPU的三款機器中,Dell PowerEdge R930得分最高,另外兩款分別落后2%和4%。我們看到使用E5-4669 v4 CPU的Dell R830只比最接近的4路E7服務器(某國際廠商旗艦機型)落后0.8%。而我們在本文開頭曾經(jīng)介紹過,這兩種CPU相差2個核心。
接下來看Xeon E5 v4雙路服務器的對比。在同樣使用E5-2699 v4 CPU的情況下,Dell R730仍然領先,另外兩款分別落后5.6%和6.3%。這里我們也看出該測試對內(nèi)存容量并不敏感,雙路平臺配置256GB還是512GB基本沒有影響。
之后是上一代Xeon E5 v3雙路服務器的對比。在同樣使用E5-2699 v3 CPU的情況下,另外三款機型分別落后Dell R730 2.5%、2.8%和9.7%。
結語
如何優(yōu)選您最適合的四路服務器平臺,除了取決于CPU等規(guī)格之外,還要看服務器系統(tǒng)整體設計和調(diào)優(yōu)水平。物有所值不僅僅在于“價格的優(yōu)化” ,也許更需要重視“價值的最大化”。