隨著IT技術(shù)的大規(guī)模應用，海量數(shù)據(jù)的存儲和處理在多媒體行業(yè)中應用越來越廣泛，在影視動畫領(lǐng)域更是如此。但是，傳統(tǒng)的存儲設(shè)備與架構(gòu)對那些初創(chuàng)的設(shè)計公司來說，實在是價格昂貴，所以他們試圖用最近出現(xiàn)的云存儲技術(shù)來解決自己的實際問題。下面這個例子就是利用云存儲技術(shù)在動畫公司渲染流程中的一個應用典型。

背景介紹

贊奇科技是國內(nèi)一家專業(yè)從事三維圖形云渲染服務(wù)的公司。他們把圖形高密度計算通過云計算手段面向CG行業(yè)(電腦圖形/數(shù)碼圖形行業(yè))提供在線實時渲染服務(wù)。渲染是三維動畫片制作流程中的必要工序，即在CG的原始模型文件中設(shè)置物理的光影和材質(zhì)信息來生成一組連續(xù)幀的圖像的過程，這需要大量計算資源的計算。2001年，夢工廠、皮克斯等國外公司首先提出了數(shù)字化的影視技術(shù)的概念，掀起了三維動畫技術(shù)的革命，通過這些年的發(fā)展，渲染計算的規(guī)模隨著電影技術(shù)的發(fā)展而逐年增長，渲染產(chǎn)業(yè)也逐漸成為CG數(shù)字影視的重要支撐。

贊奇科技圍繞圖形渲染核心業(yè)務(wù)圈發(fā)展，專注兩個核心產(chǎn)品及服務(wù)的研發(fā)與應用推廣：渲云平臺和Elara渲染器。“渲云”通過云計算的模式為CG行業(yè)提供專業(yè)便捷的一體化云渲染服務(wù)，他們的云渲染數(shù)據(jù)中心坐落于江蘇常州，而服務(wù)的客戶卻遍布全國，這得益于云計算模式在渲染計算中的應用：小文件更多是通過插件和客戶端由客戶在線自助操作完成，大客戶則是通過專屬的數(shù)據(jù)通道，由專業(yè)的渲染工程師一對一提供遠程服務(wù)。而贊奇科技另一個重要的產(chǎn)品——Elara渲染器則是一款具有自主產(chǎn)權(quán)的電影級高端渲染計算引擎，它采用更加精簡的內(nèi)核設(shè)計和操作流程，渲染效果堪比國際頂級動畫大片。公司通過將這兩者進行軟硬件的完美整合，為CG行業(yè)提供全方位的渲染技術(shù)解決方案。

主要挑戰(zhàn)

渲染平臺在建設(shè)過程中面臨的主要挑戰(zhàn)是什么? 集群渲云平臺是典型的I/O密集型高性能計算應用，任務(wù)提交到集群調(diào)度系統(tǒng)后，Head Node 為任務(wù)指派空閑的Computing Nodes或進行隊列編制，Computing Nodes接到調(diào)度指令后立即到存儲路徑下讀取待處理的數(shù)據(jù)，該過程是多節(jié)點并發(fā)的，存儲系統(tǒng)并發(fā)I/O吞吐壓力與集群規(guī)模成正比，在渲染任務(wù)處理過程中，所有渲染節(jié)點仍然會有和存儲節(jié)點的頻繁數(shù)據(jù)交互過程，直到每個節(jié)點分別完成各自分配的渲染任務(wù)并將結(jié)果回存至存儲目錄下。存儲系統(tǒng)的I/O吞吐壓力在渲染作業(yè)執(zhí)行過程中持續(xù)存在且在任務(wù)分發(fā)階段最為明顯，存儲系統(tǒng)的性能偏低會導致Compute Nodes遲遲不能從存儲節(jié)點拷貝到數(shù)據(jù)，進而影響渲染作業(yè)的啟動。

如何給出合理的框架和有效的設(shè)計方法，來建立高性能、高可伸縮、高可用的文件存儲服務(wù)，是擺在系統(tǒng)設(shè)計者面前極富挑戰(zhàn)性的任務(wù)。

贊奇科技發(fā)展有限公司總經(jīng)理楊昕吉向筆者介紹說：“由于計算機物理的I/O瓶頸制約，我們在構(gòu)建存儲系統(tǒng)的時候受限于單個存儲硬件設(shè)備的性能特點，很難提高存儲性能。隨著機器規(guī)模的增加，存儲系統(tǒng)的訪問量會呈指數(shù)增長，一旦到達極限值，機器的規(guī)模便沒有辦法擴展。然而要渲染《瘋狂原始人》這樣的電影，幾百臺機器的規(guī)模是沒有辦法承擔這樣的業(yè)務(wù)需求的，夢工廠的影片渲染也基本上要一千臺、兩千臺的規(guī)模。但是我們前期建設(shè)的數(shù)據(jù)中心，100個計算節(jié)點同時計算的時候，存儲性能就已經(jīng)達到極限，在往上擴展的時候，渲染性能就會整體下降，這個問題曾經(jīng)是我們業(yè)務(wù)發(fā)展的最大的阻礙”

Intel與集運提供的分布式云存儲方案

贊奇科技發(fā)展有限公司總經(jīng)理楊昕吉向筆者介紹說：“我們公司是去年下半年的時候和集云合作共同搭建了現(xiàn)在的渲染數(shù)據(jù)中心，這個機房采用的是英特爾具備多種創(chuàng)新設(shè)計的至強E5-CPU，幫助我們搭建起更加高效、靈活、開放和低成本的全面解決方案。第一期以500個計算節(jié)點的規(guī)模進行實施。目前基于集云的IDC技術(shù)，我們未來可以擴展到1500-2000個計算節(jié)點，渲云平臺的規(guī)模及性能目前在國內(nèi)也處于領(lǐng)先地位。”

因為此前采用的是磁盤陣列的方式，最終計算性能就受限在存儲讀取設(shè)備上。而此次我們做了分載，通過分布式系統(tǒng)進行存儲，采用了集云的一體化的系統(tǒng)，實現(xiàn)穩(wěn)健的快速存儲、訪問及安全規(guī)范。

江蘇集云信息科技有限公司CEO陳寶輝對這個項目有清晰的認識：云存儲就是擺脫單存儲節(jié)點的瓶頸，往橫向擴展(scale-out)，橫向擴展存儲是這個項目的關(guān)鍵，用低成本的存儲服務(wù)器能夠橫向擴展達到高性能的要求。這就是通常說的云分布存儲方案在贊奇實現(xiàn)的一個關(guān)鍵。

江蘇集云信息科技有限公司CEO陳寶輝總結(jié)道：其實云渲染主要用了兩個能力：計算能力、存儲的讀寫能力。因為是并行渲染的，500個節(jié)點接到渲染任務(wù)，500個節(jié)點同時渲染。同時渲染的時候，等最后一個節(jié)點完成才能并行往下處理第二步，所以某個單節(jié)點如果很慢就會產(chǎn)生一些問題。這些問題，大部分瓶頸不在計算上，而是在存儲上。普通存儲應對并發(fā)訪問的時候往往成為瓶頸，導致系統(tǒng)處理速度就變慢，這個挑戰(zhàn)就是我們和英特爾合作的契機。英特爾有一個橫向擴展存儲參考設(shè)計，我們參照它的參考設(shè)計，設(shè)計了一體化的存儲產(chǎn)品，包括服務(wù)器、網(wǎng)絡(luò)、存儲系統(tǒng)全部集成，然后跟客戶一起調(diào)優(yōu)。贊奇項目是我們第一個在云渲染存儲的應用。在項目測試中，我們的存儲達到了設(shè)計峰值，它的能力都用上了。

整個系統(tǒng)真正做到了分布式的，核心就是橫向擴展(scale-out)，如果將來它的存儲能力不夠，那么通過不斷增加存儲節(jié)點，系統(tǒng)存儲能力和I/O并行能力可以隨時無縫升級，這是傳統(tǒng)存儲做不到的。而且我們的產(chǎn)品不僅滿足性能的要求，同時為用戶實現(xiàn)了較低的成本。比如我們使用的硬盤，就不是價格昂貴的光纖盤，而用的是廉價的SATA盤。通過對每次讀寫速度的測量、調(diào)優(yōu)，到達性能和成本兼顧。云渲染中對存儲有獨特的訪問模式，通過大量調(diào)優(yōu)我們的橫向擴展的存儲技術(shù)來達到并發(fā)渲染高性能的要求。從效果來看，大概成本是原來存儲設(shè)備的三分之一到五分之一，但速度高幾倍。

同時橫向擴展存儲的管理性也很重要，比如有防硬件故障、防鎖，集云是英特爾的服務(wù)器方案合作伙伴，很多技術(shù)都通過與英特爾的合作實現(xiàn)。我們下面將和英特爾在另一個橫向擴展技術(shù)Luster存儲方案上合作，實現(xiàn)有更多商業(yè)支持的解決方案。

設(shè)備定制化讓性價比更好

除了整個系統(tǒng)架構(gòu)的改變，出于性價比的考慮，各種設(shè)備也采用了定制化。剛剛大家已經(jīng)看到了存儲采用的是SATA硬盤，其實服務(wù)器也是定制的。在這個項目中，我們開發(fā)了中國第一個托盤式的服務(wù)器產(chǎn)品。

托盤式服務(wù)器在Facebook是用到過的，它為Facebook三年節(jié)省了20億美金。而這個項目中，同樣采用了這種設(shè)計，從而讓用戶的成本也降低20%，性能則提高20%，所以整體就有40%的性價比的提升。談到整個項目Intel公司提供的幫助，江蘇集云信息科技有限公司CEO陳寶輝說，跟英特爾的合作在很多上面都是方案定制服務(wù)。，因為現(xiàn)在的市場競爭已經(jīng)不是在某個局部技術(shù)上的競爭，而更多是一種方案的競爭。我們的方案是根據(jù)用戶的需求定制的，在服務(wù)器設(shè)計時把CPU設(shè)計在哪個位置更節(jié)能，機構(gòu)如何設(shè)計更有利散熱并降低成本等，，這些都是根據(jù)特定的用戶需求定制的優(yōu)化實現(xiàn)方案，這樣形成了集云獨特的競爭力。云存儲也是這樣，我們能用SATA盤達到光纖盤的速度，有巨大競爭優(yōu)勢的創(chuàng)新，同時成本也降低了很多。

依托與Intel的合作，整個的架構(gòu)其實我們沒有在基礎(chǔ)設(shè)計上投入太多，。我們的投入更多地是在Intel的基礎(chǔ)技術(shù)上為用戶進行量身定制方案設(shè)計和服務(wù)這是很好的一個合作共贏模式。

整體性能提高三倍

贊奇科技發(fā)展有限公司總經(jīng)理楊昕吉作為用戶對這套系統(tǒng)還是非常滿意的，他說：“采用這套系統(tǒng)之后我們整個訪問效率大大提升。第一，存儲設(shè)備的網(wǎng)絡(luò)占用率明顯下降，比原有占用率下降三分之二。第二，整體系統(tǒng)存儲和訪問速率提升三倍多。使得整個系統(tǒng)規(guī)模目前已經(jīng)可以突破到500臺。我們系統(tǒng)的負載有一個自動調(diào)配的過程。通過英特爾至強服務(wù)器，充分降低了我們TCO的指數(shù)。目前渲云數(shù)據(jù)中心已為上千家客戶提供服務(wù)，如蘇州米粒、常州的恐龍園動漫、卡龍、炮炮兵，蘇州天潤安鼎等。”

總體來說，這一套新的計算架構(gòu)存儲效率確實比以前讀取穩(wěn)定性更高。當然，新系統(tǒng)還有一些挑戰(zhàn)，楊總也希望和集云陳總和英特爾繼續(xù)探討超大規(guī)模的并發(fā)訪問。贊奇目前是500臺，但是遠期的目標是要做到2000甚至5000臺，因為只有這樣才可以面向好萊塢的影片提供高性能的渲染服務(wù)。