圖解大型互聯網數據中心典型模型

發布日期：2016-04-13 10:09:10  瀏覽次數：9474

數據中心本質上是數學和邏輯的組合，分析模塊化數據中心的顆粒度可以歸納演繹出其典型模型，本文介紹一些大型互聯網數據中心的典型案例，正是為了做此方面的分析。

大型互聯網公司數據中心建筑布局

圖一 谷歌數據中心俯視圖

圖一是谷歌數據中心的典型布局，從空中俯視看到的龐大體量和氤氳升騰的水汽，讓人立馬聯想到現代化的超級信息處理工廠，或在海上全力巡航的超級信息航母。谷歌的數據中心建筑結構極其精簡，主體機房為寬而矮的單層倉儲式廠房建筑結構，船體的中后兩艙為兩個長寬形主體機房模塊，船頭為機房配套的功能區域（如安保辦公、拆包卸貨、備品備件間等）；船體左側為模塊化變配電及柴發區域，船體右側是模塊化制冷及散熱儲水區域，水電分區，左右兩翼像巡洋艦和護衛艦等保障航空母艦的穩定安全運行。

圖二 谷歌數據中心平圖布局圖

圖二為其主平面布局圖。北側為水，南側為電，中間為機房模塊，約2萬平米的中間主機房區可以支持約8到10萬臺服務器，左右兩側為網絡間以及辦公支持區。白地板區域分為南北共四個大機房房間，每個房間可以支持約2萬到2.5萬臺服務器，每個機房模塊內約30縱列，每列約25到30個IT機柜，每個大房間可以部署約750到900個機柜，約1萬KVA的電力，整個建筑約4萬KVA總用電。

圖三 facebook模塊化機房俯視圖

圖三是facebook在瑞典的模塊化數據中心效果圖，該建筑也是倉儲式大廠房結構，左右兩棟數據中心大樓內共建設了1#-4#四個大房間的數據中心模塊，兩棟建筑之間有一個專用制冷機房，在建筑的兩側也部署了室外集裝箱柴發。此外，在數據中心建筑隔壁，還設有一個用于辦公的其它功能的建筑。

圖四 facebook數據中心平面布局圖

圖四類似這個數據中心的平面布局（冷機和配電位置稍有變化，但主體框架模塊沒變），同樣左右兩側共四個大機房模塊，A/B區南北各兩個，大房間的南北兩側為AHU模塊，同樣和冷熱通道一一對應；兩個建筑大房間之間為電力模塊，以及制冷模塊，同樣是模塊化的設計。每個AHU對應各自的一個通道，約60個機柜，平均每個IT機柜功率約為8-10KW，因此每個AHU的制冷量約為500-600KW.中間北側為電力模塊房間，四個房間共6套IT電力模塊，以及1套備份模塊、1套冷機等負載配單模塊；中間南側為制冷泵房，共9個制冷模塊，按8用1備計算，每個房間均攤約2個制冷模塊。

每個大機房房間同樣可支持約2萬到2.5萬臺規模服務器，每個房間內部署了約4*13*15個機柜，共約780個機柜，并支持擴展到900個，同樣約1萬KVA的電力，整個建筑約4萬KVA總用電，共支持約8到10萬臺的服務器。

圖五 facebook數據中心布局二

圖五是facebook另外一個長條形數據中心的俯視圖，該建筑從左到右共有四個大機房模塊，每個機房模塊有獨立的4臺室外型集裝箱柴發，屋頂是其自然冷空調系統，緊貼數據中心建筑的上側有辦公用房。

圖六 Open datacenter的模型布局

這種長條形布局下，機房內部如圖六Open datacenter的數據中心機房模型，每個大機房模塊共12*6*11=792個機柜，整個數據中心建筑共有12到14臺柴發，兩個蓄冷罐，支撐四個大機房模塊使用。

圖七 Switch公司的supernap 7數據中心布局

圖七是Switch公司的super nap 7數據中心俯視圖，類似的，整個數據中心建筑由四個大機房模塊構成，每個機房模塊約10MVA的供電容量，由6臺（5+1）2000KW的柴發做掉電備份，9套1200KVA的UPS，三角形DR方式2N供電。同樣的，每個大機房模塊有44個R18的微模塊構成，總計約792個IT機柜，平均單功率約為9KW；9個（8+1）AHU空調模塊，每個AHU模塊標稱具有1000KW的散熱能力。

圖八 典型互聯網數據中心供電架構圖

從谷歌、facebook和super nap等數據中心的典型模型上看，大型互聯網數據中心大多是模塊化設計，基本整個園區規劃有兩到三棟大型數據中心建筑，總共用電80到120MVA，由132KV變電站供電。每棟數據中心建筑用電量則高達40MVA，數據中心建筑內有4個大機房模塊，每個機房模塊約2-2.5萬臺服務器，典型的單模塊機柜數量為750-1000個機柜，每棟數據中心建筑約有8-10萬臺的服務器，總機柜數量為3000到4000個機柜。大型互聯網數據中心基本多為倉儲式單層建筑結構，建筑內的典型四個大機房模塊有長條型并排布局，也有南北向田字型布局，模塊化的電力和空調模塊就近擺放。

大型互聯網公司數據中心的電氣

為什么大型互聯網數據中心都有相似的特征，這背后有何邏輯呢？

其實數據中心的一些邊界條件基本限制了數據中心的典型模型，比如一條中壓外線（美國為13.2KV，歐洲中國約為10KV）的電力容量約為10MVA-12MVA，典型的變壓器容量約為1600KVA、2000KVA、2500KVA、3000KVA、3150KVA等有限檔位，母排和斷路器容典型量約1600A、2000A、3200A、4000A、50000A、6300A等有限檔位，還有冷機的冷量、UPS的容量等都是類似的有限檔位，因此數據中心規劃設計需要兼顧到這些產業鏈，并滿足公路運輸條件，以及操作人員可以忍受的連續工作最高溫度等，根據不同系統的合適顆粒度，選擇最佳性價比的典型模型。

通常電力是數據中心內較為寶貴的資源，所以數據中心設計通常會把一條外線的容量盡量用滿，即一個機房模塊通常會用滿10到12MVA的外電容量，圖八是個典型的互聯網公司數據中心供電架構圖，單路市電供電，高壓柴發備份。

圖九 典型數據中心2N供電高可靠設計的模型

我們可以根據一條13.2KV外線約12MVA的容量來推算該機房模塊的模型，配置了4臺2500KW左右的高壓柴發，4臺3000KVA的變壓器，額外有1臺2500KW的柴發和3000KVA的變壓器作為四個房間的冗余備份，剛好用滿電力容量，因此數據中心大機房模塊內通常也規劃有4個小房間的模塊。

前面是針對互聯網數據中心內單路市電+柴發的供電架構，如果對于部分雙路10KV外電的高可靠2N供電架構，實際上也是類似處理方法，將10MVA的外電，分攤到4個IT房間，每個房間約2個2000KVA的變壓器，剩余一對2000KVA的變壓器給到制冷房間用于冷機制冷等。當然也可以按三個IT房間來規劃，這種布局下每個房間配置2個2500KVA的變壓器，剩余一對2500KVA的變壓器給到冷機和其他動力設備。

圖十 典型數據中心2N供電高可靠設計的布局

在建筑布局上，同樣采用模塊化的布局，如圖十的典型數據中心建筑內有左右兩個大機房模塊，每個大機房模塊內的一對10KV外線帶有四個IT房間，每個房間由一對2000KVA的變壓器來承擔，每個房間按IT機柜功率來部署，大約有200到250個的IT機柜（由IT機柜平均功率決定）。同樣配套的模塊化電力和空調就近擺放，按需建設實現變成長邊投資，為未來的技術升級提供條件。

圖十一 谷歌數據中心的模塊化空調系統

綜上，典型的互聯網數據中心機房模塊內，也同樣因為電力容量限制，以及設備顆粒度的不連續性，加上產業鏈生態等會有最佳模型。典型的模塊化數據中心由2個高壓模塊（或者單N的1條外線）、8到10個低壓變配電模塊（或者單N的4到5個低壓模塊）、3到4個IT房間（每個機房模塊配置2500KVA或者2000KVA的變壓器）的典型模型。每個模塊化數據中心約750到1000個IT機柜，每個IT房間約200到250個IT機柜。動力設備方面基本多為3到4臺800到1100冷噸的冷機，以及4到6臺1800KW到2500KW的柴發等。

大型互聯網公司數據中心空調模塊

相對而言，大型互聯網數據中心的制冷系統的標準化較差，這主要由不同地區的制冷方式差異導致。比如熱帶地區采用的集中式冷機制冷，和涼爽地區分散式AHU模塊制冷就會有很大的差異。但從前面分析的數據中心模型上看，大型互聯網數據中心的空調系統也呈模塊化方式在建設。如圖十一所示的谷歌數據中心，綜前所述，一棟40MVA的數據中心建筑，由四個大機房模塊構成，每個機房模塊約10MVA的用電。整個數據中心建筑左側有15套空調系統，因此每個機房模塊分攤到3套空調系統，剩余3套空調給四個機房模塊做冗余備份，以及其他辦公和環境負荷等，每套空調系統約有1000到1200冷噸。

圖十二 SuperNAP數據中心的模塊化空調系統

而如圖十二的Super nap數據中心則采用了模塊化AHU散熱方式，每個10MVA的大機房模塊配置了9個AHU模塊，每個AHU模塊的散熱能力達到了1000KW，8用1備，該AHU支持六種不同的冷卻方式，并在AHU內部加裝了小飛輪UPS，保障AHU模塊供冷的持續性，也是非常經典的模塊化空調設計實現。

前面簡單介紹了兩個大型互聯網公司模塊化空調系統的應用案例。地區不同，制冷方式不同，模塊化空調系統呈現出較大的差異性，顆粒度也有較大的差異，但不管是冷機還是AHU或其它不同方式，也基本分為3到4套系統，每個系統由不同數量的更小單元末端組成（可能是模塊化AHU，也可能是小風墻等）。

“大道至簡，悟者天成”。大型互聯網數據中心典型模型模塊精簡、功能分區清晰、顆粒度合理。在我們從這些先行者的實踐經驗中悟出真理后，剩下的就是要考慮如何去躬行。一旦做到知行合一，就沒有攀不上的高峰。