本文部分內(nèi)容引用微信公眾號：數(shù)據(jù)中心運(yùn)維管理，《淺談數(shù)據(jù)中心機(jī)房供電配電系統(tǒng)設(shè)計(jì)》

摘要：現(xiàn)代的數(shù)據(jù)中心中都包括大量的計(jì)算機(jī)，對于這種場所的電力供應(yīng)，都要求供電系統(tǒng)需要在所有的時(shí)間都有效，這就不同于一般建筑的供配電系統(tǒng)，它是一個(gè)交叉的系統(tǒng)，涉及到市電供電、防雷接地、防靜電、UPS不間斷供電、柴油發(fā)電機(jī)等，每個(gè)系統(tǒng)互相交叉，互有影響，這就使我們在設(shè)計(jì)時(shí)需要考慮多方面的因素。本文從數(shù)據(jù)中心的高壓供電系統(tǒng)到末端精密配電系統(tǒng)介紹數(shù)據(jù)中心供配電及能效管理系統(tǒng)的設(shè)計(jì)。

一、系統(tǒng)概述

數(shù)據(jù)中心機(jī)房是現(xiàn)代信息化建設(shè)的基礎(chǔ)工程，為各個(gè)業(yè)務(wù)提供穩(wěn)定、安全的工作環(huán)境，而機(jī)房的供配電系統(tǒng)就是這基礎(chǔ)工程的心臟和大動脈，供配電系統(tǒng)的穩(wěn)定，能夠保障其它系統(tǒng)發(fā)揮作用和核心業(yè)務(wù)正常運(yùn)行。系統(tǒng)不同于一般建筑的供配電系統(tǒng)，它是一個(gè)交叉的系統(tǒng)，涉及到市電供電、防雷接地、防靜電、UPS不間斷供電、柴油發(fā)電機(jī)等，各個(gè)系統(tǒng)互相交叉，互有影響，這就使我們在設(shè)計(jì)時(shí)需要考慮多方面的因素。

二、設(shè)計(jì)標(biāo)準(zhǔn)

數(shù)據(jù)中心有專門的設(shè)計(jì)標(biāo)準(zhǔn)，綜合性的數(shù)據(jù)中心電信基礎(chǔ)標(biāo)TIA-942《數(shù)據(jù)中心電信基礎(chǔ)設(shè)施標(biāo)準(zhǔn)》，是2005年4月由美國電信產(chǎn)業(yè)協(xié)會(TIA)、TIA技術(shù)工程委員會(TR42)和美國國家標(biāo)準(zhǔn)學(xué)會(ANSI)批準(zhǔn)的。國內(nèi)的相關(guān)規(guī)范和標(biāo)準(zhǔn)也是綜合國外標(biāo)準(zhǔn)以及國內(nèi)數(shù)據(jù)中心建設(shè)發(fā)展情況做出的，數(shù)據(jù)中心設(shè)計(jì)規(guī)范GB50174—2008《電子信息系統(tǒng)機(jī)房設(shè)計(jì)規(guī)范》也于2008年l1月12日發(fā)布，2009年6月1日開始實(shí)施。

三、設(shè)計(jì)原則

數(shù)據(jù)中心供配電系統(tǒng)設(shè)計(jì)應(yīng)執(zhí)行或參照執(zhí)行國家和行業(yè)相關(guān)標(biāo)準(zhǔn)、規(guī)范，并可參考國外相關(guān)標(biāo)準(zhǔn)、規(guī)范，結(jié)合考慮數(shù)據(jù)中心用電負(fù)荷密度高、供電可靠性要求高等特性采取適當(dāng)?shù)募夹g(shù)措施。同時(shí)，應(yīng)滿足項(xiàng)目建設(shè)單位的企業(yè)標(biāo)準(zhǔn)、規(guī)范的要求。

數(shù)據(jù)中心供配電系統(tǒng)設(shè)計(jì)應(yīng)遵循分區(qū)、分級的原則，同一功能區(qū)域內(nèi)的各類設(shè)備的供電可靠性，應(yīng)能保證所有設(shè)備能夠按照該區(qū)域標(biāo)準(zhǔn)的要求運(yùn)行，并將供配電系統(tǒng)局部故障的影響面控制在盡可能小的范圍。

數(shù)據(jù)中心用電負(fù)荷密度高、總量大，其供配電系統(tǒng)設(shè)計(jì)中應(yīng)充分運(yùn)用成熟有效的節(jié)能措施，降低供配電系統(tǒng)的損耗。

四、數(shù)據(jù)中心機(jī)房供配電系統(tǒng)需求分析

隨著信息技術(shù)的迅速發(fā)展和互聯(lián)網(wǎng)的普及，社會各界對信息系統(tǒng)的應(yīng)用越來越廣泛，信息和數(shù)據(jù)量呈幾何級增長，由此對數(shù)據(jù)中心的需求日益增加，對數(shù)據(jù)中心的要求也不斷提高，信息設(shè)備功能越來越強(qiáng)，功率密度越來越高。

五、數(shù)據(jù)中心機(jī)房供配電系統(tǒng)設(shè)計(jì)

5.1 供配電系統(tǒng)的布置

數(shù)據(jù)中心機(jī)房供配電系統(tǒng)主要設(shè)備有：UPS、電池、配電柜和柴油發(fā)電機(jī)等。這些設(shè)備單位占地面積、重量大，對于這些設(shè)備的擺放位置既要考慮功能上的需求，又要考慮空間和承重的需要，還要考慮對外界的危害。

下圖為典型數(shù)據(jù)中心的供配電系統(tǒng)示意圖，采用雙路110kV進(jìn)線，配置10kV柴油發(fā)電機(jī)作為自備應(yīng)急電源，UPS采用冗余供電方式，末端精密配電柜和精密空調(diào)均采用UPS供電，提高數(shù)據(jù)中心運(yùn)行穩(wěn)定性，見圖1。

圖1 數(shù)據(jù)中心典型供配電系統(tǒng)示意圖

5.2 供配電系統(tǒng)設(shè)計(jì)
5.2.1 市電動力配電系統(tǒng)設(shè)計(jì)

大型數(shù)據(jù)中心一般采用110kV甚至更高電壓等級市電電源，根據(jù)當(dāng)?shù)毓╇姉l件確定。市電動力配電主要用于供給機(jī)房精密空調(diào)設(shè)備、普通照明和給排風(fēng)、維修插座、一般動力、UPS設(shè)備等。市電動力配電一般由大樓總配電柜饋出的動力供配電系統(tǒng)，采用50Hz交電，380/220V三相五線電源，TN-S接地方式，零線和地線分開設(shè)置且零地線之間電壓小于1V。

一般可靠性要求數(shù)據(jù)中心宜引入兩路市電電源，條件受限制時(shí)也可引入一路市電電源。引入兩路市電電源時(shí)，宜為冗余關(guān)系，也可作為供電容量擴(kuò)展關(guān)系。

圖2 110kV變電站或10kV開閉所保護(hù)測控裝置配置示意圖

市電動力配電柜一般采用放射式配電直接配至各用電設(shè)備或電箱，機(jī)房內(nèi)所有動力配電線纜需要設(shè)計(jì)橋架或鋼管敷設(shè)，市電動力配電柜具有火警聯(lián)動保護(hù)功能，出現(xiàn)火警時(shí)可與消防系統(tǒng)聯(lián)動及時(shí)切斷電源，動力配電柜、照明箱內(nèi)的開關(guān)和主要元器件應(yīng)設(shè)置有效的防雷措施。

表1 110/10kV變電站和10kV開閉所、變電所保護(hù)測控裝置選型表

圖3 0.4kV配電柜測控裝置配置示意圖

表2 0.4kV配電柜測控裝置選型表

5.2.2自備應(yīng)急電源系統(tǒng)設(shè)計(jì)  

數(shù)據(jù)中心一般采用柴油發(fā)電機(jī)組作為自備應(yīng)急電源，對于大型、高等級數(shù)據(jù)中心也可以選擇可靠性高、輸出電源品質(zhì)好、帶非線性負(fù)載能力強(qiáng)、體積小、重量輕的大功率燃?xì)廨啓C(jī)發(fā)電機(jī)組。一般可靠性要求的數(shù)據(jù)中心宜配置一路自備應(yīng)急電源，供電容量應(yīng)能滿足全部一、二級負(fù)荷的需求，包括UPS電源系統(tǒng)、機(jī)房空調(diào)、機(jī)房照明、蓄電池充電及建筑設(shè)備中的一、二級負(fù)荷。當(dāng)數(shù)據(jù)中心條件受限制，且市電電源具有較高可靠性時(shí)，也可以部分或全部采用移動式發(fā)電機(jī)組作為自備應(yīng)急電源。發(fā)電機(jī)組燃料儲備量應(yīng)根據(jù)數(shù)據(jù)中心等級的要求，結(jié)合市電電源可靠性、供油可靠性、消防要求綜合決定，一般不宜少于發(fā)電機(jī)組滿負(fù)荷運(yùn)行8小時(shí)的用油量。

圖4 10kV柴油發(fā)電機(jī)室保護(hù)測控裝置配置示意圖

表3 10kV柴油發(fā)電機(jī)保護(hù)測控裝置選型表

5.2.3 UPS供配電系統(tǒng)設(shè)計(jì)  
UPS配電主要用于計(jì)算機(jī)設(shè)備、服務(wù)器、小型機(jī)、存儲、網(wǎng)絡(luò)設(shè)備、保安監(jiān)控設(shè)備等。UPS 電源系統(tǒng)輸出一般采用三級配電方式：系統(tǒng)輸出配電柜－機(jī)房配電柜－機(jī)柜配電單元。

UPS電源系統(tǒng)蓄電池組容量的計(jì)算方法有以下兩種：

(1) 按負(fù)荷電流計(jì)算；

(2) 按負(fù)荷功率計(jì)算；

按負(fù)荷電流計(jì)算的結(jié)果是蓄電池組的總?cè)萘浚缓笤龠x擇單組蓄電池的容量和組數(shù)。按負(fù)荷功率計(jì)算的結(jié)果是選定容量規(guī)格的蓄電池組數(shù)。兩種計(jì)算方法的結(jié)果可互相校驗(yàn)。

對于單電源輸入設(shè)備，即使已采用雙單元冗余UPS 電源系統(tǒng)，也宜將其連接在其中一個(gè)單元上。對于雙單元冗余UPS電源系統(tǒng)，可將其每個(gè)單元中的部分容量視為并聯(lián)冗余性質(zhì)。對于需要雙回路供電的單電源輸入設(shè)備，宜在其輸入端設(shè)置靜態(tài)轉(zhuǎn)換開關(guān)STS。靜態(tài)轉(zhuǎn)換開關(guān)STS 的性能應(yīng)能滿足其要求，一般轉(zhuǎn)換時(shí)間小于5～10ms。

當(dāng)負(fù)荷設(shè)備對零－地電壓要求較高時(shí)，可在機(jī)房配電柜設(shè)置隔離變壓器。有時(shí)候?yàn)楸ＷCUPS故障旁路后輸出高質(zhì)量電源，往往在UPS旁路輸出端設(shè)置隔離變壓器。

數(shù)據(jù)中心UPS供配電系統(tǒng)一般采用冗余方式供電，很少采用單機(jī)供電。冗余方式供電能在一臺UPS設(shè)備故障時(shí)，仍然能夠滿足機(jī)房內(nèi)重要設(shè)備的用電需求，這是單機(jī)供電所不能達(dá)到的。從冗余式配置方案來看，常用的有以下幾種方式：

(1) 熱備份式冗余UPS供電方式

主機(jī)帶負(fù)載，備機(jī)空載或帶非重要負(fù)載，備機(jī)接入主機(jī)的BYPASS(旁路)輸入端。這種方式布置比較靈活，不需要兩臺UPS同品牌，而且不要增加額外輔助電路，不增加購置成本。如果UPS主機(jī)發(fā)生了故障，那么UPS備機(jī)需要接替全部負(fù)載，這也就意味著設(shè)計(jì)時(shí)需要計(jì)算好UPS主機(jī)故障時(shí)，UPS備機(jī)所需承擔(dān)的總負(fù)載。此方式的缺陷在于UPS備機(jī)得具有階躍性負(fù)載承載能力，無法對電源系統(tǒng)進(jìn)行擴(kuò)容，兩臺容量不同的UPS相聯(lián)，只能按至低的UPS容量輸出。

(2) 直接并機(jī)冗余UPS供電方式

為克服熱備份式冗余供電系統(tǒng)的弱點(diǎn)，隨著UPS控制技術(shù)的進(jìn)步，具有相同額定輸出功率的UPS可直接并聯(lián)而形成冗余供電系統(tǒng)，為保證高質(zhì)量的并機(jī)系統(tǒng)，各電源間需要保持同頻、同相、且各機(jī)均流。此供電方式瞬間過載能力強(qiáng)，能夠自動均分功率，系統(tǒng)互為主備，提高供電可靠性，電源系統(tǒng)擴(kuò)容方便。但是存在著環(huán)流，增加無功損耗，降低系統(tǒng)可靠性，需增加額外輔助電路，隨之而來是增加成本，增加故障點(diǎn)。設(shè)計(jì)時(shí)，如2臺互備，每臺按照50%帶載能力考慮，并聯(lián)的主機(jī)越多，單臺主機(jī)的帶載能力就越低。

(3) 雙總線冗余供電方式

雙總線供電方式是采用兩條總線對后端設(shè)備進(jìn)行供電，每條總線上具有相同的一套UPS供電方式，消除可能出現(xiàn)在UPS輸出端與最終用戶負(fù)載端之間的“單點(diǎn)瓶頸"故障隱患，以提高輸出電源供電系統(tǒng)的“容錯(cuò)"功能。此供電方式能夠在線維護(hù)，在線擴(kuò)容，在線升級，改善了重要總線的可用性，滿足了雙電源用電設(shè)備的需求，實(shí)現(xiàn)了7×24×365運(yùn)行的目標(biāo)。但是雙總線冗余供電方式相當(dāng)于搭建了兩套前述供電方式的回路，需要增加2倍以上的成本。同時(shí)，為滿足單電源設(shè)備的供電需求，可在輸出端安裝STS，來保證供電輸出的可靠性。　　

UPS供電系統(tǒng)是滿足數(shù)據(jù)中心供電可靠性的核心部分，而蓄電池又是整個(gè)系統(tǒng)中主要的組成之一。當(dāng)組串中的一只電池因過充、過放等原因造成電池性能下降，電池內(nèi)阻變大，會導(dǎo)致電池出現(xiàn)發(fā)熱、鼓包等現(xiàn)象，將造成供電系統(tǒng)安全性的整體下降，同時(shí)增加蓄電池充放電的損耗。

圖5 數(shù)據(jù)中心UPS和蓄電池監(jiān)測配置示意圖

表4 數(shù)據(jù)中心蓄電池監(jiān)測選型表

5.3末端配電系統(tǒng)

機(jī)房UPS、精密空調(diào)電源系統(tǒng)輸入應(yīng)設(shè)置專用的輸入配電柜。電源系統(tǒng)輸入配電柜應(yīng)引接兩路電源、自動切換。UPS 電源主機(jī)的主電源和旁路電源應(yīng)分別引入，并宜由不同的輸入配電柜引接。UPS電源系統(tǒng)輸出應(yīng)采用放射式、雙回路配電方式。UPS 電源系統(tǒng)輸出應(yīng)采用三相配電，末端分相，以利三相平衡。

機(jī)房配電柜、UPS電源柜落地安裝，動力配電箱、照明配電箱底邊距地1.4m墻上暗裝，配電柜及其他電氣裝置的底座應(yīng)與建筑樓地面牢靠固定，并接地，機(jī)房內(nèi)應(yīng)分別設(shè)置維修和測試用插座，且有明顯區(qū)別標(biāo)志，測試用電源插座應(yīng)由UPS供電，維修插座由市電供電。所有線路的敷設(shè)是要以設(shè)備布局和設(shè)計(jì)圖紙為基礎(chǔ)進(jìn)行，設(shè)計(jì)時(shí)考慮供電距離盡量短，機(jī)房內(nèi)的電源線、信號線和通信線應(yīng)分別鋪設(shè)，不能共走同一線槽，UPS電源配電箱(柜)引出的配電線路，穿鍍鋅鋼管，沿機(jī)房活動地板下敷設(shè)至各排網(wǎng)絡(luò)或服務(wù)器機(jī)柜，使用插座或工業(yè)連接器為機(jī)柜供電。

5.3.1 精密配電柜

精密配電柜是為數(shù)據(jù)中心的設(shè)備機(jī)柜提供電源的末端配電設(shè)備，一般采用雙回路供電，電源分別來自兩臺冗余的UPS，分為交流和直流供電，一般放置在機(jī)柜陣列的兩端，也稱列頭柜，如圖6所示。

圖6 ANDPF精密配電柜

安科瑞精密配電監(jiān)控解決方案針對精密配電柜監(jiān)控?cái)?shù)字化要求，方案包括交流（AC220V）、直流（DC-48V/240V/336V）系統(tǒng)。由觸摸式液晶顯示屏、綜合信息處理主機(jī)模塊、開關(guān)狀態(tài)采集模塊、電流互感器(交流)或霍爾傳感器(直流)采集單元模塊等組成。監(jiān)測兩路主進(jìn)線和A+B雙面饋線回路電量參數(shù)、開關(guān)狀態(tài)、諧波含量、柜內(nèi)溫濕度等數(shù)據(jù)，可以在本地觸摸屏顯示，同時(shí)可以上傳AcrelEMS-IDC數(shù)據(jù)中心能效管理系統(tǒng)顯示和報(bào)警。產(chǎn)品方案見表5。

表5 精密配電柜數(shù)字化方案產(chǎn)品選型

5.3.2 智慧母線槽

近年來隨著數(shù)據(jù)中心建設(shè)的快速發(fā)展，智能母線槽的方案運(yùn)用越來越多。相比傳統(tǒng)精密配電柜，數(shù)據(jù)中心母線槽架空鋪設(shè)，具有安裝檢修方便、不占地、散熱快、易增容等優(yōu)勢。母線槽通過始端箱從前端UPS取電，以母排系統(tǒng)組成輸電結(jié)構(gòu)，采用即插即用的方式，通過插接箱給各個(gè)IT機(jī)柜內(nèi)的PDU供電。

圖7 智能母線槽數(shù)據(jù)采集方案示意圖

安科瑞智能母線槽方案在始端箱和插接箱內(nèi)配置AMB100/AMB110監(jiān)測單元，測量始端箱、插接箱電壓、電流、頻率、有功功率、無功功率、功率因數(shù)、有功電能、無功電能、諧波畸變、溫濕度、漏電電流等數(shù)據(jù)，可以通過有線或無線方式傳輸數(shù)據(jù)，在本地觸摸屏顯示，同時(shí)可以上傳數(shù)據(jù)中心能效管理系統(tǒng)，實(shí)現(xiàn)母線槽的數(shù)據(jù)展示和異常預(yù)警。

另外由于母線槽是由銅制母排搭接而成，接頭部位可能會由于接觸不良而異常發(fā)熱，所以需要對母線槽接頭溫度進(jìn)行實(shí)時(shí)監(jiān)測，安科瑞AMB200母線接頭溫度監(jiān)測裝置進(jìn)行接觸式測溫，AMB300通過紅外非接觸式測溫方式監(jiān)測母線溫度，數(shù)據(jù)通過有線或無線方式傳輸本地觸摸屏顯示，同時(shí)可以上傳數(shù)據(jù)中心能效管理系統(tǒng)，實(shí)現(xiàn)母線槽溫度的實(shí)時(shí)預(yù)警，設(shè)備選型如表6所示。

表6 智能母線槽解決方案選型表

5.4 數(shù)據(jù)中心能效管理系統(tǒng)設(shè)計(jì)

AcrelEMS-IDC數(shù)據(jù)中心能效管理系統(tǒng)搭建基于高、中、低壓配電系統(tǒng)、柴油發(fā)電機(jī)、UPS的實(shí)時(shí)監(jiān)控和末端配電系統(tǒng)數(shù)據(jù)采集的電力監(jiān)控、PUE分析以及動環(huán)監(jiān)測，幫助數(shù)據(jù)中心管理者了解數(shù)據(jù)中心能源運(yùn)行情況，并關(guān)注消防和電氣安全，及時(shí)預(yù)警異常情況，保障數(shù)據(jù)中心穩(wěn)定可靠運(yùn)行。除了變電站、柴油發(fā)電機(jī)和UPS運(yùn)行監(jiān)控以外，特別是針對數(shù)據(jù)中心的末端配電環(huán)節(jié)，系統(tǒng)數(shù)據(jù)跟蹤到每一個(gè)回路的電氣參數(shù)和開關(guān)狀態(tài)、溫濕度數(shù)據(jù)等。

圖8 數(shù)據(jù)中心能效管理系統(tǒng)架構(gòu)圖

5.4.1 電力監(jiān)控

監(jiān)控110kV變電站、10kV開閉所、10/0.4kV低壓變配電室配電系統(tǒng)運(yùn)行情況，實(shí)現(xiàn)遙測、遙信、越限報(bào)警、故障分析、電能質(zhì)量分析、運(yùn)行報(bào)表等功能。

5.4.2 設(shè)備監(jiān)控

監(jiān)測柴油發(fā)電機(jī)、變壓器、UPS、蓄電池組、精密配電柜、精密空調(diào)的狀態(tài)以及運(yùn)行參數(shù)，并提供異常預(yù)警、運(yùn)行報(bào)表等功能。

5.4.3 能耗分析

統(tǒng)計(jì)數(shù)據(jù)中心總能耗、IT設(shè)備能耗、制冷系統(tǒng)能耗、供電系統(tǒng)能耗、照明及辦公能耗等分項(xiàng)用能，并計(jì)算CLF/PLF/PUE等能耗指標(biāo)。

5.4.4 環(huán)境監(jiān)測

監(jiān)測數(shù)據(jù)中心溫濕度、水浸，蓄電池內(nèi)阻、溫度、電壓、蓄電池間氫氣濃度等數(shù)據(jù)并提供越限告警和聯(lián)動控制。

5.4.5 精密配電柜或小母線運(yùn)行監(jiān)測

系統(tǒng)監(jiān)測精密配電柜或母線槽系統(tǒng)電氣接點(diǎn)溫度以及漏電電流，并設(shè)置溫度、漏電越限告警，及時(shí)消除系統(tǒng)隱患。系統(tǒng)監(jiān)測每路饋線回路的電流、功率、開關(guān)狀態(tài)和用電量，還可以配置溫度、濕度傳感器用于監(jiān)測線路接點(diǎn)溫度和柜內(nèi)濕度，設(shè)置參數(shù)高低越限告警，避免回路超負(fù)荷運(yùn)行而導(dǎo)致意外斷電。

5.4.6 故障預(yù)警

系統(tǒng)對數(shù)據(jù)中心的故障類型進(jìn)行分級分類處理，可以通過語音、文字彈窗、短信等方式提供故障預(yù)警信號，并對故障進(jìn)行分類展示。

5.4.7 運(yùn)維管理

系統(tǒng)為數(shù)據(jù)中心提供設(shè)備管理和運(yùn)維管理功能，包括設(shè)備臺賬、設(shè)備保養(yǎng)、工單管理、巡檢記錄、缺陷管理、搶修記錄等功能，告別依靠手工記賬，降低人力和時(shí)間成本。

六、結(jié)束語

不同用途或等級的數(shù)據(jù)中心對可靠性的要求不同，直接關(guān)系到數(shù)據(jù)中心的建設(shè)投資和運(yùn)營成本。數(shù)據(jù)中心供配電系統(tǒng)是數(shù)據(jù)中心主要的基礎(chǔ)設(shè)施，應(yīng)在數(shù)據(jù)中心建設(shè)初期予以統(tǒng)籌考慮和規(guī)劃，并根據(jù)數(shù)據(jù)中心對供電可靠性的要求，在供電電源選擇、供配電系統(tǒng)布置、供配電系統(tǒng)結(jié)構(gòu)和形式等方面采取相應(yīng)的技術(shù)措施。同時(shí)，還應(yīng)充分運(yùn)用成熟有效的節(jié)能措施和能效管理系統(tǒng)，降低供配電系統(tǒng)的損耗，減少運(yùn)營成本。