电竞比分网-中国电竞赛事及体育赛事平台

分享

見微知著:騰訊數(shù)據(jù)中心開放活動隨想

 霍耕田 2019-09-03

京津高速路況不錯,正行進間李典林突然掐斷話頭,指向路右手邊一片泥地上的兩個剛搭好框架的疑似倉儲式建筑說:“快看,就像那個!”

車速不算很慢,權(quán)衡了一下我沒有掏出手機拍照。不過呢,除了天空的顏色及能見度,真的很像這個:

或者這個:

上面兩幅圖都是建造中的Facebook Prineville數(shù)據(jù)中心(2010年),早已投入使用。當(dāng)然,我們知道數(shù)據(jù)中心通常不會建在高速公路邊上,真正的大環(huán)境應(yīng)該是下面這個樣子:

Prineville的數(shù)據(jù)中心們,遠處(①)是Facebook已經(jīng)建成的兩個數(shù)據(jù)中心(建筑),近處(②)是蘋果(2012年)規(guī)劃的數(shù)據(jù)中心

關(guān)鍵在于,不論李典林手指的工地是不是在建中的倉庫,他說的確實是數(shù)據(jù)中心的事兒。

如果我有條件好好的拍下典林所指的畫面,就可以“一張圖說明”騰訊為何要大力發(fā)展微模塊數(shù)據(jù)中心(TMDC)了。

有一個耳熟能詳?shù)脑~,叫“國情不同”(或“中國特色”);接地氣點的說法,主要受三大因素限制:土地、空氣、產(chǎn)業(yè)環(huán)境——簡而言之,就是“環(huán)境”。

騰訊天津數(shù)據(jù)中心在國內(nèi)處于先進行列

用騰訊公司副總裁別洪濤在騰訊數(shù)據(jù)中心分享日上的話說,騰訊在數(shù)據(jù)中心領(lǐng)域起步比較早,在2006年就應(yīng)業(yè)務(wù)發(fā)展需要,在深圳租了第一個工業(yè)樓宇開始嘗試數(shù)據(jù)中心的建設(shè)和創(chuàng)新,2007年便開始了第一個20萬臺服務(wù)器規(guī)模數(shù)據(jù)中心的設(shè)計與建設(shè),也就是我們?nèi)⒂^的天津數(shù)據(jù)中心。天津數(shù)據(jù)中心的建設(shè)從2008年啟動,2010年1月封頂,2010年12月建成,一期(1號樓)是騰訊的第二代數(shù)據(jù)中心,負載已達9兆瓦(MW)。我們參觀的3號樓屬于騰訊的第三代數(shù)據(jù)中心,“用現(xiàn)在制冷的方法做到極致,冬天在天津也只能做到1.2左右的PUE…”

騰訊天津濱海數(shù)據(jù)中心3號樓供電容量60MW(30×2),號稱亞洲單體供電能力最強的數(shù)據(jù)中心,單機柜平均容量8KW,高可到10KW。由于投入生產(chǎn)只有半年多時間(見安全運營天數(shù)),進駐服務(wù)器較少,當(dāng)前負載才1MW多

大洋彼岸的另一個社交巨頭Facebook,在自建數(shù)據(jù)中心上起步比騰訊晚,起點卻很高:2010年1月,F(xiàn)acebook宣布在俄勒岡(Oregon)州的Prineville建設(shè)屬于自己的第一個數(shù)據(jù)中心,同年7月決定擴建,12月完工,PUE低于1.1。

這可不是什么“后發(fā)優(yōu)勢”的案例,很大程度上是“美國國情”的體現(xiàn)。首先,美國地廣人稀,看看Prineville兩大巨頭數(shù)據(jù)中心坐落的照片就知道了,可以毫無負擔(dān)的采用倉儲式大開間的設(shè)計,“單體一層大開間容量就可達到十萬臺服務(wù)器量級?!迸c樓房相比,框架簡單,強度要求不高,不用考慮樓板承重問題,建設(shè)速度快,建好后直接進駐機架、微模塊、集裝箱無壓力,部署速度也快;

Facebook在Prineville第一個數(shù)據(jù)中心的冷卻系統(tǒng)示意圖

其次,空氣質(zhì)量好,可以直接采用外部空氣冷卻(自然風(fēng)冷),像Facebook就是頂棚進風(fēng)和出風(fēng),外部空氣進入后與適當(dāng)比例的熱通道(hot aisle)回風(fēng)混合(必要時噴水霧),送入服務(wù)器機架之間的冷通道。100%自然空氣冷卻,沒有空調(diào)水冷那么復(fù)雜的管線,也降低了對數(shù)據(jù)中心建筑的要求,同時提高能效和建設(shè)速度,可謂一舉兩得。

反觀我國,由于全國網(wǎng)絡(luò)建設(shè)的不均衡,像BAT(百度、阿里、騰訊)這樣的互聯(lián)網(wǎng)巨頭,建設(shè)數(shù)據(jù)中心要首選靠近用戶的地方,通常在人口密集的一二線城市附近,不說寸土寸金,起碼倉儲式大開間是不敢奢望的。即使是在相對偏遠的地區(qū),如融科智地建于大慶市東部的大慶聯(lián)想科技城云計算數(shù)據(jù)中心,也因為政府對建設(shè)用地容積率的規(guī)定,必須建成三層樓房。

騰訊天津數(shù)據(jù)中心3號樓是典型的三層建筑,其中第二層還未啟用

另一個有目共睹的問題就是空氣質(zhì)量,特別是京津地區(qū),近幾年的狀況堪憂。據(jù)別洪濤介紹,騰訊在天津數(shù)據(jù)中心部分嘗試過空氣自然冷卻,由于空氣含硫量比較高,腐蝕了許多硬盤的電路板,導(dǎo)致硬盤故障率上升,項目被迫放棄。因此,空調(diào)和水循環(huán)冷卻系統(tǒng)必不可少。典型的做法是一層接市電、裝柴油發(fā)電機,以及制冷設(shè)備和復(fù)雜的水循環(huán)管路,二、三層布置服務(wù)器機架等IT設(shè)備及電、冷支持系統(tǒng)(如騰訊天津數(shù)據(jù)中心3號樓)。這樣的話,基建工作復(fù)雜、要求高,IT系統(tǒng)的部署則受限于電梯等中間環(huán)節(jié),總體周期長,PUE(Power Usage Effectiveness,電源使用效率)也無法與Facebook、Google等相比。

騰訊數(shù)據(jù)中心的微信公眾號享有與“騰訊新聞”同等的待遇

不過,在各種新業(yè)務(wù)層出不窮、快速發(fā)展的互聯(lián)網(wǎng)時代,數(shù)據(jù)中心建設(shè)速度只有更快,沒有夠快。美國和中國的互聯(lián)網(wǎng)巨頭都將模塊化數(shù)據(jù)中心作為發(fā)展方向,即數(shù)據(jù)中心建設(shè)盡量由傳統(tǒng)的工程項目變成工廠生產(chǎn)、現(xiàn)場組裝的方式,標(biāo)準化、快速、降低成本。從這一點來說,騰訊的微模塊數(shù)據(jù)中心與Facebook的RDDC(Rapid Deployment Data Center,快速部署數(shù)據(jù)中心)基于同樣的思想,只是由于國情不同而在技術(shù)路線上各有側(cè)重。

騰訊天津數(shù)據(jù)中心3號樓一層的管道,這是典型的工程,很難模塊化

在整個應(yīng)用堆棧中,數(shù)據(jù)中心屬于基礎(chǔ)設(shè)施,而就數(shù)據(jù)中心本身而言,建筑、供變電、冷卻系統(tǒng)等“風(fēng)火水電”(金木水火土?)的部分,又是是數(shù)據(jù)中心里(相對IT設(shè)施)的基礎(chǔ)設(shè)施。在傳統(tǒng)數(shù)據(jù)中心里,基礎(chǔ)設(shè)施和IT設(shè)施是分開考慮的,而為了提高效率、簡化運維等考慮,現(xiàn)代超大規(guī)模數(shù)據(jù)中心更強調(diào)整體性,將基礎(chǔ)設(shè)施和IT設(shè)施統(tǒng)籌考慮。如李典林在今年的Datacenter Dynamics Converged會議深圳站上所說:騰訊的模塊化數(shù)據(jù)中心設(shè)計遵循“從小到大”的原則,即從機架、IT微模塊、機房模塊、建筑單體和園區(qū)逐層設(shè)計;而模塊化數(shù)據(jù)中心建設(shè)遵循“從大到小”的原則,即從園區(qū)、建筑單體、機房模塊、IT微模塊到機架逐層實施?!叭绻逊?wù)器看成標(biāo)準磚頭,機柜看成廚房/陽臺/洗手間,微模塊就是小戶型套房。通過微模塊,我們可以不斷復(fù)制堆疊,形成機房樓,乃至整個園區(qū)?!?/p>

在大環(huán)境允許的情況下,像Facebook這樣的公司,已經(jīng)在嘗試包括基礎(chǔ)設(shè)施在內(nèi)的整個數(shù)據(jù)中心的模塊化。中國則不同,單憑水循環(huán)管道的存在,就很難實現(xiàn)基礎(chǔ)設(shè)施的模塊化。所以,雖然BAT都有自建數(shù)據(jù)中心,與運營商合作的數(shù)據(jù)中心仍是主流,復(fù)雜的土木工程(而不是相對簡單的模塊化搭建)終非他們所長,何況運營商還可以解決網(wǎng)絡(luò)建設(shè)和接入帶寬的問題。

在這種情況下,圍繞IT設(shè)施的模塊化工作就成了BAT的重點。以機架為單元的天蝎項目(Project Scorpio,BAT發(fā)起)是一例,而將多個機柜連同冷通道組件等作為一個整體是更大范圍上的模塊化,如百度的預(yù)模塊、騰訊的微模塊,F(xiàn)acebook的RDDC也包括相應(yīng)的部分。

騰訊微模塊數(shù)據(jù)中心(TMDC),可以看到近處的兩個用的都是天蝎整機柜

騰訊對微模塊數(shù)據(jù)中心的定義是,以若干機架為基本單位,包含制冷模塊、供配電模塊以及網(wǎng)絡(luò)、布線、監(jiān)控在內(nèi)的獨立的運行單元。換句話說,微模塊數(shù)據(jù)中心就是IT設(shè)施(服務(wù)器、網(wǎng)絡(luò)、存儲、機架)加上部分基礎(chǔ)設(shè)施,如高壓直流UPS、末端精密空調(diào)、末端配電等,是一個對外部有部分依賴的微型數(shù)據(jù)中心。工信部2013年11月中對騰訊寶安數(shù)據(jù)中心的實測表明,TMDC 2.0內(nèi)部(不含外部空調(diào)系統(tǒng),市電+高壓直流)的PUE達到1.066,顯然不能代表整個數(shù)據(jù)中心的PUE水平。

微模塊數(shù)據(jù)中心具有模塊化數(shù)據(jù)中心標(biāo)準化、部署靈活快速的優(yōu)點,對使用第三方數(shù)據(jù)中心格外有幫助。騰訊力推微模塊還有自身業(yè)務(wù)的考慮,因為騰訊產(chǎn)品很多(大家懂的),如負責(zé)天津數(shù)據(jù)中心的騰訊華北數(shù)據(jù)中心經(jīng)理閆昆所說,一個業(yè)務(wù)上線初期很難估計其使用量,微模塊顆粒度相對較細,小量部署也更具經(jīng)濟性。

騰訊天津數(shù)據(jù)中心外景,再看一眼午后的天空…

在標(biāo)準化方面,別洪濤表示,騰訊現(xiàn)在做的一件事情是把微模塊北向和南向接口進行標(biāo)準化。南向接口是面向微模塊內(nèi)部的控制單元接口,北向接口是到運營管理平面的接口,騰訊希望把這兩個軟件接口標(biāo)準化,這樣就可以用運營管理系統(tǒng)把海量的數(shù)據(jù)中心智能、有效地運營管理起來,化解運營方面日益嚴峻的挑戰(zhàn)。

別洪濤認為,微模塊再怎么發(fā)展,以騰訊一家的努力,投入的資源終歸有限,騰訊希望能夠和大家一起建立開放的標(biāo)準,通過開放,可以做得更好。在8月底舉行的開放數(shù)據(jù)中心大會上,BAT攜手中國移動和中國電信成立了“開放數(shù)據(jù)中心委員會”數(shù)據(jù)中心工作組,騰訊IDC平臺部技術(shù)發(fā)展中心副總監(jiān)朱華任組長,第一次舉辦的騰訊數(shù)據(jù)中心分享日和開放日活動也邀請了大量百度和阿里巴巴的同仁們參加,充分體現(xiàn)了騰訊開放數(shù)據(jù)中心技術(shù)、推動數(shù)據(jù)中心生態(tài)系統(tǒng)演進的決心。

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多