2009年，阿里云開啟了中國的云時(shí)代。

十年市場教育，中國的公有云市場也已經(jīng)從無到有，邁過了300億元大關(guān)，預(yù)計(jì)到2021年更是能達(dá)到900億元的規(guī)模。

「數(shù)據(jù)上云」已經(jīng)從一個(gè)技術(shù)詞匯，慢慢轉(zhuǎn)變成為企業(yè)界的共識：如果想要在信息商業(yè)中擁有一席之地，就必須要借助云計(jì)算的力量，完成企業(yè)的數(shù)字化轉(zhuǎn)型。

只是，數(shù)據(jù)到底在轉(zhuǎn)型中扮演什么樣的角色，要如何利用好數(shù)據(jù)，數(shù)據(jù)上云后如何支持業(yè)務(wù)，企業(yè)需要哪些核心能力？這些問題，對于大多數(shù)的非技術(shù)業(yè)者而言，仍然是知其然不知其所以然。

作為數(shù)據(jù)業(yè)務(wù)領(lǐng)域的先行者，阿里云總裁張建鋒，把數(shù)據(jù)智能作為數(shù)據(jù)處理的核心能力：

「今天處理數(shù)據(jù)絕大部分都不是單純靠算力，算力是基礎(chǔ)，而主要是靠上面的智能化的算法，算法跟各行各業(yè)的業(yè)務(wù)有密切相關(guān)，所以阿里巴巴通過與各行各業(yè)合作，沉淀了一個(gè)完整的智能化平臺。我們認(rèn)為在基礎(chǔ)設(shè)施的云化、核心技術(shù)的互聯(lián)網(wǎng)化以及在之上疊加大數(shù)據(jù) 智能化的平臺和能力，完整地組成了阿里云智能的整體能力框架。這是我們核心的能力。」

這里面?zhèn)鬟_(dá)出了幾個(gè)核心信息：

1.云計(jì)算為數(shù)據(jù)智能提供了基礎(chǔ)算力；

2.行業(yè)（經(jīng)驗(yàn)轉(zhuǎn)化而來的）算法是智能處理數(shù)據(jù)的主要工具；

3.數(shù)據(jù) 智能的平臺和能力，前提是基礎(chǔ)設(shè)施的云化和核心技術(shù)的互聯(lián)網(wǎng)化；

這是阿里云所認(rèn)為的數(shù)據(jù)處理的能力框架，而在市場上，我們通常把這種能力框架稱為「數(shù)據(jù)中臺」。

輿論往往會(huì)更強(qiáng)調(diào)技術(shù)的作用，強(qiáng)調(diào)技術(shù)對業(yè)務(wù)的推動(dòng)作用，但事實(shí)上，在商業(yè)領(lǐng)域，更多的時(shí)候，技術(shù)發(fā)展都是跟著業(yè)務(wù)走，技術(shù)的發(fā)展常常來自于業(yè)務(wù)需求和業(yè)務(wù)場景的倒逼。

例如，隨著越來越多的企業(yè)把業(yè)務(wù)流程上云，日益增長的數(shù)據(jù)存儲(chǔ)和仍然稀缺的數(shù)據(jù)應(yīng)用就成為了企業(yè)的主要矛盾之一，而且，這種矛盾不是一天就能夠解決，需要從業(yè)務(wù)、技術(shù)、組織幾個(gè)不同的領(lǐng)域一起來探尋數(shù)據(jù)的解決方案。

「數(shù)據(jù)中臺」就是這一系列解決方案的基礎(chǔ)設(shè)施。

數(shù)據(jù)中臺不是一套軟件系統(tǒng)，也不是一個(gè)標(biāo)準(zhǔn)化產(chǎn)品，只能說，站在企業(yè)的角度上，數(shù)據(jù)中臺更多地指向企業(yè)的業(yè)務(wù)目標(biāo)，也即幫助企業(yè)沉淀業(yè)務(wù)能力，提升業(yè)務(wù)效率，最終完成數(shù)字化轉(zhuǎn)型。

那么，數(shù)據(jù)中臺又是如何一步步驅(qū)動(dòng)業(yè)務(wù)的呢？

顯然，他是回答這個(gè)問題的最佳人選。

Q：我們常說，技術(shù)發(fā)展都是跟著業(yè)務(wù)走，能不能請您介紹一下，在互聯(lián)網(wǎng)平臺上，和業(yè)務(wù)場景相關(guān)的數(shù)據(jù)處理有哪些類型？

A：互聯(lián)網(wǎng)里面最多的業(yè)務(wù)都是和消費(fèi)者相關(guān)的業(yè)務(wù)，這是一個(gè)大的場景，跟著這個(gè)場景會(huì)有兩條主要的線，一條是事務(wù)處理需求，我們稱其為OLTP（聯(lián)機(jī)事務(wù)處理），另一條是分析需求，我們稱其為OLAP（聯(lián)機(jī)分析處理）。

舉個(gè)例子，最早淘寶還只是一個(gè)網(wǎng)站的時(shí)候，整個(gè)結(jié)構(gòu)就是前端的一些頁面，加上后端的DB（DataBase，數(shù)據(jù)庫），這就是一個(gè)OLTP系統(tǒng)，主要用于交易的事務(wù)處理。

但是，當(dāng)淘寶發(fā)展到100萬用戶的時(shí)候，就出現(xiàn)了另外一個(gè)需求，也就是之前說的分析需求，淘寶需要知道這些交易來自于哪些地區(qū)，來自于哪些人，這就出現(xiàn)了報(bào)表需求。

Q：那么，分析報(bào)表這種OLAP需求，和之前的事務(wù)處理OLTP的差別在哪里呢？

A：別急，哈哈。交易場景的特點(diǎn)是強(qiáng)調(diào)高并發(fā)、單條數(shù)據(jù)簡單提取和展示（增刪改查），而報(bào)表需求則沒有那么多的并發(fā)數(shù)，但是對于數(shù)據(jù)的要求和交易場景不同，對數(shù)據(jù)批處理的要求也比較高，也就是通常所說的低并發(fā)，大批量（批處理）、面向分析（query 計(jì)算，用于制作報(bào)表）。

這樣一來，分析需求（OLAP）和交易（OLTP）的DB放在一起就非常不合適，這時(shí)候出現(xiàn)了兩個(gè)變化：

第一個(gè)，DB本身也在發(fā)生變化，從傳統(tǒng)DB轉(zhuǎn)向分布式DB。主要原因是以前交易穩(wěn)定，并發(fā)可控，傳統(tǒng)DB能滿足需求，但是后來隨著交易量的增長，并發(fā)越來越不可控，對分布式DB的需求也就出來了；

第二個(gè)，針對分析需求就出現(xiàn)了DW（DataWarehouse，數(shù)據(jù)倉庫），我2004年加入阿里，用Oracle RAC搭建了阿里巴巴第一個(gè)DW。

Q：在講電商系統(tǒng)發(fā)展過程的時(shí)候，我們常把其分為四個(gè)階段：單一業(yè)務(wù)系統(tǒng)階段，分布式業(yè)務(wù)系統(tǒng)階段，業(yè)務(wù)平臺化階段，業(yè)務(wù)中臺化階段，那么，在數(shù)據(jù)處理領(lǐng)域是否也分類似的階段？

A：有的，電商系統(tǒng)就是OLTP的典型應(yīng)用場景，電商的單一業(yè)務(wù)系統(tǒng)階段就是之前說的數(shù)據(jù)庫（DB）階段；而OLAP分析需求的增長，則帶動(dòng)業(yè)務(wù)進(jìn)入了第二個(gè)階段，也就是數(shù)據(jù)倉庫（DW）階段，主要處理分析報(bào)表的需求；對應(yīng)業(yè)務(wù)平臺化，第三個(gè)階段是數(shù)據(jù)平臺階段，主要還是解決報(bào)表和BI的需求；第四個(gè)階段，就是我們現(xiàn)在說的數(shù)據(jù)中臺階段，主要在把OLAP和OLTP去做對接。

（??數(shù)據(jù)中臺演進(jìn)的四個(gè)階段）

Q：原來第三階段還在解決報(bào)表需求......

A：對，這個(gè)階段主要解決的是技術(shù)問題。在數(shù)據(jù)庫技術(shù)領(lǐng)域：「Shared Everthting、Shared Nothing、和Shared Disk」，說的就是這個(gè)過程中數(shù)據(jù)庫架構(gòu)設(shè)計(jì)的不同技術(shù)思路。

Shared Everything一般是針對單個(gè)主機(jī)，完全透明共享CPU/MEMORY/IO，并行處理能力是最差的，典型的代表SQLServer。

Shared Disk的代表是Oracle RAC，用戶訪問RAC就像訪問一個(gè)數(shù)據(jù)庫，但是這背后是一個(gè)集群，RAC來保證這個(gè)集群的數(shù)據(jù)一致性。

問題在于，Oracle RAC是基于IOE架構(gòu)的，所有數(shù)據(jù)用同一個(gè)EMC存儲(chǔ)。在海量數(shù)據(jù)處理上，IOE架構(gòu)有天然的限制，不適合未來的發(fā)展。阿里巴巴的第一個(gè)數(shù)據(jù)倉庫就是建立在Oracle RAC上，由于數(shù)據(jù)量增長太快，所以很快就到達(dá)20個(gè)節(jié)點(diǎn)，當(dāng)時(shí)是全亞洲最大的Oracle RAC集群，但阿里巴巴早年算過一筆賬，如果仍然沿用IOE架構(gòu)，那么幾年后，阿里的預(yù)計(jì)營收還遠(yuǎn)遠(yuǎn)趕不上服務(wù)器的支出費(fèi)用，就是說，如果不去IOE，阿里會(huì)破產(chǎn)。

Shared Nothing的代表就是Hadoop。Hadoop的各個(gè)處理單元都有自己私有的存儲(chǔ)單元和處理單元，各處理單元之間通過協(xié)議通信，并行處理和擴(kuò)展能力更好。中間有一個(gè)分布式調(diào)度系統(tǒng)，會(huì)把表從物理存儲(chǔ)上水平分割，分配給多臺服務(wù)器。

Hadoop的好處是要增加數(shù)據(jù)處理的能力和容量，只需要增加服務(wù)器就好，成本不高，在海量數(shù)據(jù)處理和大規(guī)模并行處理上有很大優(yōu)勢。

Q：原來如此，那么第四個(gè)就是目前的數(shù)據(jù)中臺階段。

A：從業(yè)務(wù)來看，數(shù)據(jù)也好，數(shù)據(jù)分析也好，最終都是要為業(yè)務(wù)服務(wù)的。也就是說，要在系統(tǒng)層面能把OLAP和OLTP去做對接，這是數(shù)據(jù)中臺要解決的問題。

目前的數(shù)據(jù)中臺，最底下的數(shù)據(jù)平臺還是偏技術(shù)的，是中臺技術(shù)方案的其中一個(gè)組件，主要解決數(shù)據(jù)存儲(chǔ)和計(jì)算的問題；在上面就是一層數(shù)據(jù)服務(wù)層，數(shù)據(jù)服務(wù)層通過服務(wù)化API能夠把數(shù)據(jù)平臺和前臺的業(yè)務(wù)層對接；這里面就沒有人的事情，直接系統(tǒng)去做對接，能把前臺的OLAP需求和OLTP需求去做對接。

Q：可否這么理解：第一階段到第二階段，主要解決數(shù)據(jù)的「看」，能夠?qū)I(yè)務(wù)進(jìn)行評估；第二階段到第三階段，解決數(shù)據(jù)的「用」，業(yè)務(wù)能夠拿著評估結(jié)果去改進(jìn)工作；第三階段到第四階段，數(shù)據(jù)化運(yùn)營，數(shù)據(jù)賦能業(yè)務(wù)高效運(yùn)營。

A：也可以，我們不常說：「一切業(yè)務(wù)數(shù)據(jù)化，一切數(shù)據(jù)業(yè)務(wù)化」，差不多就是這個(gè)意思。

Q：剛才你提到海量數(shù)據(jù)處理，那么，能不能從數(shù)據(jù)來源的角度來描述下數(shù)據(jù)和業(yè)務(wù)的關(guān)系？

A：國內(nèi)的情況，可以分三個(gè)時(shí)間點(diǎn)來講。

第一個(gè)階段是2003年之前，互聯(lián)網(wǎng)黃頁剛剛出現(xiàn)，數(shù)據(jù)來源大部分還是傳統(tǒng)商業(yè)的ERP/CRM的結(jié)構(gòu)化數(shù)據(jù)，也就是前面說的數(shù)據(jù)庫階段，這個(gè)時(shí)候數(shù)據(jù)量并不大，也就是GB的級別；

第二個(gè)階段是2004年，隨著BBS和搜索引擎的發(fā)展，互聯(lián)網(wǎng)進(jìn)入高速發(fā)展時(shí)期。和傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)不同，互聯(lián)網(wǎng)數(shù)據(jù)量最大的是非結(jié)構(gòu)化的網(wǎng)頁日志，90%以上的數(shù)據(jù)都來源于點(diǎn)擊（log），這時(shí)候數(shù)據(jù)量已經(jīng)達(dá)到了TB的級別，需要使用很多的技術(shù)，比如DW，去把非結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)下來。

第三個(gè)階段是2016年之后，IOT（物聯(lián)網(wǎng)）發(fā)展起來，帶動(dòng)了視圖聲（視頻、圖像、聲音）數(shù)據(jù)的增長，以后90%的數(shù)據(jù)可能都來自于視圖聲的非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)需要視覺計(jì)算技術(shù)、圖像解析的引擎 視頻解析的引擎 音頻解析的引擎來轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)。這時(shí)數(shù)據(jù)量已經(jīng)從PB級別邁向了EB級別。

5G技術(shù)的發(fā)展，可能會(huì)進(jìn)一步放大視圖聲數(shù)據(jù)的重要性。不管從數(shù)據(jù)量的增長、數(shù)據(jù)處理技術(shù)的進(jìn)步，還在站在企業(yè)對數(shù)據(jù)中臺的認(rèn)知來說，2019年都可以稱為數(shù)據(jù)中臺元年。

Q：這很有意思，科學(xué)研究表明，人從外部世界獲得的信息中，由眼睛獲取的約占80%，只是過去在線下，企業(yè)一直沒辦法去獲取和使用這些數(shù)據(jù)。

A：線下要想和線上一樣，通過數(shù)據(jù)來改善業(yè)務(wù)，就要和線上一樣能做到行為可監(jiān)測，數(shù)據(jù)可收集，這是前提。

而這些數(shù)據(jù)靠人來手工收集，肯定是不靠譜的，依靠IOT技術(shù)和視覺算法的進(jìn)步，最終會(huì)通過智能端來自動(dòng)化獲取數(shù)據(jù)。

這就是奇點(diǎn)云要自己掌控視覺算法的原因，在視覺技術(shù)方面，奇點(diǎn)云的人臉識別能力全球排名Top5，ReID技術(shù)排在全球Top2。

另外，要使用這些數(shù)據(jù)，光有視覺算法和智能端也不行，要有云來存儲(chǔ)和處理這些數(shù)據(jù)，并且最終通過AI算法來賦能業(yè)務(wù)來增長生意。

我認(rèn)為未來要做好數(shù)據(jù)中臺，只做云或者只做端都不靠譜，需要把兩者合起來做。智能端負(fù)責(zé)數(shù)據(jù)的收集，云負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)、計(jì)算、賦能。端能夠豐富云，云能夠賦能端。

所以未來服務(wù)線下企業(yè)的數(shù)據(jù)中臺一定是「AI驅(qū)動(dòng)的數(shù)據(jù)中臺」，這個(gè)中臺的能力要包括「計(jì)算平臺 算法模型 智能硬件」，不僅要在端上具備視覺數(shù)據(jù)的收集和分析能力，而且還要能通過Face ID，幫助企業(yè)去打通業(yè)務(wù)數(shù)據(jù)，最終建立線上線下觸達(dá)和服務(wù)消費(fèi)者的能力。

Q：那么，您認(rèn)為合格的數(shù)據(jù)中臺需要具備哪些能力？

A：需要具備三種能力。

第一是數(shù)據(jù)模型能力。

在業(yè)務(wù)層面，業(yè)務(wù)抽象能夠解決80%的共性問題，開放的系統(tǒng)架構(gòu)來解決20%的個(gè)性問題，但同時(shí)又要把平臺上的業(yè)務(wù)邏輯分開，因?yàn)椴煌臉I(yè)務(wù)邏輯之間可能有沖突。

這在數(shù)據(jù)中臺就表現(xiàn)為數(shù)據(jù)的中心化，也就是數(shù)據(jù)的高內(nèi)聚、低耦合，需要對共性問題抽象出業(yè)務(wù)的規(guī)則，建立數(shù)據(jù)模型，一個(gè)好的內(nèi)聚模塊能夠解決一個(gè)事情，同時(shí)又要降低模塊和模塊之間的耦合度，讓模塊具有良好的可讀性和可維護(hù)性。

這里的前提是要有真正懂業(yè)務(wù)能沉淀經(jīng)驗(yàn)的人，以及要在企業(yè)層面開展數(shù)據(jù)治理，讓數(shù)據(jù)能夠準(zhǔn)確、適度共享、安全地被使用。

第二是AI算法模型能力。

要實(shí)現(xiàn)數(shù)據(jù)業(yè)務(wù)化，前提是做到數(shù)據(jù)的資產(chǎn)化。要能夠從數(shù)據(jù)原油里面，去提煉出可以使用的汽油。

比如說數(shù)據(jù)的標(biāo)簽化，背后就有投入產(chǎn)出比的考量：通過標(biāo)簽，廣告主可以非常方便快捷地去建立自己的人群包，實(shí)現(xiàn)精準(zhǔn)營銷，同時(shí)投放的ROI也是可見的、透明的，廣告主可以自己去評估數(shù)據(jù)資產(chǎn)的使用情況。

第三是行業(yè)的應(yīng)用能力，也就是我們通常說的數(shù)據(jù)業(yè)務(wù)化能力。

和數(shù)據(jù)中心化類似，數(shù)據(jù)業(yè)務(wù)化也需要很強(qiáng)的行業(yè)經(jīng)驗(yàn)來指導(dǎo)，建立合適的業(yè)務(wù)場景，在場景里面去使用數(shù)據(jù)，從而體現(xiàn)數(shù)據(jù)的價(jià)值，來大大擴(kuò)展數(shù)據(jù)在行業(yè)中的應(yīng)用能力。

Q：能舉個(gè)例子嗎？

A：那我就說下TCIF（消費(fèi)者數(shù)據(jù)工廠）的例子吧。

先說為什么要做TCIF？

因?yàn)楫?dāng)時(shí)消費(fèi)者的信息分散在阿里巴巴的各個(gè)業(yè)務(wù)中，碎片化，散點(diǎn)化，而業(yè)務(wù)當(dāng)時(shí)需要把這些分散的人的數(shù)據(jù)集中起來，進(jìn)行人群畫像。

道理很明白，人群畫像越清晰，服務(wù)就會(huì)越精準(zhǔn)。

再說我們是怎么做的。

·首先，定義埋點(diǎn)規(guī)范，同一個(gè)人就用同一個(gè)標(biāo)識，ID打通，也就是所謂的One ID；

·其次，還會(huì)碰上一家人使用一個(gè)登錄賬號的問題，那么就需要建立同人的數(shù)據(jù)模型，通過一些方式，比如，IP網(wǎng)段是不是一樣，來分辨出具體的那個(gè)人，建立AID（Alibaba ID）；

·再次，每個(gè)人還有各種網(wǎng)絡(luò)行為，要如何把這些行為結(jié)構(gòu)化，裝到各種框架里面？這個(gè)特別難，我們當(dāng)時(shí)主要是跟人類學(xué)家合作，一起把行為的分類樹做出來。這個(gè)分類樹非常細(xì)，甚至能夠把一個(gè)人的發(fā)質(zhì)都結(jié)構(gòu)化了。

接下來，就需要通過算法模型，把所有的標(biāo)簽都貼回到人上面。

最后，比如阿里媽媽的達(dá)摩盤就會(huì)把這些標(biāo)簽提供給廣告主，讓廣告主能夠通過標(biāo)簽去建立人群畫像，進(jìn)行人群細(xì)分，以及建立投放用的人群包。

Q：最后，能否請您介紹下您個(gè)人的經(jīng)歷

A：我本人是2004年以技術(shù)專家身份加入的阿里巴巴，2016年離開，在阿里巴巴搭了第一個(gè)數(shù)據(jù)倉庫，創(chuàng)建了第一個(gè)消費(fèi)者數(shù)據(jù)工廠（TCIF），創(chuàng)建了阿里巴巴大數(shù)據(jù)平臺數(shù)加，可以說，這12年就是和數(shù)據(jù)作伴的12年。

因?yàn)閷τ跀?shù)據(jù)未來的判斷（注：未來90%以上都是視圖聲數(shù)據(jù)），2016年，我離開阿里巴巴創(chuàng)立了奇點(diǎn)云，去幫助線下企業(yè)復(fù)制線上，真正實(shí)踐「AI驅(qū)動(dòng)的數(shù)據(jù)中臺」。

Q：如果用一個(gè)或幾個(gè)詞來形容數(shù)據(jù)中臺給企業(yè)帶來的效果，您覺得會(huì)是哪個(gè)詞？

A：我會(huì)說是「降本增效」。這么多年來，互聯(lián)網(wǎng)的發(fā)展都建立在更低成本、更高效率的連接之上，線下也一定會(huì)延續(xù)線上的發(fā)展邏輯，而低成本高效率的連接，也會(huì)帶來更多的數(shù)據(jù)，從而幫助企業(yè)在各個(gè)層面降低成本，提高效率。

這是一個(gè)良性循環(huán)。

讀BD最佳實(shí)踐案例，贏DT未來！