大家都承認(rèn)數(shù)據(jù)的重要性，但數(shù)據(jù)團隊的關(guān)鍵作用也許在很多公司都沒有體現(xiàn)出來。大多數(shù)企業(yè)只依賴其數(shù)據(jù)團隊來統(tǒng)計用戶量或跟蹤用戶信息，只有少數(shù)企業(yè)利用數(shù)據(jù)開展改進產(chǎn)品的實驗，而能利用數(shù)據(jù)分析來調(diào)整目標(biāo)和流程的企業(yè)則更屈指可數(shù)。也許你需要量身打造一個適合公司發(fā)展階段的數(shù)據(jù)團隊了。

這是《手把手教你建立數(shù)據(jù)型公司系列》的第三篇。在上一篇文章中，我們介紹了為何數(shù)據(jù)科學(xué)如此重要、數(shù)據(jù)科學(xué)家的職責(zé)，以及數(shù)據(jù)科學(xué)的發(fā)展前景。在今天的文章中，我們將深入探究建立數(shù)據(jù)處理團隊的主要目標(biāo)、整體架構(gòu)，以及在各個特定開發(fā)階段的主要任務(wù)。本文研究成果來自紅杉美國數(shù)據(jù)科學(xué)團隊。

以下是本文的內(nèi)容要點：

? 數(shù)據(jù)處理團隊的三大目標(biāo)：評估健康狀況；交付適當(dāng)產(chǎn)品；制定產(chǎn)品目標(biāo)、流程和戰(zhàn)略。

? 充分構(gòu)建數(shù)據(jù)基礎(chǔ)設(shè)施，在產(chǎn)品生命周期的不同階段，聘用合適的數(shù)據(jù)處理人才，有助于開展整個數(shù)據(jù)分析過程。

? 隨著時間的推移，從用戶統(tǒng)計到最終制定產(chǎn)品流程和策略，數(shù)據(jù)處理團隊的任務(wù)應(yīng)隨之不斷變化。

建立數(shù)據(jù)處理團隊的主要目標(biāo)

企業(yè)競爭力越來越取決于如何成功地分析海量的、非結(jié)構(gòu)化的數(shù)據(jù)集，以及如何利用這些分析推動企業(yè)創(chuàng)新。因此，企業(yè)的當(dāng)務(wù)之急便是建立數(shù)據(jù)處理團隊，專注于從數(shù)據(jù)中汲取商業(yè)價值。

建立數(shù)據(jù)處理團隊首先要明確以這三方面為主要目標(biāo)：

?  評估健康狀況

監(jiān)控關(guān)鍵產(chǎn)品的指標(biāo)；了解這些指標(biāo)變化背后的因素，并識別出異常值；形成企業(yè)報告并可視化。

?  交付適當(dāng)產(chǎn)品

設(shè)計和評估實驗；細分用戶，建立用戶行為模型；利用人工智能和機器學(xué)習(xí)改進產(chǎn)品生產(chǎn)系統(tǒng)。

? 制定產(chǎn)品目標(biāo)、流程和策略

深入探索和分析用戶體驗過程；提出切實可行的策略并預(yù)測效果。

數(shù)據(jù)處理團隊架構(gòu)

要實現(xiàn)上述三大主要目標(biāo)，則需建立恰當(dāng)?shù)臄?shù)據(jù)基礎(chǔ)設(shè)施。圖1展示了整個數(shù)據(jù)處理團隊的架構(gòu)。

（圖1）

第一步是記錄下用戶與產(chǎn)品的所有交互行為——用戶每次點擊、懸停、打開、關(guān)閉和登錄等，以及第三方提供的所有數(shù)據(jù)。一般來說，隨著用戶數(shù)量和用戶參與度的增加，這些數(shù)據(jù)的規(guī)模會迅速擴大。

盡管這些數(shù)據(jù)不一定都有意義，但記錄用戶足跡是整個過程中的關(guān)鍵步驟。由于很多企業(yè)并不清楚自己最終需要什么樣的數(shù)據(jù)，所以最簡單的方法便是記錄所有。之后，某些特定類型的數(shù)據(jù)需要經(jīng)過處理才會變得有用，比如欺詐檢測和直播視頻。

原始數(shù)據(jù)可以通過ETL（萃取、轉(zhuǎn)置、加載的過程）至數(shù)據(jù)倉庫，數(shù)據(jù)倉庫則以更為結(jié)構(gòu)化的形式（通常由結(jié)構(gòu)化查詢語言SQL支持）存儲數(shù)據(jù)。一些較大的企業(yè)選擇將所有傳入的數(shù)據(jù)以原始形式儲存在數(shù)據(jù)池中（一個存儲所有數(shù)據(jù)的集中式存儲庫），這樣一來，企業(yè)便可以利用最新的邏輯，對下游的數(shù)據(jù)存儲進行補充。

許多大中型企業(yè)擁有多個數(shù)據(jù)倉庫和數(shù)據(jù)池，但如果沒有構(gòu)建數(shù)據(jù)集，數(shù)據(jù)的直接分析就會變得困難。因此，構(gòu)建數(shù)據(jù)集往往需要針對特定使用目的進行另一個萃取、轉(zhuǎn)置、加載過程。之后，輸出的數(shù)據(jù)將被存儲在一個分析數(shù)據(jù)庫中，用于更深入地分析，從而形成報告并將其可視化，并構(gòu)建起人工智能和機器學(xué)習(xí)（AI/ML）模型。

這些深入了解將有助于制定流程和策略，可視化和報告則將有助于監(jiān)控產(chǎn)品的開發(fā)進度，而AI/ML模型將有助于實現(xiàn)自動化并預(yù)測其效果。

此外，測試-學(xué)習(xí)方法是構(gòu)建任何數(shù)據(jù)型產(chǎn)品的關(guān)鍵，它可以基于追蹤的用戶行為數(shù)據(jù)，開發(fā)并定制產(chǎn)品。根據(jù)對關(guān)鍵指標(biāo)的影響，企業(yè)運行、評估和實施大量的產(chǎn)品實驗（比如，A/B測試）。在這些實驗中，特征標(biāo)記將對用戶進行細分，以確保不同的用戶群組數(shù)據(jù)將會得到不同的處理。

隨著數(shù)據(jù)處理的規(guī)模化和標(biāo)準(zhǔn)化，多種與數(shù)據(jù)相關(guān)的專業(yè)崗位將會誕生，包括數(shù)據(jù)分析師、數(shù)據(jù)工程師、數(shù)據(jù)基礎(chǔ)設(shè)施工程師、數(shù)據(jù)架構(gòu)師和數(shù)據(jù)科學(xué)家。在不同項目中，創(chuàng)建者、終端用戶和數(shù)據(jù)產(chǎn)品各不相同（詳見圖2）。

（圖2）

數(shù)據(jù)處理團隊的演進

數(shù)據(jù)處理團隊的功能應(yīng)隨著產(chǎn)品的發(fā)展而演進。例如，在早期階段，聘請專門從事分析千萬級字節(jié)數(shù)據(jù)的數(shù)據(jù)工程師可能作用不大，但隨著產(chǎn)品的推廣，他們的作用則會日益彰顯。構(gòu)建數(shù)據(jù)處理團隊?wèi)?yīng)著眼于中短期需求，數(shù)據(jù)基礎(chǔ)設(shè)施的建設(shè)則應(yīng)以長期需求為基礎(chǔ)。

下面，我們來談什么是數(shù)據(jù)團隊在各個特定開發(fā)階段的主要任務(wù)。

（圖3）

?  階段一

起初，當(dāng)企業(yè)在統(tǒng)計用戶數(shù)量時，出色的技術(shù)執(zhí)行能力是企業(yè)的核心技能，比如建立基礎(chǔ)設(shè)施生成可信的KPI、創(chuàng)建用戶跟蹤數(shù)據(jù)，并形成最初的報告。對于大多數(shù)公司來說，產(chǎn)品團隊即為最初的數(shù)據(jù)團隊。因為產(chǎn)品團隊負責(zé)定義度量標(biāo)準(zhǔn)，并且隨著產(chǎn)品使用量的增加，計算和存儲與這些度量標(biāo)準(zhǔn)相關(guān)的數(shù)據(jù)。

?  階段二

隨著企業(yè)和產(chǎn)品的發(fā)展，完善信息板和報告變得越來越重要。這時，數(shù)據(jù)工程便成為獨立于產(chǎn)品工程的核心功能，而構(gòu)建基礎(chǔ)設(shè)施的目的則是專門支持ETL和報告的功能。尤為重要的是，數(shù)據(jù)團隊需要對產(chǎn)品進行深入了解，并提出看法。除了監(jiān)控KPI、向企業(yè)其他部門提供分析報告之外，數(shù)據(jù)團隊的核心職責(zé)還包括進行特別分析，識別出度量偏差的根本原因。

?  階段三

一旦產(chǎn)品使用量達到一定規(guī)模，需要進行統(tǒng)計意義上的實驗來改進產(chǎn)品體驗，這時，對于數(shù)據(jù)分析師和數(shù)據(jù)工程師來說，統(tǒng)計技能就至關(guān)重要。于數(shù)據(jù)分析師而言，精心設(shè)計實驗、從統(tǒng)計角度正確解釋結(jié)果是核心要求。在后端的實驗框架中，則需要考慮用戶跟蹤（避免同一用戶的數(shù)據(jù)參與到多個相關(guān)實驗中）和其他能夠快速分析結(jié)果的統(tǒng)計特性。

?  階段四

最后，數(shù)據(jù)科學(xué)團隊最重要的目標(biāo)是設(shè)置企業(yè)目標(biāo)、流程和策略。設(shè)定正確的目標(biāo)需要基于對業(yè)務(wù)整體目標(biāo)的理解。制定流程需要基于探索性分析的能力，識別出問題和機遇，并將想法與結(jié)果聯(lián)系在一起。具體來說，便是需要分析出任何現(xiàn)象背后的驅(qū)動因素、可用來做出改變的杠桿，并將這些想法與實踐結(jié)合起來。

除此之外，為產(chǎn)品團隊制定策略需要強大的分析能力，理解并分析所有相關(guān)的現(xiàn)象，即所謂的“點”，并識別和弄清這些點是如何相互連接的。只有在此基礎(chǔ)上，才能提出有意義的策略。最后，還要清晰、有效地與高層領(lǐng)導(dǎo)溝通，這對于最終基于數(shù)據(jù)來設(shè)定目標(biāo)、流程和戰(zhàn)略具有不可忽視的作用。