數(shù)字化轉(zhuǎn)型需要哪些數(shù)據(jù)產(chǎn)品？（附數(shù)據(jù)產(chǎn)品架構(gòu)圖）

wuhancar 2023-02-15 發(fā)布于湖北

展開全文

一、數(shù)據(jù)采集相關(guān)產(chǎn)品

數(shù)字化包含兩層含義，其一是線上化，也就是把過去線下的、手工的低效業(yè)務過程線上化流程化，以提升人效，同時建立數(shù)據(jù)采集的基礎(chǔ)。其二是數(shù)據(jù)化，把線上化的業(yè)務流程數(shù)據(jù)采集下來，為后期的業(yè)務化、智能化提供基礎(chǔ)數(shù)據(jù)源。所以，在數(shù)據(jù)采集環(huán)境，主要涉及的數(shù)據(jù)產(chǎn)品包括：

1.數(shù)據(jù)采集范圍與標準定義（必須）

互聯(lián)網(wǎng)行業(yè)畢竟熟悉埋點一詞，埋點也是很多公司的“痛”。埋點不規(guī)范，數(shù)據(jù)兩行淚。先污染后治理勢必帶來后期數(shù)據(jù)應用清洗的資源浪費。所以，為了減少踩坑，需要事先確立不同數(shù)據(jù)源、數(shù)據(jù)類型的數(shù)據(jù)采集規(guī)范，針對App、小程序等產(chǎn)品需要建立統(tǒng)一埋點規(guī)范和采集方案，其他的智能硬件、傳感器設備或者三方數(shù)據(jù)源，需求定義不同來源的數(shù)據(jù)傳輸格式。

2.埋點管理系統(tǒng)（可選）

將埋點規(guī)范集成到數(shù)據(jù)管理后臺中，讓整個埋點流程線上化流轉(zhuǎn)，提升埋點工作的規(guī)范化程度，減少漏埋和錯埋。即使像一些用戶行為分析系統(tǒng)力推的無埋點或可視化埋點，也都有埋點數(shù)據(jù)管理模塊提供界面化的指標定義能力。早期的埋點規(guī)則主要靠excel世代相傳

3.數(shù)據(jù)同步或集成系統(tǒng)（必須）

這一模塊既可以單獨存在，也可以和大數(shù)據(jù)開發(fā)平臺耦合，其主要作用是提供源到端的數(shù)據(jù)同步功能，即選擇數(shù)據(jù)來源以及希望數(shù)據(jù)同步到的目標為主，針對不同的源、目標設置參數(shù)、任務調(diào)度頻率和策略即可?，F(xiàn)在比較時髦的一個詞叫數(shù)據(jù)一鍵入湖。一鍵自動化實現(xiàn)非結(jié)構(gòu)化（音視頻等）、結(jié)構(gòu)化數(shù)據(jù)到中央數(shù)據(jù)湖，以供后期處理消費。回到前面講過的大廚做菜的例子，數(shù)據(jù)集成工具就比如自動化的收割工具，過去因為手工勞作，食材數(shù)量、種類有限，當機械化生產(chǎn)后，豐盈度大大提升。

二、數(shù)據(jù)加工與處理工具

1.離線開發(fā)平臺（必須）

匯聚入湖的數(shù)據(jù)需要加工處理才能發(fā)揮其價值，尤其對于湖倉一體的架構(gòu)中，涉及到結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)倉庫模塊的開發(fā)。按照業(yè)務需求的邏輯對數(shù)據(jù)進行ETL處理，輸出一個個的數(shù)據(jù)模型。對于離線開發(fā)平臺主要功能應包括：

存儲&計算層：資源的自動化分配（主要是集群資源的調(diào)度），數(shù)據(jù)開發(fā)主要關(guān)注業(yè)務邏輯，而不需要人人都搭一套hadoop

任務開發(fā)層：IDE可視化任務開發(fā)，除了核心的數(shù)據(jù)處理邏輯需要代碼實現(xiàn)外，其他的參數(shù)設置都可以配置化，且平臺需要支撐Hive、Shell、python等常用數(shù)據(jù)開發(fā)和挖掘任務類型。

任務調(diào)度：數(shù)據(jù)有嚴格的上下游關(guān)系，只有上游數(shù)據(jù)任務運行成功數(shù)據(jù)加工完成后，下游數(shù)據(jù)才準確，所以一般任務不會單獨存在，需要建立依賴關(guān)系，此外，周期性的數(shù)據(jù)也不能每天手動點一下，還需要時間調(diào)度，根據(jù)需求設定是每分鐘、小時還是天月執(zhí)行，在什么時間執(zhí)行等。

任務運維：修改邏輯、上游出錯、集群資源不穩(wěn)定等經(jīng)常需要涉及數(shù)據(jù)回溯、任務重跑等操作，提供批量、自動化的操作可以節(jié)省大量運維時間。

2.實時開發(fā)平臺（必須）

實時數(shù)據(jù)主要滿足實時數(shù)據(jù)監(jiān)控，產(chǎn)品端實時搜索、推薦或?qū)崟r場景化營銷，實時開發(fā)和離線開發(fā)主要在技術(shù)組件上的差別，產(chǎn)品功能模塊大同小異，也可以把整合形成批流一體化的一站式大數(shù)據(jù)開發(fā)運維平臺。

3.數(shù)據(jù)倉庫建設工具（可選）

主要是將數(shù)據(jù)模型開發(fā)規(guī)范和流程融入到系統(tǒng)當中，是一種低代碼的思想減少數(shù)倉建模的開發(fā)代碼開發(fā)，提升模型的規(guī)范化和復用性，比如阿里的Datapin，系統(tǒng)化的好處在于方便前置化管理建模過程，而不是先污染后治理，弊端是可能沒有開發(fā)自己寫代碼那么靈活，所以可以作為可選模塊。

三、數(shù)據(jù)資產(chǎn)管理和治理產(chǎn)品

1.數(shù)據(jù)地圖（必須）

酒香也怕巷子深，數(shù)據(jù)模型開發(fā)完了，找得到、敢使用才能提升復用性，數(shù)據(jù)地圖通過資產(chǎn)目錄共享和強大的數(shù)據(jù)檢索能力，提供逛數(shù)據(jù)、找數(shù)據(jù)的能力，同時需要具備豐富的模型元數(shù)據(jù)信息，讓數(shù)據(jù)消費者快速判斷是不是自己所需要的數(shù)據(jù)，如何使用。

2.數(shù)據(jù)質(zhì)量監(jiān)控（必須）

數(shù)據(jù)不準可以說是業(yè)務和數(shù)據(jù)團隊最頭疼的問題之一，業(yè)務拿到數(shù)據(jù)不敢用，先來問下開發(fā)準不準，開發(fā)不自信，看了任務看了代碼說應該沒問題。數(shù)據(jù)質(zhì)量監(jiān)控圍繞一致性、及時性、完整性、準確性維度構(gòu)建豐富靈活的數(shù)據(jù)質(zhì)量規(guī)則配置和自動化預警能力，讓數(shù)據(jù)開發(fā)人員更自信，只要監(jiān)控沒報警，就可以拍著胸脯說，是不是業(yè)務上有什么變化。

3.數(shù)據(jù)血緣（必須）

主要解決數(shù)據(jù)的追根溯源的問題，例如數(shù)據(jù)異常，需要通知下游業(yè)務，數(shù)據(jù)治理時需要下線或者刪除，下游有沒有人在使用，沒有血緣就不敢治理，數(shù)據(jù)&服務只增不減。

4.數(shù)據(jù)成本優(yōu)化（必須）

雖然說大家默認數(shù)據(jù)部門是成本中心，但是在這個寒冬之下，也要勒緊褲腰帶，雖不能開源但總要節(jié)流，哪些數(shù)據(jù)長期無人使用可以歸檔或刪除，哪些任務SQL性能奇差一個任務執(zhí)行10多個小時，消耗大量CPU、GPU？數(shù)據(jù)成本優(yōu)化核心目標是建立數(shù)據(jù)健康分評價體系，自動化檢測治理目標，并提供歸檔、刪除等自動化治理動作，從而釋放服務器資源，常態(tài)化做減法。

5.統(tǒng)一數(shù)據(jù)權(quán)限（必須）

數(shù)據(jù)安全問題事關(guān)企業(yè)生死存亡和數(shù)據(jù)團隊的“錢途”，統(tǒng)一權(quán)限主要是建立數(shù)據(jù)資產(chǎn)權(quán)限申請、授權(quán)、審計對應的流程，從而保證數(shù)據(jù)既共享又安全。

四、數(shù)據(jù)決策與智能應用

1.數(shù)據(jù)可視化分析（必須）

這里主要指主題式數(shù)據(jù)分析報表，可以是定制化開發(fā)，也可以是基于自助BI工具配置。其主要目標是提供業(yè)務經(jīng)營管理的核心指標體系的可視化分析能力。不能讓老板每天自己使用自助BI拖拉拽吧。例如一些管理駕駛艙Dashboard或者可視化大屏。

2.現(xiàn)代自助式BI分析（必須）

Tableau在被saleforce 以157億美金收購后，在21年底宣布退出中國市場，作為BI工具的鼻祖，功能非常完善和強大，為什么水土不服呢？主要原因是它的目標用戶是數(shù)據(jù)分析師，功能的復雜度導致學習理解成本高，數(shù)字化轉(zhuǎn)型時代要求的是數(shù)據(jù)民主和普惠，人人都是數(shù)據(jù)分析師，所以相比較tableau，現(xiàn)在國內(nèi)的一些云廠商（QuickBI、火山引擎等）和BI產(chǎn)品（觀遠數(shù)據(jù)）更能滿足讓一線業(yè)務人員用數(shù)據(jù)的需求。有了現(xiàn)代BI，數(shù)據(jù)人員聚焦模型開發(fā)和數(shù)據(jù)基建，業(yè)務人員拖拽分析，自己配置可視化Dashboard，不再純依賴數(shù)據(jù)團隊的臨時SQL取數(shù)，或者定制化的可視化頁面開發(fā)了。

3.用戶行為分析系統(tǒng)（可選）

2015年用戶增長、增長黑客理論火爆的時候，很多中小型互聯(lián)網(wǎng)企業(yè)紛紛購買神策、GrowingIO等用戶行為分析系統(tǒng)。其好處是可以提供用戶行為數(shù)據(jù)從采集到自助式分析的能力，但數(shù)據(jù)層面更多的聚焦在流量數(shù)據(jù)，對其他業(yè)務系統(tǒng)數(shù)據(jù)支持性相對較弱。現(xiàn)代自助BI可以包含用戶行為的模型數(shù)據(jù)，所以包容性更強。

4.數(shù)字化營銷CDP或DMP（必須）

基于大數(shù)據(jù)計算和數(shù)據(jù)挖掘技術(shù)，構(gòu)建用戶畫像標簽體系，用戶圈選、精細化分層，進行差異化運營和營銷觸達，提升運營ROI。業(yè)務同學可基于平臺實現(xiàn)從人群圈選、場景構(gòu)建、觸達投放、效果回收的閉環(huán)，同時，基于算法挖掘標簽及模型推薦的人群組合，從基于人的經(jīng)驗運營，到基于大數(shù)據(jù)算法推薦的智能運營。一般企業(yè)內(nèi)部私域流量運營稱之為CDP（客戶數(shù)據(jù)管理平臺），流量變現(xiàn)的企業(yè)稱之為DMP（數(shù)據(jù)管理平臺），如騰訊廣點通、阿里達摩盤。

5.算法平臺（可選）

數(shù)字化轉(zhuǎn)型高級層次是智能化，要想AI服務開發(fā)更加高效，甚至產(chǎn)品、運營都可以配置一個推薦服務接口，這時機器學習或者叫算法平臺就可以派上用場了。對于算法開發(fā)，主要是提供從資源調(diào)度（CPU、GPU等）、離在線數(shù)據(jù)獲取、特性開發(fā)、模型訓練、推理服務全流程的算法工作臺，從而提升算法中臺化輸出的能力，甚至可以通過模型節(jié)點拖拽實現(xiàn)無代碼化的算法服務上線。

6.數(shù)據(jù)服務管理（可選）

有人也把數(shù)據(jù)中臺稱之為DAAS，即數(shù)據(jù)即服務，數(shù)據(jù)如何快速輸出業(yè)務端，賦能產(chǎn)品創(chuàng)新。API服務統(tǒng)一管理，建立完善的應用血緣關(guān)系，提供通用接口的配置化生成能力，降低對Java開發(fā)的依賴。數(shù)據(jù)中臺思想下，數(shù)據(jù)服務API輸出是應用輸出的最主要形式，數(shù)據(jù)服務管理平臺一方面要具備將數(shù)據(jù)資產(chǎn)自助配置化輸出的能力，即數(shù)倉清洗好的數(shù)據(jù)模型，數(shù)據(jù)開發(fā)或業(yè)務人員可以通過入?yún)ⅰ⒊鰠⒌目梢暬渲蒙葾PI接口，不需要接口開發(fā)介入。同時也要把API資產(chǎn)化管理，API接口文檔、應用調(diào)用情況做到可追蹤、可監(jiān)控。

五、總結(jié)

廣義數(shù)據(jù)產(chǎn)品的定義是凡是可以提升數(shù)據(jù)從采、存、管、算、用全流程效率，促進數(shù)據(jù)價值輸出的相關(guān)產(chǎn)品都可以歸結(jié)為數(shù)據(jù)產(chǎn)品，在數(shù)字化轉(zhuǎn)型過程中涉及的產(chǎn)品大大小小二三十款，但總體產(chǎn)品矩陣大同小異。而且現(xiàn)在幾乎每個細分領(lǐng)域都有成熟的商業(yè)化數(shù)據(jù)產(chǎn)品版本，企業(yè)在實際數(shù)字化轉(zhuǎn)型的過程中可以根據(jù)研發(fā)資源、投入時間及財務成本、數(shù)據(jù)安全等多個方面綜合評估，哪些選擇外采，哪些自主研發(fā)。