|
公眾號(hào)推文規(guī)則變了，讀者會(huì)錯(cuò)過(guò)文章更新，點(diǎn)擊上方 '企業(yè)數(shù)字化咨詢'關(guān)注, 設(shè)為星標(biāo) 后臺(tái)回復(fù)【技術(shù)】，申請(qǐng)加入資料分享&技術(shù)交流群
略去大數(shù)據(jù)分析背景與價(jià)值部分，言簡(jiǎn)意賅的介紹如何進(jìn)行數(shù)據(jù)資產(chǎn)管理運(yùn)營(yíng)。 數(shù)據(jù)資產(chǎn)管理運(yùn)營(yíng) = 數(shù)據(jù)資產(chǎn)盤(pán)點(diǎn) + 數(shù)據(jù)治理 + 數(shù)據(jù)價(jià)值實(shí)現(xiàn) 管理和運(yùn)營(yíng)是一個(gè)全流程的事情，首先我們需要知道有哪些數(shù)據(jù)（盤(pán)點(diǎn)），轉(zhuǎn)化為能夠發(fā)揮價(jià)值的數(shù)據(jù)資產(chǎn)（治理），再實(shí)現(xiàn)數(shù)據(jù)應(yīng)用層面的價(jià)值（價(jià)值實(shí)現(xiàn)），也就是最終要能指導(dǎo)業(yè)務(wù)產(chǎn)出價(jià)值。 下面分別介紹對(duì)這三部分工作進(jìn)行簡(jiǎn)要介紹。 01 數(shù)據(jù)資產(chǎn)盤(pán)點(diǎn)1、數(shù)據(jù)源
內(nèi)部源數(shù)據(jù)（業(yè)務(wù)數(shù)據(jù)，管理數(shù)據(jù)，IT方面的OA數(shù)據(jù)/系統(tǒng)監(jiān)控?cái)?shù)據(jù)）+ 外部數(shù)據(jù)（第三方數(shù)據(jù)，互聯(lián)網(wǎng)爬取的數(shù)據(jù)）經(jīng)過(guò)數(shù)據(jù)交換形成： ODS貼源層 ：和源系統(tǒng)保持一致，可能會(huì)做一些數(shù)據(jù)標(biāo)準(zhǔn)化/數(shù)據(jù)清洗，如果源系統(tǒng)沒(méi)法改造的話，需要在這一步對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化改造，確保到數(shù)倉(cāng)層面是符合標(biāo)準(zhǔn)的。數(shù)倉(cāng)層面：按主題進(jìn)行構(gòu)建（比如產(chǎn)品，客戶，機(jī)構(gòu)主題），加工（進(jìn)行反范式，標(biāo)準(zhǔn)化等 ）一般數(shù)倉(cāng)分為貼源層、標(biāo)準(zhǔn)化層、匯總層、指標(biāo)層、集市層（關(guān)于數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市在本篇不詳細(xì)展開(kāi)介紹）數(shù)據(jù)集市：針對(duì)具體應(yīng)用，高并發(fā)數(shù)據(jù)查詢，把數(shù)倉(cāng)層面加工完之后的數(shù)據(jù)導(dǎo)出到數(shù)據(jù)集市，便于進(jìn)行小規(guī)模的應(yīng)用上述結(jié)構(gòu)化數(shù)據(jù)加上半結(jié)構(gòu)化數(shù)據(jù)（例如日志文件）和非結(jié)構(gòu)化數(shù)據(jù) （例如音頻視頻、郵件（所以要引入 hadoop spark框架）） 構(gòu)建成了 大數(shù)據(jù)平臺(tái)2.數(shù)據(jù)分級(jí)分類在完成了數(shù)據(jù)梳理，了解數(shù)據(jù)分布后，同時(shí)要明確保密和敏感數(shù)據(jù)的分布情況。 數(shù)據(jù)分類：依據(jù)數(shù)據(jù)的來(lái)源、內(nèi)容和用途對(duì)數(shù)據(jù)進(jìn)行分類。數(shù)據(jù)分級(jí)：根據(jù)已分類的數(shù)據(jù)資產(chǎn)由業(yè)務(wù)部門(mén)根據(jù)數(shù)據(jù)的價(jià)值、敏感程度、影響范圍進(jìn)行敏感分級(jí)，將分類的數(shù)據(jù)資產(chǎn)劃分公開(kāi)、內(nèi)部、敏感等不同的敏感級(jí)別。
3.數(shù)據(jù)認(rèn)責(zé)完成數(shù)據(jù)梳理與分級(jí)分類后，針對(duì)數(shù)據(jù)的歸屬權(quán)需要進(jìn)行確認(rèn)，有利于之后的權(quán)限梳理以及數(shù)據(jù)治理和運(yùn)營(yíng)。
4.數(shù)據(jù)權(quán)限梳理主要涉及到訪問(wèn)控制以及對(duì)于敏感信息的保護(hù)，例如身份證號(hào)手機(jī)號(hào)脫敏等等，此處需要結(jié)合數(shù)據(jù)分級(jí)分類與數(shù)據(jù)認(rèn)責(zé)。
02 數(shù)據(jù)治理1.元數(shù)據(jù)在表中看到一個(gè)數(shù)據(jù)時(shí)，我們僅看到這個(gè)數(shù)據(jù)的值，但是對(duì)于這個(gè)數(shù)據(jù)的身份背景從哪里來(lái)到哪里去我們都一無(wú)所知，所以我們需要元數(shù)據(jù)。元數(shù)據(jù)指的是用來(lái)描述數(shù)據(jù)的數(shù)據(jù)。那我們需要描述哪些方面呢？業(yè)務(wù)元數(shù)據(jù)：是描述數(shù)據(jù)的業(yè)務(wù)含義、業(yè)務(wù)規(guī)則等。起碼讓你知道這一項(xiàng)數(shù)據(jù)的含義是什么，是通過(guò)什么規(guī)則運(yùn)算加工出來(lái)的，避免大家各自對(duì)數(shù)據(jù)發(fā)揮想象...自說(shuō)自話。通常包括：業(yè)務(wù)定義、業(yè)務(wù)規(guī)則、業(yè)務(wù)指標(biāo)等。 技術(shù)元數(shù)據(jù)：進(jìn)行技術(shù)定義和描述是為了便于識(shí)別數(shù)據(jù)的存儲(chǔ)、傳輸和交換，常見(jiàn)的技術(shù)元數(shù)據(jù)包括：存儲(chǔ)位置、數(shù)據(jù)模型、字段長(zhǎng)度、字段類型、ETL腳本、SQL腳本、接口程序等 管理元數(shù)據(jù)：描述了數(shù)據(jù)的管理屬性，包括管理部門(mén)、管理責(zé)任人等。內(nèi)容主要包括：與元數(shù)據(jù)管理相關(guān)的組織、崗位、職責(zé)、流程、項(xiàng)目、版本等。
那有了這些元數(shù)據(jù)之后我們可以做什么呢？了解數(shù)據(jù)來(lái)自哪里并經(jīng)過(guò)了哪些加工（血緣分析），數(shù)據(jù)與其他數(shù)據(jù)之間的關(guān)系（關(guān)聯(lián)度分析），哪些數(shù)據(jù)是屬于企業(yè)的常用數(shù)據(jù)（冷熱度分析）等等。（了解元數(shù)據(jù)詳見(jiàn)這是我見(jiàn)過(guò)把元數(shù)據(jù)解釋的最通俗易懂的文章了）2.數(shù)據(jù)標(biāo)準(zhǔn)有了元數(shù)據(jù)之后，我們還需要制定相應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)，來(lái)規(guī)范我們對(duì)于數(shù)據(jù)的使用。比如為了支持?jǐn)?shù)據(jù)交互，我們需要對(duì)格式標(biāo)準(zhǔn)進(jìn)行定義，為了避免混淆和歧義，需要對(duì)數(shù)據(jù)項(xiàng)名稱標(biāo)準(zhǔn)，數(shù)據(jù)項(xiàng)值的標(biāo)準(zhǔn)進(jìn)行定義。元數(shù)據(jù)是數(shù)據(jù)標(biāo)準(zhǔn)的基礎(chǔ)，元數(shù)據(jù)需要有對(duì)應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)。例如業(yè)務(wù)元數(shù)據(jù)（增長(zhǎng)率），標(biāo)準(zhǔn)應(yīng)該定義清楚是同比還是環(huán)比，例如技術(shù)元數(shù)據(jù)（字段類型），可能每一個(gè)數(shù)據(jù)庫(kù)制定的表的標(biāo)準(zhǔn)不一樣，男女就會(huì)出現(xiàn)male/female，1/0...這種情況，則需要我們需要按照一個(gè)統(tǒng)一的標(biāo)準(zhǔn)進(jìn)行定義與輸入。（了解數(shù)據(jù)標(biāo)準(zhǔn)詳見(jiàn)如何建立數(shù)據(jù)標(biāo)準(zhǔn)實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)管理？）
3.數(shù)據(jù)質(zhì)量數(shù)據(jù)標(biāo)準(zhǔn)則又服務(wù)于數(shù)據(jù)質(zhì)量，我們進(jìn)行數(shù)據(jù)治理的目的也是為了提高數(shù)據(jù)質(zhì)量，從而提供更為精準(zhǔn)的決策分析數(shù)據(jù)。數(shù)據(jù)標(biāo)準(zhǔn)的評(píng)價(jià)維度示例如下：
數(shù)據(jù)標(biāo)準(zhǔn)評(píng)價(jià)指標(biāo)
一般情況下產(chǎn)生數(shù)據(jù)質(zhì)量問(wèn)題的原因可能是錄入錯(cuò)誤，需要通過(guò)報(bào)表核對(duì)查出來(lái)并進(jìn)行整改，知道哪些部門(mén)的數(shù)據(jù)質(zhì)量是怎樣的，代碼問(wèn)題采用了錯(cuò)誤的邏輯判斷，數(shù)據(jù)缺失數(shù)據(jù)在流轉(zhuǎn)過(guò)程中導(dǎo)入導(dǎo)出過(guò)程中，由于編碼規(guī)則不一樣導(dǎo)致的數(shù)據(jù)被丟棄，可以在每個(gè)流轉(zhuǎn)環(huán)節(jié)加入校驗(yàn)機(jī)制。（了解數(shù)據(jù)質(zhì)量詳見(jiàn)如何提高企業(yè)數(shù)據(jù)質(zhì)量？）4.主數(shù)據(jù)主數(shù)據(jù)是企業(yè)系統(tǒng)間共享性高的數(shù)據(jù)，跨越各業(yè)務(wù)部門(mén)經(jīng)常被使用，且相對(duì)穩(wěn)定。常見(jiàn)的主數(shù)據(jù)有客戶、產(chǎn)品、機(jī)構(gòu)人員等。主數(shù)據(jù)具備3個(gè)主要特征有：①高價(jià)值：主數(shù)據(jù)是所有業(yè)務(wù)處理都離不開(kāi)的實(shí)體數(shù)據(jù)，與大數(shù)據(jù)相比價(jià)值密度非常高。②高共享：主數(shù)據(jù)是跨部門(mén)、跨系統(tǒng)高度共享的數(shù)據(jù)。③相對(duì)穩(wěn)定：與交易數(shù)據(jù)相比主數(shù)據(jù)是相對(duì)穩(wěn)定的，變化頻率較低。 這些特征同時(shí)也反映出來(lái)主數(shù)據(jù)通常存在數(shù)據(jù)入口眾多、重復(fù)錄入、信息不一致、填寫(xiě)不規(guī)范、存在數(shù)據(jù)孤島等問(wèn)題。因?yàn)橹鲾?shù)據(jù)的上述特點(diǎn)，因此管理方式也會(huì)有些不同。1.以單獨(dú)系統(tǒng)進(jìn)行管理，比如CRM系統(tǒng)就是客戶數(shù)據(jù)的主數(shù)據(jù)平臺(tái)，能夠保證數(shù)據(jù)在各個(gè)地方交互的時(shí)候都是一致的。 2.集中管控，集合客戶、產(chǎn)品、等所有主數(shù)據(jù)，構(gòu)建主數(shù)據(jù)平臺(tái)（MDM系統(tǒng)）進(jìn)行統(tǒng)一維護(hù)。方式是通過(guò)數(shù)據(jù)同步機(jī)制，將其他各地方比如財(cái)務(wù)系統(tǒng)的主數(shù)據(jù)（客戶數(shù)據(jù)）同步到主數(shù)據(jù)平臺(tái)。 3.數(shù)倉(cāng)層面，建一個(gè)主題，比如客戶數(shù)據(jù)再同步到源系統(tǒng)，這種方式會(huì)比較麻煩，而且管控效果也是太好。（了解主數(shù)據(jù)詳見(jiàn)什么是企業(yè)主數(shù)據(jù)管理？） 5.數(shù)據(jù)安全數(shù)據(jù)安全是貫穿數(shù)據(jù)使用全流程的，尤其在一些數(shù)據(jù)敏感度高的例如政府、軍事、銀行等機(jī)構(gòu)，會(huì)對(duì)數(shù)據(jù)安全有較高的要求。
數(shù)據(jù)存儲(chǔ)安全：包括物理安全、系統(tǒng)安全存儲(chǔ)數(shù)據(jù)的安全，主要通過(guò)安全硬件的采購(gòu)來(lái)保障數(shù)據(jù)存儲(chǔ)安全。 數(shù)據(jù)傳輸安全：包括數(shù)據(jù)的加密和數(shù)據(jù)網(wǎng)絡(luò)安全控制，主要通過(guò)專業(yè)加密軟件廠商進(jìn)行規(guī)范設(shè)計(jì)和安裝。 數(shù)據(jù)使用安全：需要加強(qiáng)從業(yè)務(wù)系統(tǒng)層面進(jìn)行控制，規(guī)范數(shù)據(jù)的訪問(wèn)、下載、共享、銷毀等過(guò)程。（了解數(shù)據(jù)安全詳見(jiàn)數(shù)據(jù)安全如何定級(jí)？） 03 數(shù)據(jù)價(jià)值實(shí)現(xiàn)現(xiàn)在數(shù)據(jù)已經(jīng)整整齊齊準(zhǔn)備好了，能夠通過(guò)什么服務(wù)實(shí)現(xiàn)價(jià)值呢？一般可以分為三種。 基礎(chǔ)數(shù)據(jù)服務(wù)：查詢、多維分析等，以SQL的方式來(lái)進(jìn)行數(shù)據(jù)獲取和指標(biāo)分析。支持簡(jiǎn)單的條件查詢，數(shù)據(jù)化運(yùn)營(yíng)中的路徑分析、漏斗模型等等。 標(biāo)簽畫(huà)像服務(wù)：通過(guò)使用標(biāo)簽數(shù)據(jù)，進(jìn)行客戶畫(huà)像、精準(zhǔn)營(yíng)銷等服務(wù)。像是關(guān)聯(lián)分析、RFM模型都是比較常用的模型。 算法模型服務(wù)：包括推薦系統(tǒng)、風(fēng)險(xiǎn)控制等，通過(guò)將算法模型部署為在線API。這一部分根據(jù)行業(yè)不同有不同的需求，如投研分析，文本語(yǔ)義分析，交通路線優(yōu)化等不同場(chǎng)景下的應(yīng)用。 
本文來(lái)源：數(shù)據(jù)學(xué)堂 |
