作者丨石秀峰   

來源丨談數(shù)據(jù)

全文共3768個(gè)字，建議閱讀需15分鐘

數(shù)據(jù)質(zhì)量管理是所有數(shù)據(jù)類項(xiàng)目重點(diǎn)關(guān)注的領(lǐng)域，從20多年前的數(shù)據(jù)倉庫到如今的數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)，企業(yè)都試圖將通過對(duì)改善數(shù)據(jù)質(zhì)量來提升數(shù)據(jù)的價(jià)值。

關(guān)于如何做好數(shù)據(jù)質(zhì)量的管理，我們給出以下10條最佳實(shí)踐，希望對(duì)您有所啟發(fā)。

筆者經(jīng)常說：企業(yè)的數(shù)據(jù)治理不是為治理數(shù)據(jù)而治理數(shù)據(jù)，背后都是為了支持業(yè)務(wù)和管理目標(biāo)的實(shí)現(xiàn)。提升數(shù)據(jù)質(zhì)量的主要目的是推動(dòng)業(yè)務(wù)發(fā)展：

第一，將企業(yè)的業(yè)務(wù)目標(biāo)映射到數(shù)據(jù)質(zhì)量管理計(jì)劃中來。

第二，讓業(yè)務(wù)人員深度參與甚至主導(dǎo)數(shù)據(jù)質(zhì)量管理，作為該數(shù)據(jù)主要用戶的業(yè)務(wù)部門可以更好地定義數(shù)據(jù)質(zhì)量參數(shù)。

第三，將業(yè)務(wù)問題定義清楚，只有在業(yè)務(wù)問題定義清楚之后，才能分析出數(shù)據(jù)數(shù)量問題的根本原因，以及制定出更合理的解決方案。

數(shù)據(jù)質(zhì)量評(píng)估，是一種了解數(shù)據(jù)問題如何影響業(yè)務(wù)流程方式。從相關(guān)數(shù)據(jù)源提取數(shù)據(jù)，圍繞已定義的業(yè)務(wù)需求，設(shè)計(jì)數(shù)據(jù)評(píng)估維度并利用相關(guān)工具完成評(píng)估，將數(shù)據(jù)質(zhì)量評(píng)估結(jié)果以圖表或報(bào)告形式準(zhǔn)確的表達(dá)出來，使相關(guān)領(lǐng)導(dǎo)和業(yè)務(wù)人員能夠直觀、清晰地了解企業(yè)的數(shù)據(jù)質(zhì)量情況，確保數(shù)據(jù)問題是與業(yè)務(wù)需求相關(guān)的，并能夠得到相關(guān)領(lǐng)導(dǎo)或業(yè)務(wù)人員的重視與支持。

第一，數(shù)據(jù)質(zhì)量評(píng)估以數(shù)據(jù)質(zhì)量問題對(duì)業(yè)務(wù)的影響分析為指導(dǎo)，清楚的定義出待評(píng)估數(shù)據(jù)的范圍和優(yōu)先級(jí)等重要參數(shù)。

第二，采用自上而下和自下而上相結(jié)合的策略識(shí)別數(shù)據(jù)中的異常問題。自上而下是以業(yè)務(wù)目標(biāo)為出發(fā)點(diǎn)，對(duì)待評(píng)估的數(shù)據(jù)集進(jìn)行評(píng)估和衡量。自下而上的方法是基于基于數(shù)據(jù)概要分析，識(shí)別數(shù)據(jù)問題并將其映射到對(duì)業(yè)務(wù)目標(biāo)的潛在影響。

第三，形成數(shù)據(jù)治理評(píng)估報(bào)告，通過該報(bào)告清楚列出數(shù)據(jù)質(zhì)量的評(píng)估結(jié)果，該報(bào)告可以在利益相關(guān)者，決策者之間分發(fā)，從而推動(dòng)數(shù)據(jù)質(zhì)量改進(jìn)行動(dòng)。

產(chǎn)生數(shù)據(jù)質(zhì)量問題的原因有很多，但是有些問題的發(fā)生僅是表象，并不一定是導(dǎo)致錯(cuò)誤數(shù)據(jù)的根本原因。

要做好數(shù)據(jù)質(zhì)量的管理，應(yīng)抓住影響數(shù)據(jù)質(zhì)量的關(guān)鍵因素，設(shè)置質(zhì)量管理點(diǎn)或質(zhì)量控制點(diǎn)，從數(shù)據(jù)的源頭抓起，從根本上解決數(shù)據(jù)質(zhì)量問題。

對(duì)于數(shù)據(jù)質(zhì)量問題采用量化管理機(jī)制，分等級(jí)和優(yōu)先級(jí)進(jìn)行管理，嚴(yán)重的數(shù)據(jù)質(zhì)量問題或數(shù)據(jù)質(zhì)量事件可以升級(jí)為故障，并對(duì)故障進(jìn)行定義、等級(jí)劃分、預(yù)置處理方案和Review。

量化的數(shù)據(jù)質(zhì)量使得我們可以通過統(tǒng)計(jì)過程控制對(duì)數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)測(cè)。一旦發(fā)現(xiàn)異常值或者數(shù)據(jù)質(zhì)量的突然惡化，便根據(jù)數(shù)據(jù)產(chǎn)生的邏輯順藤摸瓜找到產(chǎn)生數(shù)據(jù)的業(yè)務(wù)環(huán)節(jié)。所以在根因分析的過程中，要不斷的去追蹤數(shù)據(jù)進(jìn)行問題定位，確定問題最早出現(xiàn)的根本原因進(jìn)而使問題得到有效解決，達(dá)到治標(biāo)又治本的效果。

事實(shí)上，沒有一種“一刀切”的方法來保證企業(yè)每種業(yè)務(wù)的每種數(shù)據(jù)的準(zhǔn)確性和完整性。

企業(yè)數(shù)據(jù)質(zhì)量的治理需要結(jié)合數(shù)據(jù)問題對(duì)業(yè)務(wù)的影響程度以及數(shù)據(jù)問題發(fā)生的根本原因制定數(shù)據(jù)質(zhì)量管理的解決方案。

因此，企業(yè)的數(shù)據(jù)質(zhì)量管理是一個(gè)持續(xù)的過程，永遠(yuǎn)也不會(huì)出現(xiàn)所謂的“最佳時(shí)機(jī)”，換句話說，企業(yè)數(shù)據(jù)質(zhì)量管理的最佳時(shí)機(jī)就是“JUST DO IT！”

數(shù)據(jù)質(zhì)量控制是在企業(yè)的數(shù)據(jù)環(huán)境中設(shè)置一道數(shù)據(jù)質(zhì)量的“防火墻”，以預(yù)防不良數(shù)據(jù)的發(fā)生。

數(shù)據(jù)質(zhì)量“防火墻”就是根據(jù)數(shù)據(jù)問題的根因分析和問題處理策略，在發(fā)生數(shù)據(jù)問題的入口點(diǎn)設(shè)置的數(shù)據(jù)問題測(cè)量和監(jiān)控程序，在數(shù)據(jù)環(huán)境的源頭或者上游進(jìn)行數(shù)據(jù)問題的防治，從而避免不良數(shù)據(jù)向下游傳播并污染后續(xù)的存儲(chǔ)，進(jìn)而影響業(yè)務(wù)。

數(shù)據(jù)質(zhì)量的測(cè)量和控制需要將數(shù)據(jù)質(zhì)量目標(biāo)集成到系統(tǒng)開發(fā)的生命周期中，將數(shù)據(jù)質(zhì)量控制納入業(yè)務(wù)流程，徹底遍歷每個(gè)應(yīng)用程序中的數(shù)據(jù)流并深入了解數(shù)據(jù)檢查和控制程序的可能插入點(diǎn)。

這些要求必須添加到系統(tǒng)的功能要求中，以便無縫地集成到開發(fā)周期中，從而在數(shù)據(jù)進(jìn)入系統(tǒng)時(shí)進(jìn)行驗(yàn)證，避免不良數(shù)據(jù)的發(fā)生。

數(shù)據(jù)質(zhì)量管理方案要與企業(yè)的特定的業(yè)務(wù)目標(biāo)緊密匹配，使各方對(duì)數(shù)據(jù)質(zhì)量管理目標(biāo)和糾正方案達(dá)成共識(shí)，這對(duì)數(shù)據(jù)質(zhì)量目標(biāo)的最終達(dá)成至關(guān)重要。

企業(yè)需要建立一種文化，以讓更多的人認(rèn)識(shí)到數(shù)據(jù)質(zhì)量的重要性，這離不開組織體系的保障。建立數(shù)據(jù)質(zhì)量管理的組織體系并為具有適當(dāng)技能的人員分配角色以確保數(shù)據(jù)質(zhì)量。在整個(gè)企業(yè)中實(shí)施數(shù)據(jù)質(zhì)量管理時(shí)，應(yīng)考慮以下角色：

數(shù)據(jù)治理委員會(huì)：為數(shù)據(jù)質(zhì)量定下基調(diào)，制定有關(guān)數(shù)據(jù)基礎(chǔ)架構(gòu)和流程的決策。數(shù)據(jù)治理委員會(huì)確保在整個(gè)企業(yè)范圍內(nèi)采用與數(shù)據(jù)質(zhì)量相關(guān)的類似方法和政策，并在組織的所有職能部門之間進(jìn)行橫向調(diào)整。數(shù)據(jù)治理委員會(huì)定期開會(huì)以定義新的數(shù)據(jù)質(zhì)量目標(biāo)，推動(dòng)測(cè)量并分析各個(gè)業(yè)務(wù)部門內(nèi)數(shù)據(jù)質(zhì)量的狀態(tài)。

數(shù)據(jù)分析師：數(shù)據(jù)分析師負(fù)責(zé)數(shù)據(jù)問題的根因分析，以便為數(shù)據(jù)質(zhì)量解決方案的制定提供決策依據(jù)。

通過評(píng)價(jià)相關(guān)數(shù)據(jù)質(zhì)量KPI水平，督促各方在日常工作中重視數(shù)據(jù)質(zhì)量，在發(fā)現(xiàn)問題時(shí)能夠追根溯源地主動(dòng)解決，對(duì)于高水平的數(shù)據(jù)質(zhì)量工作成果進(jìn)行激勵(lì)、表彰，提升企業(yè)的數(shù)據(jù)質(zhì)量管理意識(shí)。

• 更好的了解和量化數(shù)據(jù)質(zhì)量

• 更好的進(jìn)行數(shù)據(jù)質(zhì)量問題分析

• 更好的數(shù)據(jù)匹配和刪除重復(fù)數(shù)據(jù)

• 更好的豐富企業(yè)的數(shù)據(jù)

數(shù)據(jù)管理系統(tǒng)中的機(jī)器學(xué)習(xí)功能不斷提高數(shù)據(jù)質(zhì)量，以確保所有運(yùn)營團(tuán)隊(duì)和面向客戶的團(tuán)隊(duì)始終使用準(zhǔn)確一致的數(shù)據(jù)。

數(shù)據(jù)使用。利用元數(shù)據(jù)監(jiān)控?cái)?shù)據(jù)使用；利用數(shù)據(jù)標(biāo)準(zhǔn)保證數(shù)據(jù)正確；利用數(shù)據(jù)質(zhì)量檢查加工正確。元數(shù)據(jù)提供各系統(tǒng)統(tǒng)一的數(shù)據(jù)模型進(jìn)行使用，監(jiān)控?cái)?shù)據(jù)的來源去向，提供全息的數(shù)據(jù)地圖支持；企業(yè)從技術(shù)、管理、業(yè)務(wù)三個(gè)方面進(jìn)行規(guī)范，嚴(yán)格執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)，保證數(shù)據(jù)的規(guī)范化輸入，標(biāo)準(zhǔn)化。