大數(shù)據(jù)治理，即基于大數(shù)據(jù)的數(shù)據(jù)治理。大數(shù)據(jù)，一般指符合4V特征的數(shù)據(jù)，包括社交數(shù)據(jù)、機器數(shù)據(jù)等，大數(shù)據(jù)對傳統(tǒng)數(shù)據(jù)治理工作帶來很多的擴展，在政策/流程上，大數(shù)據(jù)治理應覆蓋大數(shù)據(jù)的獲取、處理、存儲、安全等環(huán)節(jié)，需要為大數(shù)據(jù)設(shè)置數(shù)據(jù)管理專員制度;需考慮大數(shù)據(jù)與主數(shù)據(jù)管理能力的集成，需要對大數(shù)據(jù)做定義，統(tǒng)一主數(shù)據(jù)標準;在數(shù)據(jù)生命周期管理各階段，如數(shù)據(jù)存儲、保留、歸檔、處置時，要考慮大數(shù)據(jù)保存時間與存儲空間的平衡，大數(shù)據(jù)量大，因此應識別對業(yè)務有關(guān)鍵影響的數(shù)據(jù)元素，檢查和保證數(shù)據(jù)質(zhì)量。此外，在隱私方面，應考慮社交數(shù)據(jù)的隱私保護需求，制定相應政策，還要將大數(shù)據(jù)治理與企業(yè)內(nèi)外部風險管控需求建立聯(lián)系。
一、大數(shù)據(jù)治理包括哪些內(nèi)容
1、梳理業(yè)務流程，規(guī)劃數(shù)據(jù)資源
對于企業(yè)來說，每天的實時數(shù)據(jù)都會超過TB級別，需要采集用戶的哪些數(shù)據(jù)，這么多的數(shù)據(jù)放在哪里，如何放，以什么樣的方式放?這些問題都是需要事先進行規(guī)劃的，需要有一套從無序變?yōu)橛行虻牧鞒蹋@個過程需要跨部門的協(xié)作，包括了前端、后端、數(shù)據(jù)工程師、數(shù)據(jù)分析師、項目經(jīng)理等角色的參與。
2、ETL采集、去重、脫敏、轉(zhuǎn)換、關(guān)聯(lián)、去除異常值
前后端將采集到的數(shù)據(jù)給到數(shù)據(jù)部門，數(shù)據(jù)部門通過ETL工具將數(shù)據(jù)從來源端經(jīng)過抽取(extract)、轉(zhuǎn)換(transform)、加載(load)至目的端的過程，目的是將散落和零亂的數(shù)據(jù)集中存儲起來。
3、大數(shù)據(jù)高性能存儲及管理
這么多的業(yè)務數(shù)據(jù)存在哪里?這需要有一高性能的大數(shù)據(jù)存儲系統(tǒng)，在這套系統(tǒng)里面將數(shù)據(jù)進行分門別類放到其對應的庫里面，為后續(xù)的管理及使用提供最大的便利。
4、即時查詢、報表監(jiān)控、智能分析、模型預測
數(shù)據(jù)治理的最終目的就是輔助業(yè)務進行決策，前面的三個方面都是為最終的查詢、分析、監(jiān)控做鋪墊。這個階段就是數(shù)據(jù)分析師的主場，分析師們運用這些標準化的數(shù)據(jù)可以進行即時的查詢、指標體系和報表體系的建立、業(yè)務問題的分析，甚至是模型的預測。
二、大數(shù)據(jù)治理關(guān)鍵要素
1、明確數(shù)據(jù)治理責任，建立數(shù)據(jù)治理組織
數(shù)據(jù)出了問題，到底是誰的責任?因為數(shù)據(jù)主要是IT系統(tǒng)產(chǎn)生的，所以一直以來，解決數(shù)據(jù)問題都被認為是IT部門的職責。而IT部門也飽受其苦，數(shù)據(jù)定義和業(yè)務規(guī)則，業(yè)務部門最清楚;數(shù)據(jù)錄入，業(yè)務人員負責;數(shù)據(jù)使用，業(yè)務人員是用戶;數(shù)據(jù)考核，業(yè)務部門有權(quán)力……但實際上，要切實解決數(shù)據(jù)問題，開展數(shù)據(jù)治理工作，就必須先清楚一點：數(shù)據(jù)治理，是業(yè)務部門和IT部門共同的職責。
2、管理出成效，制度是保障
大數(shù)據(jù)治理需要管理和制度的有力支撐，可結(jié)合企業(yè)的現(xiàn)狀，制定相應的管理辦法、管理流程、認責體系、人員角色和崗位職責等，頒布相關(guān)的數(shù)據(jù)治理的企業(yè)規(guī)章制度等。
3、數(shù)據(jù)規(guī)范
數(shù)據(jù)規(guī)范是指對企業(yè)核心數(shù)據(jù)進行有關(guān)存在性、完整性、質(zhì)量及歸檔的測量標準，為評估企業(yè)數(shù)據(jù)質(zhì)量，并且為手動錄入、設(shè)計數(shù)據(jù)加載程序、更新信息以及開發(fā)應用軟件提供的約束性規(guī)則，數(shù)據(jù)規(guī)范一般包括數(shù)據(jù)標準、數(shù)據(jù)模型、業(yè)務規(guī)則、元數(shù)據(jù)、主數(shù)據(jù)和參考數(shù)據(jù)。
4、數(shù)據(jù)治理活動，理論結(jié)合實踐
數(shù)據(jù)治理活動是指為實現(xiàn)數(shù)據(jù)資產(chǎn)價值的獲取、控制、保護、交付以及提升，對數(shù)據(jù)規(guī)范所做的計劃、執(zhí)行和監(jiān)督工作，一般包括以下活動。
1）數(shù)據(jù)質(zhì)量管理，指通過計劃、實施和控制活動，運用質(zhì)量管理技術(shù)度量、評估、改進和保證數(shù)據(jù)的恰當使用;
2）數(shù)據(jù)架構(gòu)管理，用于定義企業(yè)數(shù)據(jù)需求，設(shè)計實現(xiàn)數(shù)據(jù)需求的主要藍圖，通常包括數(shù)據(jù)標準管理、數(shù)據(jù)模型管理、數(shù)據(jù)集成架構(gòu)等;
3）數(shù)據(jù)安全管理，指通過計劃、制定并執(zhí)行數(shù)據(jù)安全政策和措施，為數(shù)據(jù)和信息提供適當?shù)恼J證、授權(quán)、訪問和審計;
4）參考數(shù)據(jù)和主數(shù)據(jù)管理，指通過計劃、實施和控制活動，達到保證參考數(shù)據(jù)與主數(shù)據(jù)的一致性。
5）元數(shù)據(jù)管理，指通過計劃、實施和控制活動，以實現(xiàn)輕松訪問高質(zhì)量和整合的元數(shù)據(jù);
5、數(shù)據(jù)治理工具
利用
數(shù)據(jù)治理軟件主要解決企業(yè)不同來源數(shù)據(jù)集成過程中遇到的問題，需要數(shù)據(jù)治理軟件能夠為企業(yè)提供統(tǒng)一的元數(shù)據(jù)集成、數(shù)據(jù)標準管理、數(shù)據(jù)模型設(shè)計、數(shù)據(jù)質(zhì)量稽核、數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)分析服務等能力。
