目前工廠內(nèi)部已經(jīng)建成約70多套信息化系統(tǒng),包括經(jīng)營管理系統(tǒng)(OA、財務(wù)、HR、知識系統(tǒng)等)、生產(chǎn)制造系統(tǒng)(修理MES、ERP、PLM、IETM等),這些系統(tǒng)的數(shù)據(jù)分散存儲,未實現(xiàn)數(shù)據(jù)資產(chǎn)的統(tǒng)一管理,在數(shù)據(jù)管理面臨的雙重挑戰(zhàn):
挑戰(zhàn)一:數(shù)據(jù)質(zhì)量參差不齊,人工填報隱患多
由于大量數(shù)據(jù)依賴于人工填報,且填報表單中的字段缺乏統(tǒng)一的標準化定義與約束,導(dǎo)致數(shù)據(jù)填寫過程中不規(guī)范現(xiàn)象頻發(fā)。
以工藝問題改進管理數(shù)據(jù)表單為例,同一行數(shù)據(jù)中竟出現(xiàn)兩個文件編號,文件名稱五花八門,缺乏一致性;機型字段本應(yīng)通過值集約束確保填寫具體機型,但實際填寫卻五花八門,甚至缺失關(guān)鍵信息如提出時機、登記時間等。
這種數(shù)據(jù)填寫的不規(guī)范性,不僅增加了后續(xù)數(shù)據(jù)加工與統(tǒng)計分析的難度,還使得數(shù)據(jù)清洗過程變得異常復(fù)雜,整體數(shù)據(jù)質(zhì)量難以保證,從而限制了數(shù)據(jù)在技術(shù)研發(fā)與改進分析中的有效應(yīng)用,其輔助決策的價值大打折扣。
挑戰(zhàn)二:數(shù)據(jù)價值挖掘不足,線上線下割裂嚴重
一方面,工廠內(nèi)部積累了大量紙質(zhì)表單及各部門線下的Excel數(shù)據(jù),由于缺乏統(tǒng)一的線上管理系統(tǒng),這些數(shù)據(jù)如同孤島般散落各處,難以進行有效匯總與分析,數(shù)據(jù)價值被嚴重埋沒。另一方面,雖然IT系統(tǒng)中已沉淀了豐富的業(yè)務(wù)數(shù)據(jù),但各系統(tǒng)之間彼此獨立,數(shù)據(jù)共享壁壘高筑,導(dǎo)致工廠用戶難以便捷地獲取所需數(shù)據(jù),進一步阻礙了業(yè)務(wù)數(shù)據(jù)的深度開發(fā)與利用。
結(jié)合對某機械廠數(shù)據(jù)管理現(xiàn)狀調(diào)研的實際情況,工廠涉及眾多業(yè)務(wù)板塊,迫切需要統(tǒng)一的數(shù)據(jù)管理平臺,能將這些數(shù)據(jù)收集起來集中存儲,制定數(shù)據(jù)管理辦法,進行標準化管理,基于高質(zhì)量的數(shù)據(jù),對工廠的生產(chǎn)經(jīng)營進行動態(tài)分析、預(yù)測分析等,為工廠的綜合決策提供支持。
建設(shè)目標
本項目旨在通過建立工廠數(shù)據(jù)管理標準體系,搭建數(shù)據(jù)治理平臺,將各類業(yè)務(wù)數(shù)據(jù)匯入數(shù)據(jù)湖展開治理,形成數(shù)據(jù)資產(chǎn),提供數(shù)據(jù)可視化應(yīng)用,將工廠數(shù)據(jù)管理成熟度從程度較弱的受管理級提升至穩(wěn)健級。
一是明確數(shù)據(jù)戰(zhàn)略,建章立制,建立數(shù)據(jù)管理體系;二是構(gòu)建數(shù)據(jù)湖、數(shù)據(jù)倉庫,打破數(shù)據(jù)孤島;三是打造持續(xù)升值的數(shù)據(jù)資產(chǎn),將數(shù)據(jù)變?yōu)槿珡S人員可閱讀,易理解的內(nèi)容,并可以快速結(jié)合到業(yè)務(wù)中;四是依托數(shù)據(jù)治理平臺,通過數(shù)據(jù)分析試點應(yīng)用的落地來檢驗標準體系和平臺架構(gòu);
五是通過平臺的建立和體系的建立和完善,工廠數(shù)據(jù)管理成熟度將提升至穩(wěn)健級。
建設(shè)思路
系統(tǒng)平臺建設(shè)思路按照“1+2+2“即“一個體系、兩個中心、兩個應(yīng)用”進行設(shè)計。
-
一個體系:是指建立數(shù)據(jù)的管理體系和管理規(guī)范體系,制定工廠的數(shù)據(jù)管理模式、策略和標準,通過對數(shù)據(jù)的標準化、資產(chǎn)化管理,實現(xiàn)工廠各業(yè)務(wù)數(shù)據(jù)的匯聚融合、各環(huán)節(jié)數(shù)據(jù)的一致性;
-
兩個中心:分別是匯聚中心、數(shù)據(jù)中心。匯聚中心是數(shù)據(jù)的采集匯聚及ETL功能平臺;數(shù)據(jù)中心實現(xiàn)數(shù)據(jù)湖/數(shù)據(jù)倉庫的建設(shè),同時要實現(xiàn)數(shù)據(jù)數(shù)據(jù)治理活動
-
兩個應(yīng)用:分別是數(shù)據(jù)分析和數(shù)據(jù)API服務(wù)應(yīng)用。
建設(shè)內(nèi)容
一是數(shù)據(jù)管理體系規(guī)劃及推廣,除了要構(gòu)建符合工廠要求的數(shù)據(jù)管理體系外,還需要對全體員工進行數(shù)據(jù)治理賦能,為工廠培養(yǎng)一批掌握數(shù)據(jù)管理、數(shù)據(jù)中臺應(yīng)用與開發(fā)技能的復(fù)合型管理人才;二是數(shù)據(jù)治理平臺建設(shè),要包括數(shù)據(jù)采集以及數(shù)據(jù)治理、系統(tǒng)集成等平臺功能;
三是數(shù)據(jù)治理實施,涉及數(shù)據(jù)采集入湖、數(shù)據(jù)標準開發(fā)作業(yè)配置以及主數(shù)據(jù)質(zhì)量提升等內(nèi)容。
整個項目落地包括數(shù)據(jù)治理體系規(guī)劃、平臺建設(shè)、數(shù)據(jù)治理實施三大部分:
1.數(shù)據(jù)治理體系規(guī)劃
1.1數(shù)據(jù)成熟度評估
在數(shù)據(jù)治理體系規(guī)劃方面,基于DCMM(數(shù)據(jù)管理能力成熟度模型)提煉的八大數(shù)據(jù)管理領(lǐng)域,我們設(shè)計了數(shù)據(jù)能力評估問卷,并依據(jù)調(diào)研結(jié)果編制了差異分析報告。在八大能力域框架下,與領(lǐng)導(dǎo)層及業(yè)務(wù)部門緊密溝通,制定了關(guān)鍵措施。最終,輸出了一系列數(shù)據(jù)治理體系規(guī)劃文檔,為組織能力提升提供了堅實基礎(chǔ)。
1.2建立數(shù)據(jù)治理組織架構(gòu)
治理組織架構(gòu)的,我們組建了決策、管理、執(zhí)行三層的治理組織架構(gòu),決策層是由廠領(lǐng)導(dǎo)組成,主要負責(zé)確定數(shù)據(jù)治理目標;管理層是由數(shù)據(jù)中心領(lǐng)導(dǎo)以及各業(yè)務(wù)部門領(lǐng)導(dǎo)組成,負責(zé)制定數(shù)據(jù)治理管理制度、流程等,執(zhí)行層由數(shù)據(jù)中心、各業(yè)務(wù)部門在各數(shù)據(jù)治理領(lǐng)域的對接人組成,負責(zé)落實數(shù)據(jù)治理管理層的管理制度和流程。
1.3職能角度建立責(zé)任矩陣
建立好組織架構(gòu)后,逐步細化和明確了數(shù)據(jù)資產(chǎn)的管理職責(zé),企業(yè)的數(shù)據(jù)認責(zé)機制必須建立在明晰、均衡的專業(yè)與責(zé)任劃分之上,認責(zé)方應(yīng)當有明確的職責(zé)邊界,同時還要便于相互間的協(xié)作。因此在職能的角度上建立了責(zé)任矩陣,明確了數(shù)據(jù)資產(chǎn)所有者、業(yè)務(wù)認責(zé)方,技術(shù)認責(zé)方、操作認責(zé)方各方的職責(zé)。
1.4數(shù)據(jù)角度開展認責(zé)
以數(shù)據(jù)角度開展認責(zé),包括業(yè)務(wù)活動數(shù)據(jù)的CU矩陣、部門數(shù)據(jù)的CU矩陣、系統(tǒng)數(shù)據(jù)的CU矩陣,通過建立數(shù)據(jù)資產(chǎn)C-U矩陣,按照“誰產(chǎn)生,誰負責(zé)”,“誰經(jīng)手,誰負責(zé)”的原則,將數(shù)據(jù)責(zé)任逐級落實到個人。
1.5制定數(shù)據(jù)管理流程
立足數(shù)據(jù)使用、數(shù)字化建設(shè)、數(shù)據(jù)管理三大業(yè)務(wù)場景,定義業(yè)務(wù)活動流程,并明確數(shù)據(jù)提供者、數(shù)據(jù)管理者、數(shù)據(jù)消費者各角色職責(zé)分工。截止目前共發(fā)布了20項數(shù)據(jù)管理流程,涉及到數(shù)據(jù)資源申請使用、數(shù)據(jù)應(yīng)用開發(fā)、引用數(shù)據(jù)標準建模、數(shù)據(jù)標準落地評估、資產(chǎn)盤點、數(shù)據(jù)質(zhì)量管理等數(shù)據(jù)管理場景。上圖是一份針對已上架的資產(chǎn)數(shù)據(jù)申請流程示例,用戶在線進行數(shù)據(jù)申請使用的填寫、在線審批、通過后直接開放數(shù)據(jù)使用權(quán)限。
2.平臺建設(shè)
建設(shè)體系的同時我們也在建設(shè)數(shù)據(jù)治理平臺,平臺架構(gòu)主要由4層組成,最底層是基礎(chǔ)設(shè)計及網(wǎng)絡(luò),在此之上存儲層,通過數(shù)據(jù)集成對各類異構(gòu)數(shù)據(jù)的采集并存儲,在數(shù)據(jù)存儲之上主要是能力層,也就是數(shù)據(jù)治理的各個域的功能,最終面向用戶提供數(shù)據(jù)資產(chǎn)門戶、API服務(wù)以及數(shù)據(jù)分析應(yīng)用。
本次項目的實施采用的是億信華辰睿治數(shù)據(jù)治理平臺工具,分別完成了數(shù)據(jù)倉庫建設(shè)、核心業(yè)務(wù)數(shù)據(jù)治理以及數(shù)據(jù)資產(chǎn)門戶、數(shù)據(jù)分析等數(shù)據(jù)應(yīng)用服務(wù)?;跀?shù)據(jù)治理體系的規(guī)劃,利用治理平臺完成了數(shù)據(jù)管理流程的落地應(yīng)用。
3.數(shù)據(jù)治理實施
3.1數(shù)據(jù)入倉
本次數(shù)倉的建設(shè)包括了很多歷史數(shù)據(jù)、ETL、調(diào)度的遷移,因此利用睿治數(shù)據(jù)治理平臺的數(shù)據(jù)采集功能,將各業(yè)務(wù)系統(tǒng)異構(gòu)的數(shù)據(jù)和歷史數(shù)倉的數(shù)據(jù),通過JDBC方式、實時采集、接口采集、文本采集等方式,抽取到數(shù)倉統(tǒng)一管理,其中涉及到傳統(tǒng)的關(guān)系型數(shù)據(jù)庫、Hadoop數(shù)據(jù)庫,半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
工作成果:在數(shù)倉按照業(yè)務(wù)主題劃分了9大業(yè)務(wù)域,涉及1000+張表入倉,設(shè)計了100+數(shù)據(jù)模型,500+ETL作業(yè),150+調(diào)度在運行中,為工廠的數(shù)據(jù)分析應(yīng)用提供了數(shù)據(jù)基礎(chǔ)。
3.2數(shù)據(jù)盤點
整個數(shù)據(jù)盤點工作要用到睿治數(shù)據(jù)治理平臺的元數(shù)據(jù)管理和數(shù)據(jù)資產(chǎn)管理功能,需要強調(diào)的就是數(shù)據(jù)有效性的確認在數(shù)據(jù)盤點過程中是非常必要的,我們會先從技術(shù)層篩選掉無效表,例如空表、備份表、臨時表、垃圾表、系統(tǒng)配置表等,然后讓業(yè)務(wù)部門做二次確認,通過數(shù)據(jù)有效性確認,精簡數(shù)據(jù)盤點工作工作范圍,大大提升效率。
工作成果:完成對79套源端業(yè)務(wù)系統(tǒng)的深度梳理,涵蓋了17種類別,累計采集并整合了高達185萬項元數(shù)據(jù),實現(xiàn)了對業(yè)務(wù)元數(shù)據(jù)與管理元數(shù)據(jù)的全面補充與優(yōu)化。此舉顯著提升了元數(shù)據(jù)注釋的完備程度,從原有的51.68%躍升至83.48%,成功構(gòu)建了覆蓋全廠的統(tǒng)一數(shù)據(jù)字典,為數(shù)據(jù)治理奠定了堅實基礎(chǔ)。
同時,緊密圍繞工廠9大核心業(yè)務(wù)價值鏈,將盤查出的數(shù)據(jù)項精心轉(zhuǎn)化為寶貴的工廠數(shù)據(jù)資產(chǎn),并通過數(shù)據(jù)服務(wù)門戶平臺對外發(fā)布,實現(xiàn)了跨部門的無縫對接與高效共享。這些數(shù)據(jù)資產(chǎn)依據(jù)業(yè)務(wù)價值鏈的自然流程,精細劃分為從研發(fā)到生產(chǎn)、從銷售到回款的各個環(huán)節(jié),進一步從數(shù)據(jù)維度細化為主數(shù)據(jù)(如人員機構(gòu)、客商、物料、機型、設(shè)備等關(guān)鍵共享信息)、基礎(chǔ)數(shù)據(jù)(作為參考標準的各類數(shù)據(jù))以及業(yè)務(wù)數(shù)據(jù)(如具體的單機維修方案、完工發(fā)運單等),為企業(yè)的精細化管理與決策提供了強有力的數(shù)據(jù)支撐。
3.3數(shù)據(jù)標準
在數(shù)據(jù)標準制定方面,我們采取業(yè)務(wù)驅(qū)動與技術(shù)驅(qū)動相結(jié)合的策略,以確保標準的全面性與實用性。從業(yè)務(wù)驅(qū)動角度,梳理核心業(yè)務(wù)流程、識別核心業(yè)務(wù)實體、識別核心業(yè)務(wù)屬性、確定權(quán)威數(shù)據(jù)源、制定數(shù)據(jù)標準;從技術(shù)驅(qū)動角度,統(tǒng)計梳理業(yè)務(wù)含義相同/相近數(shù)據(jù)項、確定數(shù)據(jù)標準范圍、確定權(quán)威數(shù)據(jù)源、制定標準。
在制定過程中,遵循三大原則:一是按需定義原則,以物資業(yè)務(wù)為例,結(jié)合線上線下業(yè)務(wù)數(shù)據(jù),提煉關(guān)鍵業(yè)務(wù)實體與主要屬性,避免簡單復(fù)制信息系統(tǒng)數(shù)據(jù)庫表信息,而是從業(yè)務(wù)實際需求出發(fā)進行抽象與規(guī)范;二是抽象定義原則,針對如證書等具有共性與差異性的實體,我們進行抽象化處理,整合共有屬性并新增類別屬性以區(qū)分不同用途;三是明確權(quán)威原則,針對多系統(tǒng)中存在的相同實體(如采購申請),厘清其跨系統(tǒng)血緣關(guān)系,以權(quán)威系統(tǒng)(如ERP系統(tǒng))的屬性為準繩,制定統(tǒng)一的數(shù)據(jù)標準。
工作成果:利用睿治數(shù)據(jù)治理平臺數(shù)據(jù)標準管理功能,建立了工廠級數(shù)據(jù)標準體系,包括基礎(chǔ)數(shù)據(jù)284項、主數(shù)據(jù)13項、參考數(shù)據(jù)38項及指標數(shù)據(jù)307項。同時,依據(jù)標準對業(yè)務(wù)系統(tǒng)進行了數(shù)據(jù)評估,發(fā)現(xiàn)并推動了29項不符標準的整改,提升了數(shù)據(jù)質(zhì)量。
3.4數(shù)據(jù)質(zhì)量
在數(shù)據(jù)質(zhì)量管理領(lǐng)域,我們構(gòu)建了完善的工廠數(shù)據(jù)質(zhì)量管理閉環(huán)體系,該體系清晰界定了各環(huán)節(jié)的責(zé)任主體,從質(zhì)量問題的初步提出、深入分析,到質(zhì)量規(guī)則的嚴謹制定,再到質(zhì)檢方案的實施與結(jié)果反饋,直至質(zhì)量問題的針對性整改與后續(xù)評估,形成了一個閉環(huán)循環(huán)的持續(xù)優(yōu)化機制。緊密依托前端數(shù)據(jù)分析與應(yīng)用場景,特別是通過深度挖掘報表生成過程中的問題數(shù)據(jù),實現(xiàn)了對數(shù)據(jù)質(zhì)量問題的精準定位。
工作成果:精心梳理了涵蓋人員、物料、串件等9大主題域的廣泛數(shù)據(jù)資源,并制定了共計355條嚴格的數(shù)據(jù)質(zhì)量規(guī)則,這些規(guī)則覆蓋了空值檢查、重復(fù)數(shù)據(jù)識別、值域校驗及數(shù)據(jù)規(guī)范審核等多個關(guān)鍵維度。同時,利用元數(shù)據(jù)分析功能追溯問題源頭,通過深入分析63條數(shù)據(jù)鏈路,從根本解決數(shù)據(jù)問題,提升數(shù)據(jù)質(zhì)量。
3.5數(shù)據(jù)資產(chǎn)門戶
在數(shù)據(jù)服務(wù)實施方面,我們依托已治理的數(shù)據(jù),通過資產(chǎn)門戶向全廠員工提供便捷的數(shù)據(jù)服務(wù)。根據(jù)業(yè)務(wù)視角劃分資產(chǎn)目錄,并運用來源系統(tǒng)、數(shù)據(jù)類型等作為數(shù)據(jù)標簽,構(gòu)建了一個類電商的數(shù)據(jù)資產(chǎn)平臺。用戶可通過目錄分類、標簽及業(yè)務(wù)關(guān)鍵字快速定位所需數(shù)據(jù),并查看詳細信息,如業(yè)務(wù)描述、來源系統(tǒng)、提供部門等,以判斷數(shù)據(jù)適用性。一旦確認需求,用戶可在線提交查詢、下載及分析申請,待審批流程完成后,即可訪問權(quán)限內(nèi)的數(shù)據(jù)。
3.6數(shù)據(jù)API服務(wù)
針對系統(tǒng)間數(shù)據(jù)共享,我們提供了數(shù)據(jù)API服務(wù)。在平臺上,通過簡易配置即可實現(xiàn)API服務(wù)的構(gòu)建,無需繁瑣的代碼開發(fā),相較于傳統(tǒng)方式,顯著降低了開發(fā)成本,并加速了系統(tǒng)間數(shù)據(jù)共享的效率。在本次項目中,已將廠房信息、人員信息等重要數(shù)據(jù),通過接口方式對接至工業(yè)互聯(lián)網(wǎng)系統(tǒng),同時,也將質(zhì)檢問題數(shù)據(jù)等關(guān)鍵信息提供給質(zhì)量與生產(chǎn)系統(tǒng),為工廠的高效生產(chǎn)運營提供了堅實的數(shù)據(jù)支撐。
3.7數(shù)據(jù)分析應(yīng)用
在數(shù)據(jù)分析應(yīng)用方面,我們以賦能為核心,組織了面向全工廠的多次培訓(xùn)會議及答疑交流,旨在提升數(shù)據(jù)分析能力。同時,與工廠數(shù)據(jù)中心部門緊密合作,策劃并舉辦了為期三個月的數(shù)據(jù)分析應(yīng)用競賽,吸引了10個業(yè)務(wù)部門參與,共收到15組優(yōu)秀作品。此系列活動顯著增強了各業(yè)務(wù)部門的數(shù)據(jù)應(yīng)用能力。
1.權(quán)責(zé)明確,數(shù)據(jù)資產(chǎn)高效利用
項目實施前,跨部門數(shù)據(jù)共享障礙重重,審批繁瑣,效率低下。而今,通過構(gòu)建科學(xué)管理體系,明確責(zé)任分工,并推出資產(chǎn)門戶,實現(xiàn)了數(shù)據(jù)需求審批的線上化閉環(huán),極大降低了溝通成本,提升了協(xié)作效率,同時支持數(shù)據(jù)的在線查閱、下載與自助分析,顯著減輕了管理員負擔(dān)。
2. 數(shù)據(jù)集中化管理,質(zhì)量提升
此前,數(shù)據(jù)存儲分散、標準不一,數(shù)據(jù)孤島現(xiàn)象嚴重,質(zhì)量堪憂。項目實施后,數(shù)據(jù)湖統(tǒng)一存儲,標準規(guī)范確立,企業(yè)級數(shù)倉構(gòu)建完成,有效打破了系統(tǒng)間壁壘。通過數(shù)據(jù)整合、字典梳理與標準化應(yīng)用,數(shù)據(jù)質(zhì)量顯著提升,跨業(yè)務(wù)關(guān)聯(lián)分析成為可能,為決策支持奠定了堅實基礎(chǔ)。
3.數(shù)據(jù)思維普及,自助分析能力增強
針對國企傳統(tǒng)辦公習(xí)慣與數(shù)據(jù)分析挑戰(zhàn),項目通過系列培訓(xùn)與競賽活動,成功激發(fā)了全廠員工的數(shù)據(jù)意識與應(yīng)用能力。從基礎(chǔ)理論體系宣講到實操技能培訓(xùn),再到競賽中的專業(yè)展示,全方位提升了數(shù)據(jù)應(yīng)用能力,實現(xiàn)了數(shù)據(jù)驅(qū)動的業(yè)務(wù)創(chuàng)新與發(fā)展。