15358968703
工業(yè)數(shù)字化轉(zhuǎn)型中的數(shù)據(jù)治理
隨著數(shù)據(jù)資源的爆炸性增長,企業(yè)面臨著數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、數(shù)據(jù)信息分散、數(shù)據(jù)質(zhì)量參差不齊、開發(fā)維護(hù)困難等問題,很難滿足實時分析和決策的高要求。因此,數(shù)據(jù)治理對于工業(yè)互聯(lián)網(wǎng)的發(fā)展至關(guān)重要。
數(shù)據(jù)治理發(fā)展現(xiàn)狀
一、數(shù)據(jù)治理的相關(guān)概念
數(shù)據(jù)治理是組織中對數(shù)據(jù)使用和管護(hù)的管理行為,其本質(zhì)是指導(dǎo)、評估和監(jiān)督數(shù)據(jù)的管理和利用,通過制定數(shù)據(jù)標(biāo)準(zhǔn)體系,提高數(shù)據(jù)的質(zhì)量,并為組織提供不斷創(chuàng)新的數(shù)據(jù)服務(wù),以提高數(shù)據(jù)的價值密度。數(shù)據(jù)治理內(nèi)容主要包括元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)生命周期管理、數(shù)據(jù)組織、數(shù)據(jù)安全和數(shù)據(jù)服務(wù)等模塊,不同模塊功能明確、相互協(xié)同,共同打造統(tǒng)一調(diào)度、精準(zhǔn)服務(wù)、安全可用的信息共享服務(wù)體系。
二、數(shù)據(jù)治理的發(fā)展歷史
數(shù)據(jù)治理的發(fā)展歷史可分為三個階段。第一階段為早期探索階段,1988年麻省理工學(xué)院啟動的全面數(shù)據(jù)質(zhì)量管理計劃形成了數(shù)據(jù)治理的雛形。同年,國際數(shù)據(jù)管理組織協(xié)會(DAMA)成立。2002年,數(shù)據(jù)治理概念在學(xué)術(shù)界嶄露頭角,美國兩位學(xué)者結(jié)合兩家公司的實踐結(jié)果提出數(shù)據(jù)治理研究方向,由此拉開了數(shù)據(jù)治理在企業(yè)管理中的大幕。第二階段為理論研究階段,2003年國際數(shù)據(jù)治理研究所成立,主要研究數(shù)據(jù)治理理論框架,與國際標(biāo)準(zhǔn)化組織合作對數(shù)據(jù)治理進(jìn)行定義。2009年,DAMA發(fā)布數(shù)據(jù)管理知識體系指南,基本確定數(shù)據(jù)治理的理論框架。第三階段為廣泛接受與應(yīng)用階段,隨著數(shù)據(jù)倉庫的建設(shè),國內(nèi)也逐步開始接受數(shù)據(jù)治理的理念,并在2015年提出了《數(shù)據(jù)治理白皮書》國際標(biāo)準(zhǔn)研究報告。
2020以來,數(shù)據(jù)治理在公共管理、科學(xué)研究與工商業(yè)等領(lǐng)域得到廣泛應(yīng)用,以數(shù)據(jù)為核心的“互聯(lián)網(wǎng)+”體系日益彰顯數(shù)據(jù)治理的價值,為進(jìn)一步推動數(shù)據(jù)治理的發(fā)展,美國、歐盟紛紛頒布圍繞數(shù)據(jù)使用與保護(hù)的公共政策。我國也相繼出臺了《中國制造2025》《關(guān)于深化“互聯(lián)網(wǎng)+先進(jìn)制造業(yè)”發(fā)展工業(yè)互聯(lián)網(wǎng)的指導(dǎo)意見》等相關(guān)政策以促進(jìn)工業(yè)互聯(lián)網(wǎng)發(fā)展,進(jìn)一步體現(xiàn)了工業(yè)數(shù)據(jù)治理的必要性。
三、工業(yè)數(shù)據(jù)治理探索
工業(yè)生產(chǎn)制造主要包括設(shè)備故障預(yù)警、異常實時告警、異常回溯、產(chǎn)品穩(wěn)定性和生產(chǎn)效率優(yōu)化等業(yè)務(wù)場景。隨著智能制造、工業(yè)互聯(lián)網(wǎng)等戰(zhàn)略政策的深入推進(jìn),工業(yè)企業(yè)積累了大量的數(shù)據(jù),為不同業(yè)務(wù)場景下的數(shù)據(jù)分析提供高質(zhì)量的數(shù)據(jù)接口,使得開展工業(yè)數(shù)據(jù)治理成為核心問題。本文將以工業(yè)數(shù)據(jù)為核心,以數(shù)據(jù)治理為方法,以業(yè)務(wù)應(yīng)用為目的,構(gòu)建面向工業(yè)生產(chǎn)制造的數(shù)據(jù)治理體系,并通過案例實踐驗證數(shù)據(jù)治理的成效。
工業(yè)數(shù)據(jù)治理體系
一、工業(yè)數(shù)據(jù)態(tài)勢
?、俟I(yè)數(shù)據(jù)來源
工業(yè)數(shù)據(jù)可劃分為操作技術(shù)數(shù)據(jù)(OT)和信息技術(shù)數(shù)據(jù)(IT)。OT數(shù)據(jù)是工業(yè)數(shù)據(jù)的主要部分,源自工業(yè)生產(chǎn)機(jī)器設(shè)備、自動化采集系統(tǒng)等,包含時序數(shù)據(jù)和非時序數(shù)據(jù)。時序數(shù)據(jù)包括溫度、壓力、流量等數(shù)據(jù)。非時序數(shù)據(jù)包括工業(yè)系統(tǒng)的日志數(shù)據(jù)以及生產(chǎn)調(diào)控的經(jīng)驗數(shù)據(jù)。IT數(shù)據(jù)主要包括企業(yè)資源計劃(ERP)、制造執(zhí)行系統(tǒng)(MES)等業(yè)務(wù)數(shù)據(jù)。其中ERP系統(tǒng)主要包括財務(wù)、客戶關(guān)系、供應(yīng)鏈管理等數(shù)據(jù),MES系統(tǒng)位于上層ERP層與底層控制層之間,主要包括生產(chǎn)調(diào)度、質(zhì)量管理、人員管理等數(shù)據(jù)。
?、诠I(yè)數(shù)據(jù)特點
“隔離性”。工業(yè)數(shù)據(jù)來自多道工序的多臺設(shè)備,設(shè)備獨立工作以及工序間數(shù)據(jù)互不流通,形成一座座“數(shù)據(jù)孤島”。
“多模態(tài)”。工業(yè)數(shù)據(jù)來源多樣,結(jié)構(gòu)復(fù)雜。除工業(yè)生產(chǎn)中所采集的溫度、壓力、流量等時序數(shù)據(jù)之外,還包括檢測火焰溫度等的紅外熱成像視頻數(shù)據(jù)。
“強(qiáng)關(guān)聯(lián)”。工業(yè)數(shù)據(jù)中的關(guān)聯(lián)主要包括:生產(chǎn)指標(biāo)間的關(guān)聯(lián),如原料燃料流量、溫度、壓力的關(guān)聯(lián);生產(chǎn)過程的關(guān)聯(lián),如生產(chǎn)工序間的工藝參數(shù)關(guān)聯(lián)關(guān)系;產(chǎn)品設(shè)計制造等環(huán)節(jié)之間的關(guān)聯(lián),如仿真過程與產(chǎn)品實際工況間的關(guān)聯(lián)。
“高通量”。傳感器所采集的時序數(shù)據(jù)具有設(shè)備多、測點多、頻率高、吞吐量大、連續(xù)不間斷的特點。以某工業(yè)生產(chǎn)設(shè)備為例,數(shù)據(jù)采樣頻率為10Hz,單臺設(shè)備每秒產(chǎn)生16KB的傳感器數(shù)據(jù),按20臺設(shè)備全量采集計算,每日將產(chǎn)生約12.87GB的數(shù)據(jù),每年將產(chǎn)生4.58TB的數(shù)據(jù),呈現(xiàn)出“高通量”的特征。數(shù)據(jù)帶來巨大的存儲成本,還存在銜接不連貫、標(biāo)準(zhǔn)不統(tǒng)一、數(shù)據(jù)不對齊、“臟”數(shù)據(jù)等質(zhì)量問題,無法為數(shù)據(jù)分析提供有效接口,如何提升數(shù)據(jù)價值密度、提高數(shù)據(jù)挖掘效率是現(xiàn)階段亟待解決的問題。
二、工業(yè)數(shù)據(jù)治理體系研究
?、夙攲涌蚣茉O(shè)計
數(shù)據(jù)治理是工業(yè)數(shù)字化轉(zhuǎn)型之路的關(guān)鍵,數(shù)據(jù)治理工作的落地有助于提升數(shù)據(jù)價值密度、提高數(shù)據(jù)挖掘效率,更好服務(wù)靈活多變的業(yè)務(wù)場景,為數(shù)據(jù)分析提供有效接口。目前,數(shù)據(jù)治理體系的研究相當(dāng)成熟,可適應(yīng)于不同的應(yīng)用場景。
圖 1 數(shù)據(jù)治理體系框架
為保證數(shù)據(jù)資產(chǎn)不流失,對源數(shù)據(jù)和分析數(shù)據(jù)進(jìn)行物理隔離,源數(shù)據(jù)按照原始格式保留存儲在本地服務(wù)器中,分析數(shù)據(jù)則經(jīng)過數(shù)據(jù)治理后進(jìn)行存儲,對非必要數(shù)據(jù)進(jìn)行歸檔或銷毀。該數(shù)據(jù)治理體系框架囊括元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)生命周期管理、數(shù)據(jù)組織、數(shù)據(jù)安全及數(shù)據(jù)服務(wù)環(huán)節(jié),環(huán)節(jié)間相互協(xié)同和依賴,形成全方位、多層次、多角度的數(shù)據(jù)治理框架。
?、谠獢?shù)據(jù)管理
元數(shù)據(jù)的定義是“關(guān)于數(shù)據(jù)的數(shù)據(jù)”,元數(shù)據(jù)反映了數(shù)據(jù)的交易、事件、對象和關(guān)系等。通過元數(shù)據(jù)管理可繪制數(shù)據(jù)地圖、統(tǒng)一數(shù)據(jù)口徑、標(biāo)明數(shù)據(jù)方位、分析數(shù)據(jù)關(guān)系以及精確到字段級別的影響分析,方便數(shù)據(jù)的跟蹤和回溯。
圖 2 工業(yè)元數(shù)據(jù)管理
在工業(yè)領(lǐng)域中,元數(shù)據(jù)主要包括技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)。其中技術(shù)元數(shù)據(jù)具體為:物理資源的元數(shù)據(jù)(服務(wù)器、操作系統(tǒng)等)、數(shù)據(jù)源元數(shù)據(jù)(網(wǎng)關(guān)地址等)、存儲元數(shù)據(jù)(指標(biāo)說明、數(shù)據(jù)結(jié)構(gòu)、存儲屬性、管理屬性等)、共享元數(shù)據(jù)(接口方式、格式等)等方面;業(yè)務(wù)元數(shù)據(jù)具體為:模型元數(shù)據(jù)(特征工程、評估標(biāo)準(zhǔn)等)、分析元數(shù)據(jù)(業(yè)務(wù)流程、業(yè)務(wù)規(guī)則等)方面?;诠I(yè)元數(shù)據(jù)管理,可構(gòu)建元模型進(jìn)行元數(shù)據(jù)自動化采集,實現(xiàn)企業(yè)信息化資產(chǎn)梳理、數(shù)據(jù)地圖、數(shù)據(jù)血緣分析等功能。
?、壑鲾?shù)據(jù)管理
主數(shù)據(jù)是指滿足跨部門、跨業(yè)務(wù)協(xié)同需要的系統(tǒng)共享數(shù)據(jù),在各個業(yè)務(wù)部門中被重復(fù)使用,如客戶、供應(yīng)商、資產(chǎn)、產(chǎn)品、物料單、賬戶等數(shù)據(jù)。工業(yè)主數(shù)據(jù)管理流程由業(yè)務(wù)治理、標(biāo)準(zhǔn)治理、質(zhì)量治理組成。
圖3工業(yè)主數(shù)據(jù)管理
在工業(yè)制造領(lǐng)域中,主數(shù)據(jù)結(jié)合物聯(lián)網(wǎng)數(shù)據(jù)可以實現(xiàn)不同的業(yè)務(wù)場景需求。例如,若要了解或預(yù)測物料的庫存情況以提高生產(chǎn)調(diào)度效率,可將原料消耗的傳感器數(shù)據(jù)與物料單主數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析,從而感知到物料的庫存情況。因此,通過將高價值、高共享、相對穩(wěn)定的主數(shù)據(jù)與物聯(lián)網(wǎng)數(shù)據(jù)相關(guān)聯(lián),結(jié)合機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等算法,可實時評估企業(yè)的生產(chǎn)運營情況以做針對性的調(diào)整。
④數(shù)據(jù)標(biāo)準(zhǔn)管理
數(shù)據(jù)標(biāo)準(zhǔn)管理的目標(biāo)是設(shè)計一套標(biāo)準(zhǔn)體系,包括數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)、數(shù)據(jù)操作標(biāo)準(zhǔn)、數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn),形成一個可流通、可共享的信息平臺。數(shù)據(jù)標(biāo)準(zhǔn)主要由業(yè)務(wù)定義、技術(shù)定義和管理信息三部分構(gòu)成,業(yè)務(wù)定義包括業(yè)務(wù)、名稱和接口等方面的定義,技術(shù)定義包括數(shù)據(jù)類型、數(shù)據(jù)結(jié)構(gòu)等方面的定義,管理信息包括所有者、管理人員等方面的定義。
圖4 工業(yè)數(shù)據(jù)標(biāo)準(zhǔn)管理
在工業(yè)制造領(lǐng)域中,大數(shù)據(jù)標(biāo)準(zhǔn)一般以業(yè)界的標(biāo)準(zhǔn)為基礎(chǔ),如元數(shù)據(jù)管理標(biāo)準(zhǔn)(ISO-11179,CWM,DCMI)、數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)(ISO-8000,ISO-25012)以及數(shù)據(jù)安全標(biāo)準(zhǔn)(ISO-27001),結(jié)合工業(yè)數(shù)據(jù)的特點對數(shù)據(jù)進(jìn)行規(guī)范化,一般會包括數(shù)據(jù)格式、數(shù)據(jù)質(zhì)量、數(shù)據(jù)語義、編碼規(guī)則、字典值等內(nèi)容,減少數(shù)據(jù)孤島、流轉(zhuǎn)不暢、應(yīng)用繁瑣等問題的發(fā)生。
?、輸?shù)據(jù)質(zhì)量管理
數(shù)據(jù)質(zhì)量管理是工業(yè)數(shù)據(jù)治理的關(guān)鍵,是數(shù)據(jù)應(yīng)用的前提,為企業(yè)風(fēng)險把控、分析決策、生產(chǎn)運營提供更精準(zhǔn)的高質(zhì)量數(shù)據(jù),提升工業(yè)數(shù)據(jù)分析的效率。
圖5 工業(yè)數(shù)據(jù)質(zhì)量管理
傳統(tǒng)的質(zhì)量評估體系過于繁雜,結(jié)合工業(yè)數(shù)據(jù)和業(yè)務(wù)場景,基于完整性、準(zhǔn)確性、規(guī)范性、唯一性、一致性、關(guān)聯(lián)性、可追溯性等構(gòu)建合理的數(shù)據(jù)質(zhì)量評估體系,并根據(jù)工業(yè)實際生產(chǎn)情況,對質(zhì)量評估體系細(xì)化:
生產(chǎn)控制數(shù)據(jù):生產(chǎn)控制指標(biāo)若出現(xiàn)不完整、不一致等問題,或?qū)е庐惓U{(diào)控不及時等情況發(fā)生。因此,對生產(chǎn)控制指標(biāo)的數(shù)據(jù)質(zhì)量管理提高優(yōu)先級,保障生產(chǎn)流程的正常運轉(zhuǎn)。
傳感器數(shù)據(jù):傳感器數(shù)據(jù)監(jiān)測生產(chǎn)過程中的運作情況,可實時感知生產(chǎn)異常,并及時優(yōu)化調(diào)整。因此,要提高傳感器數(shù)據(jù)接入的及時性、一致性。
故障記錄數(shù)據(jù):為保證生產(chǎn)設(shè)備的穩(wěn)定運轉(zhuǎn),需要對設(shè)備故障記錄進(jìn)行分析診斷,因此需要保證設(shè)備故障記錄數(shù)據(jù)的可靠性和可追溯性。
庫存物流數(shù)據(jù):庫存物流管理是生產(chǎn)、計劃和控制的基礎(chǔ)。通過保證庫存物流數(shù)據(jù)的及時性和完整性,能夠優(yōu)化生產(chǎn)周期,保證生產(chǎn)的良性循環(huán)。
⑥數(shù)據(jù)生命周期管理
采用科學(xué)的數(shù)據(jù)生命周期管理能夠提高系統(tǒng)運行效率,大幅減少數(shù)據(jù)儲存成本,更好服務(wù)客戶需求。數(shù)據(jù)生命周期包含在線階段、歸檔階段、銷毀階段三大階段。
圖6 工業(yè)數(shù)據(jù)生命周期管理
?、邤?shù)據(jù)組織
數(shù)據(jù)組織的目的是根據(jù)數(shù)據(jù)應(yīng)用需求,采用標(biāo)準(zhǔn)統(tǒng)一、流程規(guī)范的方案分類構(gòu)建數(shù)據(jù)資源庫,進(jìn)一步強(qiáng)化大數(shù)據(jù)內(nèi)部關(guān)聯(lián)。數(shù)據(jù)組織主要包括原始庫、知識庫、主題庫等。
原始庫:原始庫保存原始業(yè)務(wù)場景數(shù)據(jù)。工業(yè)原始數(shù)據(jù)主要包括設(shè)備監(jiān)測數(shù)據(jù)、生產(chǎn)流程記錄、產(chǎn)品檢驗數(shù)據(jù)、生產(chǎn)異常數(shù)據(jù)及生產(chǎn)運營數(shù)據(jù)等。
知識庫:知識庫指工業(yè)領(lǐng)域的業(yè)務(wù)經(jīng)驗數(shù)據(jù)和規(guī)則方法集合,包括數(shù)據(jù)接入、處理、服務(wù)以及工業(yè)通用模型所涉及的知識性數(shù)據(jù)和規(guī)則方法。工業(yè)知識庫主要包括原料特性、設(shè)備參數(shù)、產(chǎn)品設(shè)計、生產(chǎn)原理、行業(yè)動態(tài)等。
主題庫:主題庫對原始數(shù)據(jù)和資源數(shù)據(jù)根據(jù)分析和服務(wù)的目的進(jìn)行劃分,形成不同主題的數(shù)據(jù)集合。工業(yè)數(shù)據(jù)主題庫主要包括人員主題庫、設(shè)備主題庫、原料主題庫、生產(chǎn)方法庫、生產(chǎn)環(huán)境庫等。
?、鄶?shù)據(jù)安全
工業(yè)生產(chǎn)中的重要且敏感數(shù)據(jù)大部分集中在應(yīng)用系統(tǒng)中,例如原料配方、控制策略等工藝參數(shù)數(shù)據(jù),以及客戶信息、生產(chǎn)計劃、資產(chǎn)信息等生產(chǎn)運營數(shù)據(jù),敏感數(shù)據(jù)泄露對企業(yè)的影響是不可逆的,凸顯出數(shù)據(jù)安全在數(shù)據(jù)治理過程中的重要性。數(shù)據(jù)安全包括以下三點:
數(shù)據(jù)存儲安全:包括物理安全、系統(tǒng)安全存儲數(shù)據(jù)的安全,主要通過安全硬件的采購來保障數(shù)據(jù)存儲安全。
數(shù)據(jù)傳輸安全:包括數(shù)據(jù)加密和數(shù)據(jù)網(wǎng)絡(luò)安全控制,通過專業(yè)數(shù)據(jù)安全廠商提供技術(shù)保障。
數(shù)據(jù)使用安全:基于業(yè)務(wù)系統(tǒng)層面,建立完善的數(shù)據(jù)安全管理體系、審查機(jī)制。對生產(chǎn)及研發(fā)測試過程中使用的各類敏感數(shù)據(jù)進(jìn)行嚴(yán)密管理。
?、釘?shù)據(jù)服務(wù)
數(shù)據(jù)治理是為了更好地利用數(shù)據(jù),是數(shù)據(jù)應(yīng)用的基礎(chǔ)。基于工業(yè)領(lǐng)域的業(yè)務(wù)需求,大體劃分為三個方向:應(yīng)用支撐、工具應(yīng)用及業(yè)務(wù)應(yīng)用。應(yīng)用支撐服務(wù)包括知識圖譜構(gòu)建、數(shù)據(jù)服務(wù)總線和服務(wù)管理等服務(wù)類型;工具應(yīng)用服務(wù)包括生產(chǎn)查詢檢索服務(wù)、模型分析服務(wù)和數(shù)據(jù)管理服務(wù)等服務(wù)類型;業(yè)務(wù)應(yīng)用服務(wù)包括產(chǎn)品溯源、異常預(yù)警和可視化大屏等服務(wù)類型。通過對海量數(shù)據(jù)的集中、整合、挖掘和共享,結(jié)合全方位、多層次的數(shù)據(jù)服務(wù)體系,增強(qiáng)了異常處理的實時性和前瞻性,推動工業(yè)向信息化、智能化轉(zhuǎn)型。
結(jié)論
工業(yè)數(shù)據(jù)治理體系作為工業(yè)數(shù)字化轉(zhuǎn)型的支撐點,能夠極大簡化數(shù)據(jù)管理流程,減少人工工作量,提高數(shù)據(jù)價值密度,提升數(shù)據(jù)挖掘效率,為不同的業(yè)務(wù)分析場景提供高質(zhì)量的數(shù)據(jù)接口,有效推動企業(yè)向數(shù)字化、智能化發(fā)展。