元數據管理,企業數據治理的基石

北明數科 發佈 2022-09-14T13:50:06.271631+00:00

在企業架構體系中,數據架構始終是企業架構的核心組成部分,其中數據架構的元數據管理又是核心中的核心,那么元數據到底是什麼?

在企業架構體系中,數據架構始終是企業架構的核心組成部分,其中數據架構的元數據管理又是核心中的核心,那么元數據到底是什麼?元數據應該如何治理?如何評估元數據的價值?這些問題成為企業管理者擺在眼前的難題。

下滑閱讀本文,系統了解元數據管理,提升企業數據質量 ↓↓

— 01 —

認識元數據

元數據解釋

信通院發布的《數據資產實踐白皮書》指出:元數據(Metadata)是指描述數據的數據。元數據管理(Meta Data Management) 是數據資產管理的重要基礎,是為獲得高質量的、整合的元數據而進行的規劃、實施與控制行為。元數據貫穿數據資產管理的全流程,是支撐數據資源化和數據資產化的核心。

首先,元數據從業務視角和管理視角出發,通過定義業務元數據和管理元數據,增強了業務人員和管理人員對於數據的理解與認識。

其次,技術元數據通過自動從數據倉庫、大數據平台、ETL中解析存儲和 流轉過程,追蹤和記錄數據血緣關係,及時發現數據模型變更的影響,有效識別變更的潛在風險。

最後,元數據可作為自動化維護數據資產目錄、數據服務目錄的有效工具,是企業數據資產歸類,數據檢索的必備途徑。

元數據分類

元數據可以分為業務元數據、技術元數據、管理元數據。通過各類元數據的關聯,建立邏輯實體與物理實體的對應關係以及業務屬性和表欄位的對應關係。數據管理人員可以對數據的管理、流程以及權限進行有效的管理。

業務元數據:包括了主題和概念領域、實體及屬性的業務名稱和業務定義,屬性的數據類型和其他特性、範圍描述、計算公式、算法和業務規則,以及有效值域及其定義。

技術元數據:為開發人員和技術用戶提供了系統信息。包括物理資料庫表名和欄位名、欄位屬性、其他資料庫對象的屬性和數據存儲特性。操作元數據主要滿足於IT運維用戶的需求。比如數據遷移、數據源和目標系統信息、批處理程序、任務頻率、調度異常處理、備份與恢復信息、歸檔規則和使用等信息。

管理元數據:關於數據管理專員,監督制度流程和責任分配的數據。數據管理人員可以對數據的管理、流程以及權限進行有效的管理。

元數據的作用

元數據作為企業最重要的數據,其重要程度不言而喻,元數據管理作用主要體現在如下兩點:

作用一:作為數據的索引,快速查找數據。

這好比置身於浩瀚的圖書館中,在沒有一個分類編碼的標準、書籍隨便存放的情況下,要迅速找到一本書簡直難於登天,單靠圖書管理員很難統計每類書的數量和存放位置。而中圖目錄信息索引可以解決這個繁雜的問題,每上架一本圖書,圖書的目錄、書名、作者或整理、主題、簡介和篇幅等信息就會被登記,並根據這些信息,管理員將圖書放到對應位置。

元數據的管理與圖書目錄的管理有異曲同工之妙,能夠快速地發揮數據價值,推動企業數據資產變現。

作用二:建立元數據的知識圖譜,精準找出元數據關聯關係,快速發現和解決問題。

通過元數據管理工具,將有關聯關係的元數據進行解析,建立有效的血緣關係。當數據出故障便於數據運維人員快速進行回溯,短時間發現問題原因。

作用三:總覽數據資產,數據情況一目了然。

元數據管理解決了如何將業務系統中的數據分門別類地進行管理的問題,公司有哪些數據,在哪裡可以找到這些數據,能用這些數據幹什麼,都能通過元數據管理平台快速、清晰地解決。

— 02 —

企業元數據管理面臨的問題

隨著企業規模的不斷發展與壯大,在企業的數據資產管理中,會面臨著數據架構失控、元數據管理混亂、數據增長無序等問題,集中體現在以下四點:

1. 系統變更頻繁,沒有完整的規劃、積木式、煙囪式建設。

2. 傳統企業數據資產問題歸根結底是缺少統一的組織、流程、制度的管控,很容易引起數據孤島問題。

3. 數據存儲易,查詢難,數據並沒有作為資產沉澱為企業帶來價值。

4. 元數據的變動後,對系統影響範圍和大小無法預知,等數據出問題後才能響應。

— 03 —

北明數科-元數據管理體系

北明數科在結合政務以及企業的優秀經驗,建立了一套成熟的元數據管理體系。

主要模塊:元模型管理--元數據採集--元數據編目--數據地圖--數據血緣--元數據版本--元數據流程管理,還包括數據溯源、全鏈路監控等功能。

元模型管理

作為元數據的抽象,通過對元數據的結構和語義的定義快速匹配不同的業務和技術場景,通過設計好的元模型會在平台自動轉化為數據開發人員元數據定義的模板,保證設計和開發的一致性。

元模型管理模塊提供內置關係型資料庫、非關係型資料庫等技術元數據和業務規則、業務建模等業務元數據,符合企業數據倉庫環境的各類元數據管理模型。元模型可由用戶自定義擴展,滿足客戶化元數據的需求。

元數據採集

支持對結構化、非結構化數據源的同步,支持用戶通過配置定時任務自動採集與手動導入的方式,將不同系統的元數據進行統一的匯總和管理。

元數據編目

支持對元數據按照主題、層級以及部門進行單個或者批量編目。將元數據轉變為易於理解的資產,供不同的數據使用方去調用。

元數據編目內置按照主題、部門進行編目。同時用戶可以自己定義元數據分類的方式。同時支持自定義拖拽、批量編目、流程快速審批等功能,輔助用戶快速進行元數據的編目,減少編碼的複雜度。

數據地圖

數據地圖是對整個數據中台內的數據進行統一查詢、管理的「地圖」,數據地圖主要面向數據開發者,匯聚用戶所有數據信息,通過元數據信息收集、數據血緣探查、數據權限申請授權等手段,幫助數據中心專有雲完成數據信息的收集和管理,解決"有哪些數據可用"、"到哪裡可以找到數據"的難題,讓用戶找到數據、讀懂數據、消費數據,致力於為用戶提供高效率的數據消費產品。

數據血緣分析

血緣分析指的是獲取到數據的血緣關係,以歷史事實的方式記錄數據的來源、處理過程等。依賴血緣分析,快速定位問題。血緣分析基於公司自研的解析引擎,對數據的鏈路進行全方位的分析和快速查詢。不但能夠提供從匯聚到開發以及數據應用和分享整個鏈路體系的數據流向和各個節點的數據詳細信息展示,精準到欄位級別;而且提升數據查詢效率,將查詢時間控制在毫秒級別。

元數據版本管理

在每一次對於元數據的修改,都會打包生成一個版本,以便日後對存異的或錯誤的元數據進行追溯,可以通過數據地圖查看每次版本的修改信息,以及各個版本對應的原始數據詳情。

元數據流程管理

元數據管理作為數據資產最重要的一個環節,元數據的變更會直接影響到數據採集、數據質量等模塊。元數據的採集和變更都會經過如下流程,才能正式做上線操作。

1. 提出元數據新增需求《元數據變更審批表》。

2. 審批方受理新增需求,判斷是否採集元數據,新增元數據是否受理。

3. 元數據實施方對元數據採集方案及計劃確定。

4. 根據方案整理出對下游系統影響分析,明確影響範圍。

5. 元數據上線審核通過,並做好版本管理。

— 04 —

元數據管理-路線圖

從L0-L4五個元數據管理目標,主要分為基礎平台構建到價值實現五個逐級遞進的過程:元數據管理平台的構建--元數據的集中化管理--元數據自動管理--版本管理--價值實現。從下到上元數據的智能程度越來越高,其對應發揮的價值也也越來越大。

— 05 —

總述

在大數據時代的背景下,數據即資產,元數據實現了信息的描述和分類的格式化,從而為機器處理創造了可能,它能幫助企業更好地對數據資產進行管理,理清數據之間的關係。元數據管理是企業提升數據質量的基礎,也是企業數據治理中的關鍵環節。

北明數科擁有豐富的元數據管理經驗,在國資監管、大型央企項目都經歷過打磨,並在華為FI、騰訊TBDS等大型數據集群上處理百萬級別的元數據管理。為客戶進行數據治理、數據資產管理提供了重要的支撐能力。


進入北明數科官網,了解數據中台更多詳細內容,預約免費演示!

企業數位化轉型需求洞察,這5點說明白了

北明數科入選數據中台TOP50:助力企業通過數據+業務,實現1+1>2

集團類數據資產管理平台建設,北明數科數據中台這樣做

關鍵字: