在傳統信息架構階段，各個部門根據各自的業務需求的需要，在不同的時期不同的技術環境下建設出各自的信息系統，從而出現了一個個「信息孤島」式應用。隨著大數據時代的到來，為解決系統孤島的現象，現如今各行各業都在進行大數據平台的建設，都想通過大數據的能力實現數位化轉型，而數據治理作為實現企業數據價值的第一步，也就越來越被重視。

實際上，大數據平台的建設本質還是數據的建設，企業只有保證數據的可見、可用、易用、可運營，才能儘快依靠數據成為重要的生產力。然而，企業在傳統數據平台碰到的所有問題，在大數據平台也有可能遇到。且隨著數據量級的變化，大數據平台必然還會產生新的問題。

數據治理原因分析

不論是金融行業、通訊行業、地產行業、傳統製造業以及農業，其信息化的發展基本都遵循了「諾蘭模型」。企業信息化大致經歷了初期的煙囪式系統建設、中期的集成式系統建設和後期的數據管理式系統建設三個大的階段，可以說是一個先建設後治理的過程。

1.數據共享困難

企業信息化建設初期缺乏整體的信息化規劃，系統建設大多都是以業務部門驅動的單體架構系統或套裝軟體，數據分散在這些架構不統一、開發語言不一致、資料庫多樣化的系統中，甚至還有大量的數據存放在員工的個人電腦中，導致在企業內部形成了一個個的「信息孤島」。這些「孤島」之間缺乏有效的連接通道，數據不能互聯互通，不能按照用戶的指令進行有意義的交流，數據的價值不能充分發揮。只有聯通數據，消除這些「信息孤島」，才能實現數據驅動業務、數據驅動管理，才能真正釋放數據價值。

2.提高數據質量

「數據資產化」的概念已經被大多數人理解和接受。不論是企業、政府還是其他組織機構，對於數據資產的管理越來越重視。然而，數據並不等於資產，也就是說不是所有數據都是數據資產，數據中也有垃圾數據。我們需要治理的是能夠為企業創造價值的數據資產，而不是全部數據，通過數據治理來提高數據質量。

3.缺乏管理機制

許多企業都認識到了數據的重要性，並嘗試通過生產系統的業務流來控制數據流，但由於缺乏有效的管理機制和某些人為的因素，在數據流轉過程中，存在數據維護錯誤、數據重複、數據不一致、數據不完整的情況，導致了產生了大量的垃圾數據。數據產權不明確，管理職責混亂，管理和使用流程不清晰，是造成數據質量問題的重要因素。

數據治理三大誤區

數據治理是一項長期而繁雜的工作，很多時候數據治理廠商做了很多工作，當把諮詢成果落地到實處的時候，但客戶卻認為沒有看到什麼成果，這是因為在進行數據治理時存在了各種誤區。

1.客戶需求不明

客戶既然請廠商來幫助自己做數據治理，必定是看到了自己的數據存在種種問題。但是並沒有考慮做什麼，怎麼做，做多大的範圍，先做什麼後做什麼，達到什麼樣的目標，業務部門、技術部門、廠商之間如何配合做這些問題，也就是說很多客戶其實並沒有想清楚自己真正想解決的問題，很難在數據治理方面找到一個切入點。

2.問題來源不明

在大數據時代，很多組織認識到了數據的價值，也成立了專門的團隊來負責管理數據，有的叫數據管理處，有的叫大數據中心，有的叫數據應用處，名稱不一而足。這些機構往往由技術人員組成，本身的定位也屬於技術部門，它們的共同點是：強技術，弱業務。當數據治理項目需要實施的時候，往往就是由這些技術部門來牽頭。技術部門大多是以數據中心或者大數據平台為出發點，受限於組織範圍，不希望擴大到業務系統，只希望把自己負責的範圍管好。但數據問題產生的原因，往往是業務>技術，可以說大部分的數據質量問題，都是來自於業務。

3.數據標準難行

很多客戶一說到數據治理，馬上就說我們有很多數據標準，但是這些標準卻統統沒有落地，因此，我們要先做數據標準的落地。數據標準真正落地了，數據質量自然就好了。我們首先需要全面梳理數據標準，而數據標準的全面梳理，範圍很大，包括國家標準，行業標準，組織內部的標準等等，需要花費很大的精力，甚至都可以單獨立一個項目來做。所以，首先需要讓客戶看到梳理數據標準的廣度和難度。其次，就算是花很大精力梳理，也很難看到效果，結果往往是客戶只看到了一堆Word和Excel文檔，時間一長，誰也不會再去關心這些陳舊的文檔，這是最普遍的問題。

數據治理方案介紹

數通暢聯基於原有自主開發的多款產品，針對不同行業的業務場景，推出了可以幫助企業解決多種數據治理難題的基礎方案和綜合方案。接下來主要介紹數通暢聯的基礎數據治理方案、企業集成中台方案、企業數據中台方案。

1.基礎數據治理

由數通暢聯的MDM和ESB產品組合而成的基礎數據治理方案可以打破各系統間的數據壁壘，形成統一規範的數據標準體系。同時還可為建設集成底座方案與數據中台方案奠定基礎。其中MDM產品獲得「單一的基礎數據來源」，為企業深度應用集成、業務流程再造以及升級創新提供準確的數據支撐。ESB產品會打破系統間的數據孤島，實現基礎數據的集成，幫助企業數據整合或數據中心建設。

2.企業集成中台

企業集成中台方案是基於IDM、MDM、ESB三個核心產品組合打造的一套解決方案，主要解決企業信息化建設過程中業務系統打通以及基礎業務集成整合的問題。其中IDM平台基於5A管控體系實現統一用戶、統一認證、統一授權、統一審計、統一應用管控等安全管控。MDM通過支持組織、崗位、人員等主數據的同步分發，實現主數據的標準化，實現全生命周期的主數據管理；ESB作為集成通道，通過API管理將業務系統接口註冊、代理到ESB平台，並通過平台實現集中監控、認證、限流、報警等功能，在滿足IDM、MDM以及上下游系統的集成管理的同時實現服務接口的集中化管理。

3.企業數據中台

企業數據中台方案主要圍繞數據的「集存通用治」。包括數據的採集治理、數據的匯聚存儲、數據的集成連通、可視化分析以及進行質量管理，提高數據質量。通過企業數據中台方案能夠協助企業打通部門、系統間壁壘，實現信息集成與共享，提高公司整體的戰略協同力。其中MDM產品對主數據進行集中管理，對數據進行清晰轉換等操作，為其他的業務系統提供標準數據，同時為DAP提供基礎數據支持。ESB產品從各個業務系統抽取主數據同步到MDM，再配合MDM進行主數據的分發，配合DAP建立數據同步流程以及支持數倉的建設。DAP產品會將分發過來的主數據進行抽取、加工轉換，並存儲到數倉中，構建大數據中心，同時對數據進行分析，挖掘出數據的價值，來支持企業進行經營決策。

如何進行數據管理

在激烈的市場競爭下，我們一方面要對數據現狀有清晰的認識，對數據治理的目標有明確的訴求，另一方面還要知道數據治理中各種常見的誤區，跨越這些陷阱，把數據治理工作真正落到實處，下面主要介紹數據管理的幾種類型。

1.元數據的管理

元數據是數據的戶口本，是數據治理的核心和基礎，元數據產生於從數據生產、數據接入、數據加工、數據服務到數據應用的各個環節，整體上可以分為三類：技術元數據、業務元數據和管理元數據。在大數據平台中，元數據貫穿大數據平台數據流動的全過程，主要包括數據源元數據、數據加工處理過程元數據、數據主題庫專題庫元數據、服務層元數據、應用層元數據等。元數據採集入庫後，可以產生冷熱度分析、血緣關係分析、影響性分析，數據資產地圖等應用。元數據管理可以讓數據被描述得更加清晰，更容易被理解，被追溯，更容易評估其價值和影響力，還可以大大促進信息在組織內外的共享。

2.數據質量管理

數據要能發揮其價值，關鍵在於其數據質量的高低，高質量的數據是一切數據應用的基礎。數據質量管理主要解決「數據質量現狀如何，誰來改進，如何提高，怎樣考核」的問題。最開始的關係型資料庫時代，做數據治理最主要的目的就是為了提升數據質量，讓報表、分析、應用更加準確。時至今日，雖然數據治理的範疇擴大了很多，我們開始講數據資產管理、知識圖譜、自動化的數據治理等等概念，但是提升數據的質量，依然是數據治理最重要的目標之一。

3.數據標準管理

企業的數據標準來源非常豐富，有外部的監管要求，行業的通用標準，同時也必須考慮到企業內部數據的實際情況，梳理其中的業務指標、數據項、代碼等，將以上的所有的來源都納入數據標準沒有必要，數據標準的範圍應該主要集中在企業業務最核心的數據部分，有的企業也稱作關鍵業務數據或核心數據，只要制定出這些核心數據的標準，就能夠支撐企業數據質量、主數據管理、數據分析等需要。

數據治理重要意義

隨著大數據的發展，各行各業都面臨越來越龐大且複雜的數據，這些數據如果不能有效管理起來，不但不能成為企業的資產，反而可能成為拖累企業的「包袱」。數據治理是有效管理企業數據的重要舉措，是實現數位化轉型的必經之路，對提升企業業務運營效率和創新企業商業模式具有重要意義。

1.降低運營成本

有效的數據治理能夠降低企業IT和業務運營成本。一致性的數據環境讓系統應用集成、數據清理變得更加自動化，減少過程中的人工成本。標準化的數據定義讓業務部門之間的溝通保持順暢，降低由於數據不標準、定義不明確引發的各種溝通成本。

2.增強數據安全

有效的數據治理可以更好地保證數據的安全防護、敏感數據保護和數據的合規使用。通過數據梳理識別敏感數據，再通過實施相應的數據安全處理技術，例如數據加密/解密、數據脫敏/脫密、數據安全傳輸、數據訪問控制、數據分級授權等手段，實現數據的安全防護和使用合規。

3.賦能管理決策

有效的數據治理有利於提升數據分析和預測的準確性，從而改善決策水平。良好的決策是基於經驗和事實的，不可靠的數據就意味著不可靠的決策。通過數據治理對企業數據收集、融合、清洗、處理等過程進行管理和控制，持續輸出高質量數據，從而制定出更好的決策和提供一流的客戶體驗，所有這些都將有助於企業的業務發展和管理創新。

數據治理是一種通過一定的方法對數據進行管理、規範、保護、利用的方法。 通過對一些數據進行相應的治理，可以實現數據處理流程和數據管理方法的規範化，進而為企業或者組織建立了一個科學合理的組織結構，並且在其中能夠對數據進行分析。數據治理對於企業以及組織內部來講起到了非常重要的作用，可以有效促進企業及組織的發展。

數通暢聯經過多年的經驗沉澱，形成了自身獨特的優勢。通過在實踐中的多年打磨，現在數通暢聯的產品能夠實現異構集成，並且在此基礎上還實現了對數據的治理和分析的解決方案，數通暢聯將會在企業IT架構、SOA應用集成、數據治理分析領域繼續鑽研，繼續為企業數據治理貢獻力量。

本文由@數通暢聯原創，歡迎轉發，僅供學習交流使用，引用請註明出處！謝謝~