▏摘要
江蘇移動隸屬於中國移動，為解決企業在數據管理與交付能力方面存在的挑戰，江蘇移動引入DataOps數據管理理論，基於1+N雲邊協同的數據底座，制定貫穿「需求、模型、開發、測試、發布、運維」的DataOps全價值鏈運營管理體系，打造以需求驅動的支撐數據「聚、管、用」全生命周期的一站式全鏈路工具體系，不斷提升大數據服務效能，盤活數據資產價值，助力公司數智化轉型。
▏關鍵發現
• 江蘇移動實施數據倉庫技術架構的演進，採用Hadoop+MPP架構替換存量商業資料庫，實現核心資料庫的國產化、自主化。數據集成工具實現多源異構數據的採集、匯聚，通過部署企業數據湖，實現多源數據的入湖存儲，有效解決數據孤島問題，同時大大降低企業存儲和使用數據成本；
• 通過實施批流一體化技術改造，江蘇移動構建「高效、實時、融合」實時數倉和實時事件處理中心，實現儲算技術架構升級和業務邊界拓展，實現事件共享訂閱及高效處理，完成對低時延數據及服務的全方支撐；
• 基於DataOps體系，江蘇移動構建需求管理工具，推動需求快速疊代交付，通過構建完整、規範的數據資產體系，實現數據模型的標準化管理；兩態協同，構建敏捷數據交付能力；建設大數據分析與可視化平台，快速構建專業化數據應用，提高應用開發效率。
分享專家：王學亮，中國移動通信集團江蘇有限公司大數據專家
作者：沙丘社區分析師團隊
01
案例企業
中國移動通信集團江蘇有限公司（以下簡稱「江蘇移動」）是中國移動有限公司在江蘇設立的全資子公司，是省內移動用戶數、家寬用戶數雙領先的第一大運營商。
江蘇移動積極落實「網絡強省」戰略，推進網絡向高速化、智能化升級，為經濟社會信息化發展提供有力支撐；加快產業升級，促進新一代信息技術與江蘇省工業製造深度融合，推動江蘇製造向江蘇智造加速轉變。
02
項目背景
隨著大數據、雲計算技術的快速發展，移動運營商業務量呈現指數級增長，數據形式、應用需求趨於多樣化，數據處理的複雜度達到了一個新的高峰。同時，在中國移動「推進數智化轉型，實現高質量發展」的戰略背景下，對企業的數據管理與交付能力提出了新的挑戰：
挑戰1：海量數據挑戰。運營商海量多源異構數據給數據集成帶來巨大挑戰，大數據時代的數據存在多源異構、分布廣泛、動態增長等特點，傳統ETL方案從數據源到目的地的同步都是通過腳本實現，異構數據源意味著企業要做大量的適配工作。數據類型從以結構化數據為主轉向結構化、半結構化、非結構化三者的融合，企業大數據平台需要對不同類型的數據進行統一存儲和管理，當數據集成面臨成千上萬個數據源時，多任務並行需要進行限速與緩衝的調度，讓讀寫速度相互匹配；引入多源異構數據的同時，需要同步引入多源異構的元數據信息，給元數據質量保障帶來挑戰。
挑戰2：數據治理水平挑戰。企業數智化轉型戰略目標，給公司的數據治理整體水平提出更高要求。在企業進行數智化轉型的過程中，期望打造的目標是業務數據化、數據資產化、資產服務化、服務業務化，只有形成這樣一個閉環，數據才能真正發揮作用，對業務的發展和創新帶來價值，從而讓數據驅動業務變得更精準、更有效。但是在進行業務多元化和規模化擴展的過程中，數據的產生還伴隨著數據的可見、可用、可享等問題，這些都給建設數據應用帶來很大挑戰。所以，公司只有不斷提升數據治理水平，實現數據的可見、可用、可享，才能將數據組織起來作為資產進行管理，從而充分發揮數據資產價值。
挑戰3：儲算技術挑戰。5G+AICDE業務發展，數據量突飛猛進，實時應用場景百花齊放，平台儲算能力面臨技術挑戰。截止2022年7月，江蘇移動日均處理5千億+條數據，較21年同期信令增長率33.44%。隨著5G、物聯網、家寬等業務的深耕，以及MDT、MR等信令測量數據的引入，預計2022年底達到6千億條/天，2023年底突破8千億條/天。現有流處理平台主要支撐的實時場景側重於根據用戶特定行為進行事件營銷，但當前營銷、服務和管理精細化場景持續拓展，經營實時報表、網格OAO等需求支撐，需要進一步夯實流處理能力。
挑戰4：數據交付挑戰。目前，數據中台交付面臨需求多樣化、交付周期長、複雜度高、專業門檻高、生態協作效率低、質量評估無據可依等問題，需要採用標準化的數據交付流程、交付文檔和交付工具，為公司的數智化轉型提供數據需求分析、模型設計、數據開發、自動化測試、數據發布等服務能力，提升數據中台交付的效率和質量，降低規模化交付成本。
挑戰5：運維挑戰。數據處理鏈路的維護工作永無止境，運維成本不斷升高。隨著大數據平台數據鏈路的複雜度和集群規模的持續增長，平台運維工作的難度、成本也隨之日益增長。大數據平台混搭式的技術架構要求運維人員需要具備較高的技術深度和廣度，運維本身涉及到系統的方方面面，比如不同資料庫、Hadoop、Redis、Kafka、Flink等，需要構建一套自動化運維工具來解放運維人員，降低技術門檻，不僅提昇平台運維效率，同時能夠減低運維成本。
江蘇移動自2001年起建設企業數據中心及大數據應用，通過歷年企業數據中心項目建設，逐步摸索並形成了通信運營商的數據資產管理體系和能力，支撐公司管理決策、業務發展和服務優化。建成儲算用一體化大數據平台，圍繞基礎能力、運營團隊，價值應用、共享開放四個方面開展建設和運營。
2021年起，大數據平台演進以數智化轉型為導向，在DCMM框架的指引下，深度融合DataOps理念方法和工具，制定了基於「賦能、應用、職能、技術、保障」的數智化戰略藍圖，圍繞基礎設施、儲算能力、服務模式、數據能力、賦能應用五個方面進行能力建設運營。
在建設過程中，江蘇移動深度挖掘和探索大數據資產管理，跨領域多系統匯聚內外數據源，建設批流一體數據處理架構，打造實時數據倉庫。
以DataOps理念為核心，構建數據資產管理平台，納入數據源管理、元數據管理、數據質量管理、數據標準管理、主數據管理、數據模型管理、數據共享服務管理、數據資產報告和數據安全管理能力；構建中台能力服務體系，實現能力服務可視化，支撐行業大數據產品和需求的快速高質量落地，全面賦能大數據業務。
03
解決方案
江蘇移動在DCMM數據框架和中移集團智慧中台技術規範指導下，同時引入業界先進成熟的DataOps數據管理理論，基於1+N雲邊協同的數據底座，制定了貫穿「需求、模型、開發、測試、發布、運維」的DataOps全價值鏈運營管理體系，通過打造以需求驅動的支撐數據「聚、管、用」全生命周期的一站式全鏈路工具體系，不斷提升大數據服務效能，盤活數據資產價值，助力公司數智化轉型。
（1）數據中心打破數據孤島，構建了多源多態數據的匯聚能力
江蘇移動企業數據中心實施數據倉庫技術架構的演進，採用Hadoop+MPP架構替換存量商業資料庫，實現了核心資料庫的國產化、自主化。通過打造數據集成工具，實現了多源數據的採集、匯聚，並通過部署企業數據湖，實現多源數據的入湖存儲，有效解決了企業中面臨的數據孤島問題，同時大大降低了企業存儲和使用數據的成本。
首先，打造數據集成工具，實現異構數據源之間高速穩定的數據同步和交換能力。數據集成工具是一款安全、穩定高效的離線數據批量同步與交換工具，通過數據來源、數據目標，傳輸條件、轉換關係的配置，可快速完成接口文件採集、數據交換、數據外送等場景的支撐。
其次，搭建企業資料庫，實現多源多態原始數據的統一入湖。數據湖作為集中化的數據存儲倉庫，支持的數據類型具有多樣性，包括結構化、半結構化以及非結構化的數據，數據來源上包含資料庫數據、CDC增量數據、日誌數據以及已有數倉上的存量數據等。數據湖能夠將這些不同來源、不同格式的數據集中存儲管理在高性價比的存儲中，如OSS等對象存儲或HDFS中，並對外提供統一的數據分析方式，有效解決了企業中面臨的數據孤島問題，同時大大降低了企業存儲和使用數據的成本。
（2）高質量落實DCMM標準，提升數據質量水平
江蘇移動企業數據中心根據DCMM標準，通過構建遵循CWM標準的元數據管理能力、跨業務模塊的數據質量管控、建立全生命周期的數據標準、打造全視角資產目錄、構建數據安全體系、構建統一數據服務能力等措施，落實DCMM標準，整體提升數據治理的水平。
第一，構建遵循CWM標準的元數據管理能力，以元數據驅動研發運營。元數據是數據資產管理的核心內涵，也是企業數據治理的關鍵環節。通過對各類模型對象的業務元數據、技術元數據以及管理元數據的統一納管，為開展企業級全域資產管控提供了有效抓手。
元數據管理基於CWM標準，遵循MOF元對象統一建模規範，對內構建了一套企業級的元模型，對外提供元數據的註冊、刪除、修改和查詢等基本操作。提供多樣化的元數據註冊登記能力，提升元數據註冊登記的靈活性；通過一鍵建表能力，保障元數據與物理模型的一致性，避免出現管理視圖與實際數據兩本帳，並支持元數據版本溯源，實現了基於一套元數據驅動下的模型創建與應用部署。
第二，立足業務場景，實現跨業務模塊的數據質量管控。數據質量管理明確對數據「一致性、準確性、完整性、合理性、及時性、波動性」的保障要求，著力構建數據質量管控方法，實現跨業務模塊的數據質量管控，推動提升數據使用、業務運行、管理與決策等應用場景的需求契合程度。
數據質量管理流程貫穿從測試計劃、問題發現到問題處理、解決的全過程，需要各部門團隊協作，以達到數據質量管理目標。通過以時間/事件觸發驅動的數據質量採集、處理、分析，提供對數據的稽核校驗、差異比對，對處理過程、數據應用和業務指標等相關內容的質量管控機制，促進產品和服務的穩定，能夠針對性的解決某些常用場景的數據質量問題。
第三，搭建全生命周期的數據標準能力，實現標準化治理。數據標準是數據治理的奠基石，只有基於一套完善可落地的標準規範，才能保障數據治理的有效推進。基於數據標準治理白皮書，為數據標準管理提供了企業級標準規範的定義與管理能力，實現數據全生命周期管理，規範數據開發過程，實現標準化治理。
數據標準管理提供分層分域標準、術語標準、欄位標準等數據元標準設計能力，以及面向標準規則約束的命名編碼與規則的設計能力，通過簡單便捷的交互方式，實現各類標準的頁面可視化配置。落地配置的標準規範對後續資產實體登記註冊提供了標準參考以及規範約束，為實現企業級的資產定義統一、口徑統一、名稱統一、參照統一奠定了基礎。
第四，打造全視角資產目錄，積極釋放數據價值。數據目錄是面向業務人員、技術人員、管理人員提供了全視角的數據資產目錄分類整合、高效查詢、開放訂閱的能力，實現對資產實體對象的檢索、查看、訂閱、導出、評價，以及數據全鏈路的血緣探查。在數據目錄中，數據消費者根據自身需求發起數據對象的訂閱，數據管理者對數據消費者訂閱的數據對象的敏感情況以及訂閱需求的真實性進行審批。通過數據訂閱，實現全域數據拉通，數據可流動、可復用，積極釋放數據價值。
第五，構建數據安全體系，為數據資產保駕護航。隨著企業業務的快速發展，積累了大量包含客戶帳戶等敏感信息的數據。為了保證生產業務安全穩定的運行，減少因數據破壞造成的經濟損害，避免因數據泄露造成巨大的經濟損失、社會影響，構建完善的數據安全體系、安全運維體系和安全技術體系。通過敏感數據發現識別、脫敏規則管理、免脫敏申請審批、安全日誌審計、數據安全分析等能力，對敏感欄位、敏感數據、敏感實體進行自動化監控與管理，實現可視化管控數據安全策略，支撐安全管控決策分析，從而達到數據「看不清、拿不走、不敢拿」的最終目標，滿足企業對安全的合規要求。
第六，基於微服務平台的數據服務引擎提供統一的安全、高可用、彈性伸縮的數據服務能力。構建統一數據服務能力，實現數據中台的對外賦能，釋放數據中台價值。提供便捷的數據服務開發與調試工具，通過可視化頁面配置生成各類應用層數據實體的查詢服務，並發布至微服務平台，供頁面組裝工具、分析專題、第三方應用等內外部系統調用，為「數據服務化」提供關鍵能力支撐。屏蔽數據服務化封裝、數據同步等技術細節，大幅降低數據服務開發門檻，打通數據開放在線通道，縮短業務支撐響應時延；可基於微服務平台的數據服務引擎提供統一的安全、高可用、彈性伸縮的統一數據服務能力。
（3）升級批流一體化技術架構，提升數據儲算能力
江蘇移動通過實施批流一體化技術改造，構建「高效、實時、融合」實時數倉和實時事件處理中心，實現儲算技術架構升級和業務邊界拓展，實現事件共享訂閱及高效處理，完成對低時延數據及服務的全方位支撐。
第一，以「Pulsar+Flink」為核心構建新的流處理平台，支撐海量實時數據的快速處理。實施批流一體化技術改造，實現儲算技術架構升級和業務邊界拓展，構建「高效、實時、融合」的實時數據倉庫，完成對低時延數據及服務的全方位支撐。
以流原生技術，重構實時流處理平台，將原有「Kafka+JStorm」的平台架構升級為「Pulsar+Flink」的核心架構，使流處理平台具備「彈性擴展、多租戶隔離、數據分層存儲、數據在離線分析」等能力，全面提升信令等實時數據處理的及時性，保持數據新鮮度，發揮數據的最大價值。
第二，搭建實時數據倉庫，建設實時數據資產。構建實時數據倉庫，實現數據倉庫的實時化轉型，提升經分快報、日報數據實時性。通過Pulsar多I/O連接器能力，實現多渠道數據的快速接入，提升數據接入與變化感知效率；通過數據資產的實時加工，實現日報、快速數據實時加工，助力各級管理人員及時掌控業務發展情況，提升經營決策的及時性。
第三，依託實時數倉，改進數據服務，實現客戶事件實時處理和應用。構建實時事件處理中心，實現事件共享訂閱及高效處理，提升處理效率及事件復用度。通過事件消息化處理，實現事件發現從分鐘級提升至秒級。同時，將事件發現能力封裝，通過消息的訂閱機制，對外實現事件服務。可以廣泛運用到實時營銷、欠費信控、流量提醒等場景。
（4）構建自動化運維能力，降低運維技術門檻和成本
首先，構建快速高效的統一任務調度中心，通過可視化調度配置，對周期任務提供周期調度能力，提供多種時間形式的調度策略，支持配置任務間的依賴關係，支持設置失敗重試功能及任務優先級配置。
其次，建設統一運維中心，保障系統和應用程式的可擴展性，可用性，監視，恢復和可靠性。支持可視化的任務監控運維，查看任務最新執行情況、歷史執行情況，進行任務的重做、強制成功、強制失敗等操作。
（5）構建DataOps技術生態系統，提升端到端敏捷數據交付能力
第一，構建需求全流程管理工具，推動需求快速疊代交付。工具包括需求收集、需求分析、需求確認、需求變更等流程環節；推動需求快速疊代交付，進一步提升開發管理的精細化水平。
第二，構建完整、規範的數據資產體系，實現數據模型的標準化管理。針對業務角度，構建江蘇移動資產分層體系，對數據資產進行組織和分類管理，區分基礎資產、特徵資產和應用資產，並實現資產可視化統一管控。內外部數據資產經過匯聚融合後，提取潛在的價值信息，剔除其中冗餘、無用信息，並按用途歸類，形成規整的、統一的、精煉的數據資產集，數據資產可長期保存，多次使用，有利於充分發揮數據的價值。通過聯合運用打通底層數據源能力擴充、逐步建立和完善分類體系，豐富數據資產層建設、持續夯實能力基礎，提供更精確的支撐的數據應用需求。
第三，構建海量數據的處理和分析工具，提供一站式可視化開發能力。通過提供海量、實時數據的處理、分析的能力，提供一站式的可視化開發管理界面，使數據開發人員快速完成海量數據獲取、分析，專注於數據價值的挖掘和探索。
第四，構建兩態協同開發，構建敏捷數據交付能力。在大數據開發與管理的整個數據開發過程中，需要對一個數據需求開發的全生命周期進行管控，期間需經過業務人員、開發人員、運維人員的多方協作，才能完成一個需求場景的分析、開發、審批、上線。
為了在保證數據開發的低門檻及便捷性的同時，又能夠兼顧生產環境的穩定運行，把控數據需求開發的完成質量，需要有一套基於統一系統管理、資產管理、統一發布運維而建設的兩態協同管理能力，將開發工作用到的數據、計算、調度資源與生產環境進行隔離，保障生產環境的數據安全及環境安全。
一網兩態能力設計的核心思路主要包括：兩態一體化部署、計算及調度的資源隔離、運維整合及流程串通，具體內容如下：
• 兩態一體化部署：支持通過一套工具部署支撐平台的開發、生產兩態環境，實現平台功能兩態的一體化。
• 計算及調度的資源隔離：對兩態的調度、計算資源進行物理隔離，從根本上保證了兩態核心關鍵能力的獨立性，根本上杜絕開發態變動對生產環境產生影響。
• 運維整合：在兩態底層物理隔離實現的前提下，在對應的運維管理、事件日誌、監控體系上進行整合，邏輯上實現用戶在一個產品下進行管理，避免多點運維、頻繁切換的問題
• 流程串通：發布中心銜接兩態，支持基於兩態的要素配置、打包、校驗、發布等各流程環節的運轉
第五，快速構建專業化數據應用，提升應用開發效率。為應對數據量爆炸式增長，數據決策需求日益增多等壓力，打造敏捷高效的數據分析能力，通過建設大數據分析與可視化平台，融合多數據源管理、自助取數分析、圖表分析報告設計、複雜式報表編制和數據大屏配置等多個數據分析工具為一體，實現一站式的自助型數據探索與分析，並通過零代碼拖拽的可視化交互方式，降低創建數據應用的門檻，幫助企業高效快速地構建數據分析體系，滿足多樣化的數據分析與可視化呈現場景。
04
價值與效果
通過實施數據倉庫技術架構演進，採用Hadoop+MPP架構替換存量商用資料庫，江蘇移動實現了核心資料庫的國產化、自主化。通過打造數據集成工具，實現了多源數據的採集、匯聚，並通過部署企業數據湖，實現多源數據的入湖存儲。
通過實施批流一體化架構改造，平台整體性能提升約35%，其中實時數據採集容量提升30%，計算能力提升50%；提升了數據模型的穩定性和靈活性，總體節約存儲約20%。
依託DataOps一站式全鏈路工具支撐，通過構建數據可視化編排、一站式運維監控，自動化稽核、自動化發布等能力，實現端到端需求交付效率提升了20%。通過構建自動化運維平台，降低了運維技術門檻，實現了數據管道的可視化監控，提升了運維效率，降低了運維成本。
通過數據資產能力服務的建設和開放，既可支撐輕量級產品研發模式，提升研發效率，又可通過服務組合支撐跨行業產品融合型解決方案，高效支撐大數據項目。通過中台賦能對外大數據行業，服務旅遊、交通、公安、金融、商貿等八大行業4000多家客戶。
05
經驗借鑑
在不斷的數據資產管理實踐過程中，江蘇移動總結如下關鍵成功要素：
第一，不斷完善資產管理體系和平台架構，實現大數據資產的統一建設、管理、運營、維護和支撐，促進數據資產的開放共享和價值變現。
第二，總結沉澱資產管理五步法方法論，通過專業化的大數據資產管理團隊和運營流程，構建數據架構，進行數據治理、數據運營，達成數據共享、數據變現，驅動資產能力提升。
第三，針對不同類型、價值的資產，通過優化大數據平台異構數據處理和存儲架構，提升資產處理效率，降低存儲成本。
第四，以價值為導向，通過資產管理能力的提升，促進大數據資產價值變現，帶動大數據業務價值裂變。