10 月 19 日,在 2021 杭州雲棲大會全鏈路數據治理峰會上,阿里巴巴集團副總裁、阿里雲智能計算平台事業部負責人賈揚清發表了《從數據要素到數據生產力—全鏈路數據治理的智能演進》主題演講,同時阿里雲智能高級產品專家黃博遠發布了 DataWorks 新品—阿里雲一站式全鏈路數據開發與治理平台。
賈揚清在演講中分享了阿里巴巴對數據平台的探索過程,從積木型工具組件到一站式數據開發再到目前的全鏈路數據治理,從小作坊到大平台到敏捷製造,可以說是讓數據從低效向高質高效流動。「在大平台基礎上,我們會看到各種數據質量問題,因此今天在關注平台的時候,我們會更加關注敏捷製造的概念。」數據的敏捷製造,能讓數據要素釋放更大的生產力。
怎樣讓數據質量、開發質量、數據利用率能夠做得更好?在構建數據治理的方法論上,賈揚清也針對全鏈路數據治理提出三個方向:
- 組織主動性
- 平台智能化
- 業務可用性
對於賈揚清提到的全鏈路數據治理,黃博遠也在會上發布了 DataWorks 新品——阿里雲一站式全鏈路數據開發與治理平台。
誕生於 2009 年阿里巴巴集團內部的 DataWorks,不僅見證了阿里巴巴十多年大數據幾次蛻變發展,更是阿里巴巴數據中台建設的最佳實踐之一。如今 DataWorks 平台可以支撐阿里巴巴內部上百個業務團隊的數據業務建設,每天穩定調度上千萬數據處理任務。阿里巴巴每天有超過 5 萬名員工在 DataWorks 上完成數據分析、數據開發和數據治理工作。那麼,本次 DataWorks 新品又有什麼亮點呢?會上,黃博遠主要為大家介紹了七點:
- 開放平台
- 開放接口
- 開放消息
- 擴展點
- 擴展程序
- 數據建模
- 正向逆向可視化建模
- Excel 導入模型
- DSL 腳本建模
- 批量快速生成指標
- 數據標準落標檢測
- 數據治理中心
- 全新數據治理中心門戶
- 數倉問題主動發現機制
- 數據治理健康度評估模型
- 智能數據查詢
- 基於自然語言的數據查詢
- 隱私安全計算能力
- 大規模分布式安全計算框架
- 內置豐富算法,多種安全計算技術
- 作業遷移工具與遷雲專家服務
- Airflow/Oozie/Azkaban等開源引擎作業遷移至 DataWorks
- DataWorks 作業跨帳號、跨地域、跨雲遷移
- 大數據遷雲專家服務
- 數據集成
- 全增量一體化實時同步
- 分庫分表實時同步
- 大規模分布式實時同步
目前 DataWorks 新品——阿里雲一站式全鏈路數據開發與治理平台已經在北京、上海、杭州、深圳、張家口、成都以及新加坡開啟公測,感興趣的開發者可以進行試用。除重磅發布 DataWorks 新品外,本次全鏈路數據治理峰會上,還有寶信軟體大數據中心大數據建設運營服務中心主任方亮《數據是怎麼煉成的—寶武大數據建設實踐》、阿里雲智能高級技術專家王磊《數據生產智能—元數據驅動的全鏈路數據治理最佳實踐》以及盒馬數據中台負責人李啟平《不忘初心,方得始終—盒馬數據中台之道》等多個主題演講,對相關主題感興趣或關注 2021 雲棲大會的同學,可點擊觀看線上直播