DataWorks 新品發布:阿里雲一站式全鏈路數據開發與治理平台

infoq 發佈 2021-10-19T07:20:25+00:00

10 月 19 日,在 2021 杭州雲棲大會全鏈路數據治理峰會上,阿里巴巴集團副總裁、阿里雲智能計算平台事業部負責人賈揚清發表了《從數據要素到數據生產力—全鏈路數據治理的智能演進》主題演講,同時阿里雲智能高級產品專家黃博遠發布了 DataWorks 新品—阿里雲一站式全鏈路數據

10 月 19 日,在 2021 杭州雲棲大會全鏈路數據治理峰會上,阿里巴巴集團副總裁、阿里雲智能計算平台事業部負責人賈揚清發表了《從數據要素到數據生產力—全鏈路數據治理的智能演進》主題演講,同時阿里雲智能高級產品專家黃博遠發布了 DataWorks 新品—阿里雲一站式全鏈路數據開發與治理平台

賈揚清在演講中分享了阿里巴巴對數據平台的探索過程,從積木型工具組件到一站式數據開發再到目前的全鏈路數據治理,從小作坊到大平台到敏捷製造,可以說是讓數據從低效向高質高效流動。「在大平台基礎上,我們會看到各種數據質量問題,因此今天在關注平台的時候,我們會更加關注敏捷製造的概念。」數據的敏捷製造,能讓數據要素釋放更大的生產力。

怎樣讓數據質量、開發質量、數據利用率能夠做得更好?在構建數據治理的方法論上,賈揚清也針對全鏈路數據治理提出三個方向

  • 組織主動性
  • 平台智能化
  • 業務可用性

對於賈揚清提到的全鏈路數據治理,黃博遠也在會上發布了 DataWorks 新品——阿里雲一站式全鏈路數據開發與治理平台

誕生於 2009 年阿里巴巴集團內部的 DataWorks,不僅見證了阿里巴巴十多年大數據幾次蛻變發展,更是阿里巴巴數據中台建設的最佳實踐之一。如今 DataWorks 平台可以支撐阿里巴巴內部上百個業務團隊的數據業務建設,每天穩定調度上千萬數據處理任務。阿里巴巴每天有超過 5 萬名員工在 DataWorks 上完成數據分析、數據開發和數據治理工作。那麼,本次 DataWorks 新品又有什麼亮點呢?會上,黃博遠主要為大家介紹了七點:

  • 開放平台
  • 開放接口
  • 開放消息
  • 擴展點
  • 擴展程序
  • 數據建模
  • 正向逆向可視化建模
  • Excel 導入模型
  • DSL 腳本建模
  • 批量快速生成指標
  • 數據標準落標檢測
  • 數據治理中心
  • 全新數據治理中心門戶
  • 數倉問題主動發現機制
  • 數據治理健康度評估模型
  • 智能數據查詢
  • 基於自然語言的數據查詢
  • 隱私安全計算能力
  • 大規模分布式安全計算框架
  • 內置豐富算法,多種安全計算技術
  • 作業遷移工具與遷雲專家服務
  • Airflow/Oozie/Azkaban等開源引擎作業遷移至 DataWorks
  • DataWorks 作業跨帳號、跨地域、跨雲遷移
  • 大數據遷雲專家服務
  • 數據集成
  • 全增量一體化實時同步
  • 分庫分表實時同步
  • 大規模分布式實時同步

目前 DataWorks 新品——阿里雲一站式全鏈路數據開發與治理平台已經在北京、上海、杭州、深圳、張家口、成都以及新加坡開啟公測,感興趣的開發者可以進行試用。除重磅發布 DataWorks 新品外,本次全鏈路數據治理峰會上,還有寶信軟體大數據中心大數據建設運營服務中心主任方亮《數據是怎麼煉成的—寶武大數據建設實踐》、阿里雲智能高級技術專家王磊《數據生產智能—元數據驅動的全鏈路數據治理最佳實踐》以及盒馬數據中台負責人李啟平《不忘初心,方得始終—盒馬數據中台之道》等多個主題演講,對相關主題感興趣或關注 2021 雲棲大會的同學,可點擊觀看線上直播

關鍵字: