10月21日，網易數字+大會在杭州錢塘江畔召開，網易數帆旗下網易有數在會上發布了全鏈路數據生產力平台2.0，推出了DataOps、邏輯數據湖在內的最新技術實踐，進一步完善數字治理能力，促進企業數智化轉型升級。
網易有數產品總經理餘利華表示，邁入數據生產力平台2.0階段，更應該夯實自身技術服務能力，從大數據底座、到數據中台、再到數據應用，每個鏈路都需要更好的打磨才能服務好客戶，達成實際業務中「人人用數據、時時用數據」的目標，真正發揮數據生產力。
過去一年，全鏈路數據生產力1.0的提出，以數據中台、數據應用為兩大節點，讓企業大數據決策水平提升實現正向閉環，將數據價值從業務系統中釋放。在1.0的實踐中，網易數帆發現，全鏈路數據生產力的閉環仍然存在一些阻滯，其中數據中台的節點，各個系統數據的物理聚合成本越來越高，數據開發的低效拖慢交付應用，同時中台對於實時數據的處理要求日趨增多；在數據應用的節點，非結構化數據的理解需要更多的手段支撐。
作為今年的重要看點，網易數帆是如何解決上述問題，實現全鏈路數據生產力從1.0到2.0的躍遷？這其中又有哪些創新技術的推出？
提升數據開發效率，試試有數DataOps
大會當天，網易數帆推出了今年數據中台的重磅升級——有數DataOps，旨在幫助企業解決數據開發過程中的效率和質量問題，可以說是將DevOps的理念應用於數據開發領域，以縮短洞察周期，推動項目持續集成（CI）和持續部署（CD）。
DataOps全流程
大會現場，餘利華還展示了網易雲音樂使用DataOps成功實踐。通過設置獨立的開發環境、自動測試流程，雲音樂可以有效排查上線前代碼中存在的風險，實現自動運行測試。從效果上看，在使用有數DataOps產品後，因代碼提交產生的數據質量問題下降了接近90%，平均需求交付周期從5天下降到2.5天，效率直接提升100%。
邏輯數據湖：從「Collect」到「Connect」
企業建設數據中台不應該是把所有的數據全部收集（Collect）到一個載體後再開始應用，隨著數據的不斷湧入，用一種連接(Connect)的方式重複利用數據，成為了當下技術領先廠商們思考的手段。
餘利華指出，數據中台建設之初，往往誤以為只要把數據集中到一起，就能讓數據充分被利用。但在這些年與客戶交流後發現，企業想要構建一個物理上集中的數據中台非常困難。那麼能否通過一種方式，在不要求數據遷移的前提下，將數據納入數據中台管理？
大會現場，網易數帆發布了首創的，基於邏輯數據湖的數據中台。作為一種構建物理分散，邏輯統一的數據中台，其核心價值就是統一源數據信息、數據標準和數據源，同時兼容遺留系統，支持Oracle/MySQL/Vertica等7類系統，實現數據的統一開發和統一治理。
基於邏輯數據湖的數據中台
邁入實時中台時代，Arctic引擎驅動力
面對日益增長的數據規模以及越來越低時延的數據處理要求，流處理正在成為大數據廠商亟待精進的業務能力之一。企業對於實時數據的管理需求日益顯著，特別是對於像廣告、風控、促銷、物流等業務場景，只有依賴強大的流計算引擎才能支持實時動態的數據結果。
為了解決這些問題，網易數帆推出了有數實時數據湖引擎Arctic，不僅實現了流批一體存儲，還支持無縫對接數據中台數據治理體系，可以說是極大地增強了數據攝取性能，特別是對於海量日誌、事件等變更頻繁、實時性高的數據加工等業務場景，有著十分廣闊的技術實踐空間。
此外，搭載數據湖引擎Arctic，網易數帆「有數實時數據中台」更是成功入選多個國家級大數據標杆示範項目評選，包括像今年中國大數據產業博覽會「十佳大數據案例」，工信部試點示範項目等等。
有數機器學習平台：AI深化數據應用
隨著物聯網和行動裝置的發展，產生的數據越來越多，種類也包括圖片、文本、視頻等非結構化數據，這使得機器學習模型可以獲得越來越多的數據。在全鏈路的數據應用節點上，網易數帆也分享了自己多年的實戰經驗，推出了有數機器學習平台，去幫助企業理解及處理非結構化數據。
本次推出的網易有數機器學習平台，經過網易多年內部業務驗證，能夠大幅提升機器學習疊代效率。在機器學習的各個階段都能提供有效支持，通過無縫對接數據中台，使得數據訪問變得非常簡單。同時還提供Notebook和可視化建模兩種方式，支持TensorFlow，PyTorch主流算法框架，一鍵部署等等。
除了以上技術亮點，大會還發布了有數BI數據準備，針對缺乏專業人員的小微企業來說，可以藉助有數BI數據準備，建立自助式ETL實現輕量級湖倉。
本次全鏈路數據生產力平台2.0的發布，標誌著網易數帆數據能力的全面提升，最終目的還是通過技術手段去解決企業實際業務中暴露的難點，提升數據價值的有效利用。
本文源自金融界網