隨著數字經濟的蓬勃發展，產業數位化進程持續推進，數據技術擁有了廣泛的端到端應用場景，而藉助數據技術可以實現從數據到信息、從信息到知識、從知識到決策的轉換，助力實體經濟的創新發展。IDC預計，到2026年，全球大數據市場的IT總投資規模將增至4491.1億美元，實現約15.6%的複合增長率。
具體到技術層面，《IDC聚焦報告：2022年雲上產品演進趨勢》中指出，實體經濟發展離不開數據支持，而與雲原生技術相結合的大數據、數據治理、數智融合與隱私計算，在解決大數據技術門檻、運維部署等問題方面的突出作用持續受到關注，企業真正需要的是一套「開箱即用」的雲原生產品服務。
騰訊雲大數據恰好提供了這樣一套產品，它是基於騰訊海量業務打造的世界領先級大數據產品生態體系。截至目前，騰訊雲大數據的算力規模已經突破千萬核，日實時計算量達百萬億級、日運行容器數超億級，日計算數據量數百PB，服務的企業客戶數超2萬家，開源社區代碼貢獻量超800萬行。
前不久，由ITPUB、IT168聯合主辦的《技術改變世界 創新引領未來——2022技術卓越獎》，評選結果正式揭曉，騰訊雲大數據團隊憑藉領先的技術優勢、豐富的用戶服務經驗、開放的生態理念，斬獲了2022年度「技術卓越獎」和「創新產品獎」兩項大獎。這也意味著騰訊雲大數據的應用創新與建設能力又一次得到了權威認可。
其中，「技術卓越獎」是表彰騰訊雲大數據在前沿技術上的不斷追求與突破。騰訊雲大數據開源了社區頂 級項目數據集成Inlong、機器學習Angel等八大項目，在Ceph、JDK、Ozone等項目上的貢獻第一，以及在雲原生數據湖架構、自適應智能計算、Angel PowerFL隱私計算框架、超大型場景下的智能推薦技術等眾多核心自研技術模塊都取得了重大突破。
騰訊雲大數據云數據倉庫CDW則脫穎而出拿下「創新產品獎」。雲數據倉庫CDW產品線既有自研的MPP數倉引擎，核心模塊全部自研，自主可控，符合國家信創要求;也有完全兼容Clickhouse、Doris這類開源組件的實時引擎，CDW在開源組件的能力基礎上推出全新的雲原生彈性版，採用全新存算分離架構，自研表引擎，天然具備更優雅的彈性能力，大幅提升性能並且能夠節省成本。
探索騰訊雲大數據的演進之路
追溯騰訊雲大數據的發展歷程，我們不難發現可以分為四個階段。從第一代的離線計算，到第二代的實時計算，再到第三代的機器學習，發展到如今以隱私計算、數智融合和雲原生為代表的第四代。經過多年的經驗積累與技術沉澱，騰訊雲大數據逐步建立了獨特的差異化競爭優勢，實現產品的疊代創新及應用落地。
自2009年起，騰訊雲大數據就開始海量大數據處理的探索，第一代大數據平台依託Hadoop生態，圍繞著離線計算模式化進行業務場景優化，構建出能夠穩定支撐小時/天級別的計算任務數據處理平台。三年時間裡，騰訊雲實現從關係型資料庫到自建大數據平台的全面遷移。
時間來到2012年，PC網際網路向移動網際網路的進化，對業務計算能力提出更高的要求。基於此，騰訊雲通過引入Spark、Storm、Flink等實時計算處理框架，讓大數據平台處理性能邁入毫秒級別，可以實時洞察用戶行為，提升社交廣告點擊率，推動平台疊代至以實時計算為特色的第二代。
隨著深度學習技術的興起，騰訊雲大數據團隊從2015年開始從0到1自研機器學習框架Angel，以及一站式AI開發平台智能鈦TI，專攻複雜計算場景，可進行大規模的數據訓練，支撐內容推薦、廣告推薦等AI應用場景，推動國內大數據處理正式進入機器學習時代。
2019年迄今，騰訊雲大數據邁進了以隱私計算、數智融合和雲原生為代表的第四代，通過引入批流融合、數據湖、聯邦學習等新型技術，圍繞安全、智能、統一等能力打造第四代數智融合計算平台，以統一的數據處理引擎更高效地挖掘數據價值，為開發者、企業、以及政府的數位化、智能化升級打下堅實基礎。
剖析騰訊雲大數據的產品矩陣
騰訊雲副總裁黃世飛在首屆騰訊雲大數據峰會暨Techo TVP開發者峰會上表示，「基於全新的技術架構、數據治理理念，以及產品能力，從底層的大數據基礎引擎、中層的一站式大數據開發治理平台，再到上層的智能推薦、隱私計算和BI應用，騰訊雲已經構築了國內領先的大數據產品矩陣。」
▲騰訊雲大數據產品矩陣
底層的彈性MapReduce(EMR)、Elasticsearch Service(ES)、雲數據倉庫CDW、數據湖計算DLC、流計算Oceanus等構成了騰訊雲大數據的雲原生基礎引擎，可為用戶快速高效構建企業級數據分析技術架構，提供在海量數據實時分析場景下的極速體驗。
中層的一站式大數據開發治理平台 Wedata，基於業內領先的DataOps數據開發模式, 通過協同、效率、一體三大核心優勢, 實現了數據集成、數據開發、任務運維的全鏈路DataOps數據開發能力，以及數據地圖、數據質量、數據安全等數據治理和運營能力，幫助企業在數據構建與應用過程中提高數據開發效率，提升數據質量，建立常態化數據運營能力，實現數據價值增長。
上層的數據應用與可視化則是依託騰訊雲自身豐富的業務場景所打造的一系列SaaS化數據應用，包括智能推薦平台、隱私計算、騰訊雲BI、移動推送、產業分析等，構建應用層數據安全與全鏈路增長解決方案。無論是基於數據的各類分析，還是智能推薦，它們都是企業數位化轉型的最終「落腳點」之一。
騰訊大數據處理套件TBDS則是針對私有雲場景，基於騰訊多年海量數據處理經驗，整合騰訊內部大數據技術能力，將雲端大數據產品能力完全復刻的，面向數據全生命周期的企業級大數據云平台。客戶可以藉助 TBDS ，根據不同數據處理需求選擇合適的大數據分析引擎和相應的數據開發治理工具，構建數據倉庫、用戶畫像、精準推薦、風險管控等大數據應用服務。
揭秘騰訊雲大數據的落地實踐
所謂，寶刀方從磨礪出，梅花香自苦寒來。如此豐富的騰訊雲大數據產品矩陣，還需切實落地到場景中才能看到成效。截至目前，騰訊雲大數據產品已經成功應用在政務、金融、能源、地產、工業、網際網路、媒體、醫療、教育、出行等多個領域，幫助千行百業的客戶實現數位化轉型。
在金融行業，騰訊雲與中信建投證券聯合上線證券行業首個國產化大數據平台。該平台全面基於騰訊大數據套件TBDS，從編譯環境搭建、部署適配、功能驗證等多維度出發，深度滿足用戶的國產化需求，加快金融行業實現全面自主可控的進程，高效提升業務服務質量，為金融行業高質量發展打開新思路。
在電力行業，騰訊雲大數據TBDS團隊基於騰訊內部業務場景優化後的大數據組件，為南方電網提供性能優化參數。深入南方電網的業務場景，協助設計新業務架構，通過構建統一數據湖，將各業務數據統一歸集到數據湖底座，數據服務層作為數據中心對外提供服務能力的應用層，有效加速數據應用的融合。
在製造行業，騰訊雲基於大數據，助力三一重工數位化轉型。三一重工通過與騰訊雲的雲計算能力相結合，把分布全球的50萬台設備接入平台並實時採集運行參數，利用雲計算和大數據，遠程管理龐大設備群的運行狀況，不僅實現了故障維修2小時內到現場、24小時內完成，還大大減輕了備件的庫存壓力。
在零售行業，騰訊雲大數據中台幫助永輝超市實現品種優化和銷售預測，通過正確的人才洞察大幅提高店鋪經營效率，同時為永輝超市的沉澱會員提供更好的服務。從而更好的支持永輝超市的日常業務決策，實現門店管理成本降低，試點門店的銷量實現提升、消費者數位化洞察等，全面擁抱智慧化升級。
寫在最後
基於數據進行決策是未來企業的常態，數據也將成為實體經濟創新的燃料。《2022年雲上產品趨勢報告》數據顯示，到2026年，全球大數據市場的IT總投資規模將增至4491.1億美元，實現約15.6%的複合增長率——運用數據幫助企業強化競爭力，是大數據產品的價值所在。(點擊下方圖片下載報告全文，除了大數據，《報告》也對音視頻、人工智慧、資料庫、數字孿生等10個重點賽道的未來市場規模與產品演進方向做出趨勢研判。)
未來，騰訊雲大數據還將在以容器化、統一調度、Serverless等前沿技術相結合的雲原生大數據產品，以深度完善DataOps敏捷數據開發，構建更加標準與開放的數據治理體系，以破解數據保護與應用矛盾，打造更可靠的「可用不可見」數據安全方案，以大數據與AI融合，為大數據裝上「智慧」的大腦，打通數據和業務智能應用的數智融合生態等方向上進一步發力，攜手合作夥伴，為客戶提供更智能、更安全的大數據產品服務。