阿里雲峰會 | 資料庫也能自動駕駛?DAS全天候給你保駕護航

阿里云云棲號 發佈 2020-06-10T06:08:56+00:00

2018年,WWW《Unsupervised Anomaly Detection via Variational Auto-Encoder forSeasonal KPIs in Web Applications》2019年,VLDB《iBTune: Individualized

阿里雲峰會直播地址

2020年6月9日,「全速重構」2020阿里雲·線上峰會即將隆重召開。

在此次峰會上,阿里雲資料庫重磅發布雲原生分布式資料庫 PolarDB-X 、雲原生數據倉庫AnalyticDB、資料庫自治服務DAS、雲資料庫專屬集群、圖資料庫GDB、雲資料庫Cassandra版、雲資料庫ClickHouse 7款跨時代產品,用技術傾情打造新數字時代的基石!今天小編為大家傾情呈現全球首個資料庫自動駕駛雲平台DAS產品亮點!

過去10年,資料庫上雲儼然已成共識,雲資料庫相較於傳統線下資料庫,解決了資源、彈性、高可用、備份、監控等基本DB運維負擔。但如何用好資料庫,如何對資料庫進行快速診斷和持續優化,對一般應用開發者而言,依然充滿挑戰。

阿里雲基於阿里巴巴自身資料庫規模化運維的專家經驗,結合人工智慧和機器學習技術,實現自感知、自診斷、自修復和自安全的資料庫自動駕駛能力,今天依託於阿里雲平台,推出資料庫自治服務,正式向雲上客戶開放。

DAS是業界首次以獨立雲服務的方式實現資料庫自治能力,推出六大核心自治特性,覆蓋支持包括OLTP(RDS/PolarDB)、NoSQL(Redis/MongoDB)、OLTP(ADB)等各類資料庫引擎,並支持混合雲、SQL審計和風險識別等企業級資料庫運維特性,為客戶資料庫的穩定安全提供全方位保駕護航。基於數據驅動、專家經驗和機器學習,從異常發現、根因分析、執行修復/優化操作、跟蹤評估、反饋實現全流程閉環,無需人工干預,實現資料庫的自治,保障資料庫持續穩定、高效運行。

DAS 具備 6大核心自治特性

7 x 24實時異常檢測:通過機器學習算法,實時對資料庫的Workload進行異常檢測,相比基於閾值的告警方式,能夠更及時的發現資料庫的異常,而不是靠故障驅動;

異常自愈:DAS發現異常後,自動進行根因分析,定位到問題後,自動執行相關止損/修復/優化操作,幫助資料庫自動恢復,減少對企業業務的影響;自動優化:基於全局workload和真實的業務場景,而不是基於單條SQL,持續的對資料庫進行SQL Review和優化,就像有一個不知疲倦的專業DBA一直在守護著您的資料庫;

智能調參:資料庫的參數成百上千,用戶的業務場景多種多樣,靠人肉的方式無法將參數調整為最優的配置,DAS和達摩院合作,通過基於機器學習技術,和智能壓測相結合,可以為每個資料庫實例的自動推薦最優的參數模版;

AutoScale:基於機器學習,自動對資料庫的業務模型、容量水位進行計算和預測,實現先知先覺式的自動擴縮容。

智能壓測:為用戶提供個性化的壓測服務,DAS可以自動學習業務模型,自動生成無限多的接近真實業務的workload,同時提供給用戶更豐富的壓測場景,幫助用戶解決大促、資料庫選型等等問題。

和自動駕駛一樣,資料庫自治服務,也不是一蹴而就的,我們將資料庫的自治能力劃分為5層:

  • Level-0:全部靠人肉,沒有任何工具/產品輔助
  • Level-1:提供基礎監控、告警等信息,不輸出任何建議;
  • Level-2:在某些場景下,能夠輸出診斷或者優化建議,但是建議是否採納和應用,還是由人來決策,例如SQL診斷引擎
  • Level-3:在某些場景下,實現完全的自治,無需人參與,例如自動SQL限流、自動彈性伸縮
  • Level-4:實現資料庫的完全自動駕駛,目前DAS正在努力做到Level-4的過程中。

為了實現資料庫自治服務,我們已經實踐了6年。

從2014年開始,我們開始嘗試如何將DBA的經驗轉換成產品,為業務開發提供更高效,更智能的資料庫服務。我們就構建了基於規則的SQL診斷引擎,即輸入一條或者多條SQL後,SQL診斷引擎會直接輸出優化建議;

2016年,CloudDBA的web版發布,同時也升級了SQL診斷引擎,在這個階段用戶可以直接在阿里雲上通過C loudDBA直觀的查看資料庫的負載,同時進行SQL診斷和優化。

2018年我們通過在阿里巴巴的業務和場景,開始孵化和錘鍊資料庫自治能力,

通過Self-driving Database Platform,截止到2020年4月已經自動優化了4200萬+的SQL、自動回收了超過4 PB的空間、自動優化了 27 TB的內存。

2019年11月,為了更好的服務客戶,我們將混合雲資料庫管理HDM+ CloudDBA+自治的能力,升級為資料庫自治服務DAS。

DAS 在4個方面取得了核心創新和突破:

首個全局綜合自治引擎:基於根因分析以及實例全維度聚合信息,進行集中決策,衝突解決,專項自治場景決策分發,在多自治場景下實現綜合自治。

首個外置式Cost-based SQL診斷:基於代價的診斷引擎,一套獨立於資料庫之外的優化器,並以自適應的統計信息收集機制,基於執行計劃的代價評估,實現SQL精確診斷與優化建議輸出。

基於Workload全局SQL優化技術:以Workload負載為優化單位,綜合考慮Workload中影響整體性能的特徵,如SQL執行消耗資源占比、讀寫比等,進行整體優化,實現負載整體性能最大化提升同時,最大化降低空間消耗。

基於機器學習的Workload異常發現與預測:基於機器的Workload異常發現,自動感知引發Workload變化的異常SQL,自動觸發全局優化,變被動式優化為即時主動式全局優化。

和達摩院的相關的研究成果,也取得了國際學術界的認可:

2018年,WWW《Unsupervised Anomaly Detection via Variational Auto-Encoder forSeasonal KPIs in Web Applications》2019年,VLDB《iBTune: Individualized Buffer Tuning for Large-scale Cloud Databases》2020年,VLDB《Diagnosing Root Causes of Intermittent Slow Queries in Large-ScaleCloud Databases》

通過DAS,可以幫助企業節省90%的資料庫管理成本,降低80%的運維風險,讓用戶可以更集中在業務創新,讓業務持續行駛在快車道上。

更多DAS產品性能盡在2020年6月9日阿里雲峰會資料庫新品發布現場,我們不見不散!預約觀看:

關鍵字: