國際頂會認可!華為雲獲國內首個FAST最佳論文獎

華爲雲 發佈 2023-02-28T03:32:59.041757+00:00

FAST論文遴選非常嚴格,今年在全球範圍內僅收錄了28篇論文,其中兩篇來自於華為雲,更有一篇被評為最佳論文獎。

技術實力就是硬!FAST會議代表了計算機存儲領域的國際最高水平,被列為CCF A類會議。FAST論文遴選非常嚴格,今年在全球範圍內僅收錄了28篇論文,其中兩篇來自於華為雲,更有一篇被評為最佳論文獎。

今年FAST被接收的28篇論文中4篇屬於Deployed-System Paper(工業系統類論文),24篇屬於Regular Paper(學術研究類論文)。Deployed-System Paper側重於介紹工業系統部署經驗的歸納與總結,而Regular Paper則更側重於基礎技術領域的創新idea和突破。

硬實力領先的重要突破口在於對基礎核心技術創新的不懈堅持,華為雲與華中科技大學合作撰寫論文,提出業界首個基於分離式內存架構的Learned Index (ROLEX),被大會從收錄的24篇Regular Paper中選中,評選為最佳論文,成為國內首次獲此殊榮的研究團隊


《ROLEX: A Scalable RDMA-oriented Learned Key-Value Store for Disaggregated Memory Systems》

分離式內存系統將完整的伺服器分成獨立的組件,並將不同功能的組件構建成池,以提高系統資源的利用率,包括內存池和計算池。不同的池子通過高效的RDMA網卡進行連接,使計算池可以在內存池的CPU不參與的情況下訪問內存池中的數據。

在這樣的架構中,現有的有序索引要麼引入了多次昂貴的網絡往返開銷,要麼嚴重依賴內存節點處理不同的索引請求,因而無法很好地在分離式內存架構中提供高效的數據存儲和訪問性能。

為了解決這些問題,華為雲提出一個面向RDMA單邊操作的存儲有序鍵值數據的學習型索引技術ROLEX,通過異步重訓練支持計算節點直接修改數據而無需重訓練模型,提升了多計算節點的數據存儲和訪問性能。為了減少網絡帶寬的開銷,ROLEX使用異步、原地重訓練的策略在內存節點上利用少量的計算資源對修改後的數據進行重訓練。實驗結果表明,ROLEX在動態工作負載上比其他方案提高了2.2倍的性能



同時,華為雲另一論文也入選FAST 2023。


《FUSEE:A Fully Memory-Disaggregated Key-Value Store》

近年來,分布式鍵值存儲開始使用內存分離架構來提高資源利用率。然而,現有內存分離的鍵值存儲系統採用了一種半分離式的架構,在元數據管理上使用了單體式伺服器,需要占用額外的計算和內存資源,仍然有資源利用不完全的問題。

華為雲提出將元數據管理分離化並設計了FUSEE,一個完全內存分離的鍵值存儲系統,來解決此資源利用問題。

FUSEE允許客戶端直接訪問存儲在分離式內存結點上的數據和元數據,並對數據和元數據進行副本來處理分離式架構下的多種錯誤情況。FUSEE 提出了三項技術來解決在完全分離架構下的數據副本,內存管理和元數據損壞問題

  • 首先FUSEE提出了一個基於全單邊RDMA的哈希索引副本協議來支持客戶端對索引副本的並發讀寫。
  • 其次,FUSEE採用了一種兩級內存管理方案,將內存管理的任務分配給計算和內存節點來進行高效的內存分配。
  • 最後,FUSEE提出了一種嵌入式日誌方案來修復損壞的元數據而不引入額外的日誌維護開銷。

實驗結果表明,相比現有方法,FUSEE在使用了更少資源的情況下在YCSB基準測試上達到了 4.5 倍的性能提升


對基礎技術的探索永遠是華為雲長期規劃和堅持的重要部分,沒有產業技術的深根鑽研,就無法前瞻洞察產業發展趨勢,無法為客戶提供極致的服務。面對雲上內存資源昂貴的難題,華為雲在內存技術方面進行了一系列創新,包括自研的內存哈希索引RACE(USENIX ATC 2021)、分布式內存事務(FAST 2022)、學習型內存鍵值存儲(FAST 2023)、分離式內存鍵值存儲(FAST 2023)等,推動雲存算分離架構演進,大幅提升雲應用性能並節省雲服務成本。


關注@華為雲,了解更多資訊

關鍵字: