超算互聯啟航,數據存儲創新為什麼是「壓艙石」?

智能相對論 發佈 2022-07-29T05:18:08.880538+00:00

文|智能相對論作者|葉遠風數字經濟大時代,超算已經不夠,「超算網際網路」來了。最近,2022中國算力峰會(濟南)暨超算網際網路工程上線儀式在國家超級計算濟南中心舉辦。會上,濟南超算上線了「超算互聯工程」,顧名思義,即多地、多中心以互聯的方式協同提供計算服務。

文|智能相對論

作者|葉遠風

數字經濟大時代,超算已經不夠,「超算網際網路」來了。

最近,2022中國算力峰會(濟南)暨超算網際網路工程上線儀式在國家超級計算濟南中心舉辦。會上,濟南超算上線了「超算互聯工程」,顧名思義,即多地、多中心以互聯的方式協同提供計算服務。這種聯動模式相比較單個計算中心,將更大程度上推動產業數位化進程並護航國家重大科研技術創新。

值得注意的是,在峰會現場,山東省科技廳、濟南超算、華為還共同揭牌了一個「數據密集型超算示範基地」,表達了海量數據存儲在超算網際網路中的關鍵價值。

以往,人們對這種大型算力中心的聯動的關注往往停留在計算設備與網絡上,而現在,隨著超算網際網路的建設,數據存儲的價值同樣凸顯出來,它們共同推動著超算網際網路基礎設施有效落地,取得巨大的商業價值與社會價值。

超算網際網路完成「打樣」,推動地區乃至全國數字經濟發展進入快車道

作為國家級先進超算基礎設施,超算網際網路在山東、濟南的落地,對地區數字經濟快速發展的推動作用毋庸置疑,而其建設過程也在全國打了個樣。

事實上,在本次發布超算網際網路之前,山東省、濟南市超算產業上持續投入了大量資源,取得了很多成果,這些成為超算網際網路落地的前提。

技術層面,在華為等夥伴的共同努力下,濟南超算的性能在全國乃至全球都處在領先位置。

不久前,在德國漢堡舉行的ISC 2022高性能計算大會發布了第十期IO500榜單,濟南超算新一代山河超級計算平台在10節點榜登頂奪冠,成績首次跨過3000分,大幅刷新了該榜單歷史最好成績。而這個成績的實現,離不開華為OceanStor Pacific分布式存儲的底層支撐。

在產業層面,2019年,濟南就建成了國家首個超算科技園區,配合一系列政策措施走出了以算力賦能高質量發展的創新之路。從數據上看,濟南生產的伺服器產銷量位列全國第一、全球第二,AI伺服器產銷量也實現全球第一,超算製造全球第二,國內超過50%的AI算力來自濟南。

有了這樣的技術+產業的底子,出於進一步發展的需要,濟南超算在國內較早提出並大力推進超算網際網路建設,並不在意料之外。

現在,這項開創性工作在各方努力下終於走向落地,無疑將帶動輻射地方科技、產業發展,推動濟南、山東的數字經濟走在全國前列。

而在全國多地,超算的建設正如火如荼,長期耕耘下,許多與濟南有著同樣願景的地區也客觀上具備超算網際網路建設的資源和能力,市場上出現一個成功實踐的樣板,無疑會帶來重要的借鑑價值。

總的看來,濟南超算與華為此次深度合作推動超算網際網路的落地,為中國超算、超算網際網路的發展提供可借鑑的「濟南樣板」,為超算網際網路領域產、學、研的合作樹立了榜樣,將推動提升我國超算的應用水平,讓超算這一「國之重器」顯示出強大的力量。

超算網際網路落地面臨數據挑戰,華為超算互聯數據一體化方案破局

具備地區乃至全國的重要意義,但回過頭來看,超算網際網路也面臨過諸多挑戰,只有解決了這些挑戰,才能將超算網際網路更好地落地,這也是「數據密集型超算示範基地」揭牌的重要背景——華為帶來的技術創新有效應對了超算網際網路建設中關鍵的數據存儲挑戰。

首先,來看數據存儲對超算網際網路為何關鍵。

一方面,超算本身發展對數據存儲的要求在變強。

隨著超算產業與行業場景、新興技術的融合持續加深,高性能數據分析HPDA取代傳統HPC成為新的發展熱點,簡單來說,即計算的過程對數據存儲和利用要求更高,需要進行大量數據的計算處理,而非單單只看計算能力。

另一方面,超算網際網路的日常應用更多聚焦到數據上。

在超算網際網路中,算力、網絡固然重要,但它們都是可以提前布局的,實際上真正調度和流動的其實只有數據以及數據支撐上的應用。

普遍認為,超算網際網路一定會走向「數據密集型」的道路。

然後,再來看數據存儲在超算網際網路中面臨著什麼挑戰。

「互聯」帶來算力資源統籌協同的正面價值,而硬幣都有兩面——多中心互聯也帶來了數據流動的「摩擦」。

這種「摩擦」,舉幾個例子:

數據管理上,各超算中心本身就是一個個數據孤島,且資源利用能力各異,不同廠商的管理技術各不相同又加劇了管理的複雜性;

在數據流動上,很多應用需求的數據量龐大(如大型天文射電望遠鏡數據量都是PB級),遠遠超過運營商網絡的帶寬上限,即便1Gb/s帶寬傳輸也需要數月才能傳輸;

在數據安全方面,跨中心大規模的數據流動相對單個中心,免不了存在更多安全隱憂,等等。

可以說,解決不了這些問題,超算網際網路很難有效落地。

最後,再來看華為的技術創新是如何應對這些挑戰的。

既然數據存儲的挑戰往往都來自多中心「互聯」帶來的摩擦,那麼通過技術創新不斷降低這種摩擦、實現一體化,讓互聯模式下的數據管理、流動等與本地數據存儲一樣高效,甚至讓數據應用方感受不到「互聯」模式的存在,就成為解題的關鍵。

由此,也就不難理解華為存儲將自己為超算網際網路提供的支持定義為基於OceanStor Pacific分布式存儲的「超算互聯數據一體化方案」了。

這個方案,從四個方面消弭由於數據跨中心流動帶來的「負面」摩擦。

1、一盤棋:縱覽全局、心中有「數」

華為存儲構建了一個全局文件系統,把多地超算中心以一張圖的方式管理起來,這就如同看待單一超算中心的各存儲資源一樣。

為了實現這樣的效果,華為存儲進行了多方面的技術創新,例如,表化、流化的統一元數據屏蔽設備差異,實現跨設備、跨異構互聯互通等等。

2、高效率:暢通無阻的同時擁有智能嚮導

跨中心的數據流動面臨帶寬瓶頸,以及數據的發送、接收、利用過程中的各種技術摩擦,這些都是數據流動所難以避免的。

華為存儲針對不同場景下不同數據類型採用不同的數據壓縮算法,此外疊加熱溫冷數據智能分級,可有效節約數據存儲空間和網絡傳輸帶寬,而做到上層的應用對這一切「無感知」。

這種做法,讓數據的流動最大程度接近單一數據中心,也極大地助力了超算網際網路的綠色低碳建設,與雙碳這樣的宏觀戰略相契合。

3、撐場景:最大化對應用的支撐能力

最終到應用支持層面,華為存儲可以實現跨域數據協同分析,提升業務數據分析效率,從而讓超算網際網路最大程度發揮潛力、支撐起場景,落地超算網際網路應有的商業價值、社會價值。

這其中的存儲技術創新包括跨域協同分析、斷點續傳等。在過去,華為這些存儲技術創新已經有過實踐,例如支撐分別部署於廣東、貴州的大數據集群協同完成了整個大數據業務分析。

4、有保障:為數據流動加裝虛擬屏障

數據安全問題在數字經濟時代越發敏感,超算網際網路牽扯的數據面更深、更廣,在「互聯」過程中對數據安全的要求更加嚴苛。

這方面,華為存儲提供集中化的數據安全管理,通過傳輸加密並支持數據跨域等級保護,實現數據策略風險分析和監控等等。這些做法就如同打造了一個虛擬屏障,讓跨域數據共享和安全流動實現了如同物理隔離一樣的安全效果。

總的看來,隨著「互聯」的「負面」不斷消弭,超算網際網路落地面臨的數據存儲障礙已經被掃清。

結語

數字經濟磅礴而來,無論是產業數位化轉型升級,還是城市治理能力的全面提升,亦或是高校科研院所突破重大研究課題,甚至公益環保組織推動社會的發展,超算中心都顯示出強大的商業價值、社會價值推動力。

現在,從超算到超算網際網路,計算的力量、數據的力量進一步顯現,華為存儲所推動形成的數據密集型超算模式,正在成為數字經濟堅實的底座,讓社會經濟生活的進化更加劇烈而積極。

有理由相信,在數據存儲創新推動下,超算網際網路將成為數字經濟發展的引擎,成為社會全面進步的驅動力之一。

*本文圖片均來源於網絡

此內容為【智能相對論】原創,

僅代表個人觀點,未經授權,任何人不得以任何方式使用,包括轉載、摘編、複製或建立鏡像。

部分圖片來自網絡,且未核實版權歸屬,不作為商業用途,如有侵犯,請作者與我們聯繫。

•AI產業新媒體;

•澎湃新聞科技榜單月度top5;

•文章長期「霸占」鈦媒體熱門文章排行榜TOP10;

•著有《人工智慧 十萬個為什麼》

•【重點關注領域】智能家電(含白電、黑電、智慧型手機、無人機等AIoT設備)、智能駕駛、AI+醫療、機器人、物聯網、AI+金融、AI+教育、AR/VR、雲計算、開發者以及背後的晶片、算法等。

關鍵字: