全快閃記憶體從SAS大步走向NVMe,存儲創新加速跑!誰是功臣?

海峯看科技 發佈 2022-07-04T00:38:15.076182+00:00

文/黃海峰當前數字時代,我國各行業數據存儲需求日益增長,國家政策要求構建以數據為關鍵要素的數字經濟。這些都對數據存儲技術的介質、架構、協議、應用等方面提出更高要求。而在數據存儲領域,我們發現目前業界熱議明星是NVMe全快閃記憶體技術的應用與普及。

文/黃海峰

當前數字時代,我國各行業數據存儲需求日益增長,國家政策要求構建以數據為關鍵要素的數字經濟。這些都對數據存儲技術的介質、架構、協議、應用等方面提出更高要求。

而在數據存儲領域,我們發現目前業界熱議明星是NVMe全快閃記憶體技術的應用與普及。NVMe是計算機與存儲設備連接的接口和協議,可以釋放SSD(Solid State Disk)快閃記憶體強大的性能。相比傳統SAS這個類似「翻越崇山峻岭緩慢前行的單輛貨車」協議,NVMe是行駛在康莊大道一騎絕塵的「超跑」車隊。

如今,業界更是發展了NVMe over Fabric,進一步解決存儲系統協議瓶頸,實現高性能、低延遲的遠程存儲數據訪問。

而華為這家深耕存儲17年的資深玩家,成為NVMe全快閃記憶體技術引領者和普及者:在業內實現唯一端到端開發了NVMe SSD盤、NVMe快閃記憶體控制器和NVMe全快閃記憶體作業系統,實現高中低端產品都支持NVMe全快閃記憶體。

看到這,你一定疑惑,數據存儲產業發展日新月異,為何NVMe全快閃記憶體成明星?華為NVMe全快閃記憶體有何厲害之處?有哪些應用案例實踐?

我國數據存儲潛力巨大,呈現四大主要特徵

隨著千行百業數位化轉型進程不斷加速,數據作為一種新的生產要素,已經成為與土地、人口、能源並列的重要戰略資源,並與數字經濟緊密連接。

人們對企業數據存儲,知之甚少。其實,除了大家接觸的電腦、手機等需要更高、更可靠的存儲,金融、教育、科研、電信等領域應用對數據存儲提出的要求更高。

根據IDC報告顯示,我國整體數據量到2025年將達到48.6ZB,占全球數據圈規模的27.8%。我國十分重視數據存儲發展,提出要「構建以數據為關鍵要素的數字經濟」。在我國「十四五」規劃中,「數據要素」一詞出現4次。

目前,我國存儲產業規模日漸龐大。根據Gartner發布數據顯示,我國存儲產業規模在2020年上游晶片與介質超過1400億元,中游存儲整機和下游服務超過3400億元。到2025年,我國存儲產業直接投資總額將超過萬億級規模。

可見,數據存儲作為數據的可靠底座,其重要性不容忽視,並隨著新時代到來呈現出四大特徵。

第一,從市場空間看,相比發達國家而言,我國當前數據存儲和計算方面的投資比例相差較大,數據存儲在我國具有巨大的商業空間。

羅蘭貝格合伙人、信息技術與高科技行業負責人李冰近日表示,根據其對多國存儲產業大量調研表明:我國起步晚,存力充足性和綠色性存在不足,但態度更加積極,通過高增長、領先技術投入等,在效率等某一具體指標上擁有優勢,有望實現彎道超車。

第二,從業務需求看,多元的數據形態、龐大的數據量、複雜的業務模型,對計算和數據存儲提出了更高的要求。據相關機構預測,圖像、視頻等非結構化數據大量產生,數據實時性占比預計2024年將達到整體數據量的1/4,2025年全球產生數據將超過160個ZB。

第三,從技術需求看,新型存儲介質、存儲引擎、存儲協議等技術快速發展,但目前產品化速度仍然落後於技術疊代速度。因此,提升數據存儲的「最後一公里」,即實際應用部署規模,變得迫在眉睫。

第四,隨著數據產量飛速增長,數據安全問題隨之激增,成為轉型過程中影響國家安全的關鍵因素。數據不僅要「存得好」,更要「存得安全」。業界要將存儲要作為數據安全的重要防線來建設,警惕出現「卡脖子」。

從SAS升級到NVMe協議:充分釋放快閃記憶體力量

談及數據中心,我們在過去十年經歷了伺服器處理器從單核到多核,從x86到GPU異構計算,處理能力提升百倍以上。存儲介質從HDD(機械盤)全面轉向SSD快閃記憶體盤,性能也有百倍提升。

世間萬物的快速發展,總伴隨著局部瓶頸的到來,比如在伺服器到交換機、存儲之間的網絡協議,就成為數據中心的性能瓶頸。

快閃記憶體SSD最初為了快速融入數據中心的生態系統,將傳統的SAS(Serial Attached SCSI,串行連接SCSI接口)協議繼承下來。SAS協議作為機械硬碟時代的產物,其系統架構之複雜、協議解析之多、隊列並發能力之有限,大大阻礙了SSD性能發揮。

為了讓SSD性能得到充分釋放,NVMe協議應運而生。NVMe英文全稱是Non-Volatile Memory express,中文全稱是非易失性內存主機控制器接口規範,看著是不是有點太專業?其實它是一種高性能、NUMA(非統一內存訪問)優化的、高度可擴展的存儲協議,用於連接主機和內存子系統。

NVMe非常了不起,具備四大絕招:其一,低延時,NVMe協議通過PCIe(Peripheral Component Lnterconnect express,高速串行計算機擴展總線標準)通道跟CPU直連,數據不需要像SAS通過控制器中轉到CPU;其二,IOPS大增,NVMe可以把最大隊列深度從32提升到64000,SSD的IOPS能力也得到提升;其三,功耗更低,NVMe加入自動功耗狀態切換和動態能耗管理功能;其四,兼容性高,NVMe的SSD可以匹配不同平台、系統,無需廠家提供相應驅動就能正常工作。

為了方便大家理解NVMe協議與SAS協議兩者之間的變化,筆者整理了如下表格。

簡單來說,NVMe本質是建立了多個計算機與存儲設備的通路。NVMe在單個消息隊列中支持64000個命令,最多支持65535個I/O(Input/Output,輸入/輸出)隊列。相比之下,SAS通常在單個隊列中最多支持256個命令,最多支持1個I/O隊列。

舉例來說,如果你把SAS想像成一條羊腸小道,它最多可以通過256輛車。而NVMe則是一條擁有65535條車道的康莊大道,每條車道能通過64000輛車。

天下武功,唯快不破。不得不說,在NVMe的加持下,SSD一秒走上了性能巔峰。

NVMe正成為越來越多企業的選擇。據IDC分析,服務於超大規模雲客戶、OEM廠商和終端用戶的IT組織,將繼續遷出傳統SAS接口。2020年,NVMe占據企業級PCIe SSD總出貨量約一半,並在2018-2023年間以38%的複合年增長率持續增長。同時Gartner預測,2022年NVMe SSD在存儲中占比將達到52%。

記得2009年,NVMe工作組成立之後,經過產業界共同努力,NVMe生態日趨成熟,覆蓋NVMe晶片組、NVMe SSD產品、NVMe協議等多方面,端到端的NVMe解決方案也逐漸成為數位化轉型應用創新首選。

推動創新與應用:華為成NVMe發展功臣

筆者注意到,為了提升數據中心網絡存儲性能,華為存儲近年來一直致力於NVMe全快閃記憶體方案創新和普及,不僅是業內唯一端到端開發了NVMe系列產品的廠家,更是高端、中低端產品都支持NVMe全快閃記憶體。

在技術創新方面,華為打造了NVMe over Fabric(NoF),可以實現NVMe標準在多種網絡上的擴展,達到降低存儲網絡協議棧處理開銷並提供高並發低延時應用,適應SSD介質驅動的存儲架構演進。

在端到端NVMe產品方面,華為在端到端的NVMe高速通道上,採用自研ASIC接口模塊,自研ASIC SSD盤/框設計,從協議解析、IO轉發、業務優先、硬體加速等方面對NVMe進行全面支持,為數據傳輸提供高速通道。

通過優化的NVMe設計,華為OceanStor Dorado全快閃記憶體解決方案帶來不少提升。一方面,NVMe協議相比SCSI協議可減少40%主機網絡協議棧開銷,節約主機CPU消耗,同等性能情況下支持更多主機應用。

另一方面,通過NVMe協議,CPU和SSD盤可直接通信,縮短傳輸路徑,協議並發數提升到64K,協議交互次數從4次減少為2次,讀寫請求處理效率提升1倍以上。我們再來看看華為實驗室的實測數據,在8KB IO和100%讀場景下,華為OceanStor Dorado的端到端時延從562us降低到50us,縮短10倍。

其實,華為不僅致力於數據存儲的技術創新,更在解決數據存儲的「最後一公里」上,即將創新成果在市場上產生價值方面,也下了不少功夫。

據筆者了解,華為存儲目前已經擁有金融、政府、製造、能源等行業在內的上千個NVMe全快閃記憶體成功案例。

華夏銀行在推動端到端NVMe方案測試實施過程中,選擇了華為NoF+(全無損以太存儲網絡解決方案)增強方案。NoF+增強方案包含最新一代華為OceanStor Dorado全快閃記憶體存儲系統和Cloud Engine數據中心存儲網絡交換機兩大核心部件,可實現存儲場景端到端數據加速,也可攻克傳統乙太網丟包等難題,為金融科技創新注入新動能。

中國銀行完成了華為RoCE網絡方案的先行部署,並完成了華為OceanStor Dorado系列全快閃記憶體在NoF環境下的技術測試,並成功商用。

浙江移動聯合華為,結合基於NVMe協議的高性能存儲網絡方案與華為Ocean Stor全快閃記憶體存儲,實現了基於NVMe over RoCE和全快閃記憶體的全新數據存儲組網方式,釋放快閃記憶體澎湃動力,實現超高性能、超低時延、極簡運維,很好應對新業務帶來的海量通話計費需求和電子商城等移動應用業務暴增壓力。

這樣的案例還有很多。如今看,華為提出數據中心Flash Only Pro概念,成為全快閃記憶體從SAS向NVMe升級的中堅力量。

而且,華為推出不少活動加速NVMe全快閃記憶體部署,比如到2022年10月31日前,對新建SAS全快閃記憶體需求的客戶,提供免費升級為NVMe全快閃記憶體的服務,讓客戶快閃記憶體投資不變,但速度翻倍。

厚積薄發:華為17年耕耘凸顯領先實力

你可能好奇,當下存儲領域玩家眾多,尤其是國外存儲廠商起步早、實力強,華為如何能在NVMe等數據存儲領域,取得技術和市場領先?

回顧歷史可以發現,華為存儲所依靠的依然是華為的基因——圍繞客戶需求,持續投資創新,厚積薄發,實現廣泛認可。

首先,在技術產品創新方面,早在2005年,華為就開始研究快閃記憶體技術;2008年,首款SATA SSD盤發布;2011年,第一代全快閃記憶體存儲Dorado 2100、Dorado 5100面世,並搭載自主開發6Gbit/s SAS SSD盤。

2014年,OceanStor V3系列混合快閃記憶體存儲正式發布;2015年,高端融合存儲OceanStor 18000 V3正式發布;2017年,支持NVMe技術的全快閃記憶體存儲OceanStor Dorado 5000 V3正式發布並榮獲東京Interop展金獎;2018年,第三方權威諮詢報告顯示,華為全快閃記憶體存儲市場收入增速位列全球第一。

華為不僅擁有自研SSD、自研控制器晶片和自研快閃記憶體存儲作業系統技術,還是目前存儲行業內擁有SSD碟片級專利最多的廠家之一。

通過10多年的持續投入,華為數據存儲有強大的研發團隊和專家資源。截至目前,華為存儲領域的研發工程師高達4000人,在全球有12個存儲研發中心,擁有超過3000項存儲專利,主導和參與30+國際產業組織,數據存儲場景化解決方案團隊有300多人支持聯合方案設計、驗證、調優等工作。

其次,華為存儲贏得分析機構和第三方媒體高度認可。比如在Gartner發布的《2022年分布式文件與對象存儲Peer Insights客戶聲音》年度報告中,華為OceanStor分布式存儲獲得2022年分布式文件與對象存儲「客戶之選」榮譽稱號,並在本年度Peer Insights平台獲得4.9分綜合評分(滿分5分),在全球所有廠商中排名第一,且是唯一入選的中國廠商。

再比如在DCIG發布的《DCIG 2020年-2021年全快閃記憶體陣列購買指南》中,華為OceanStor全快閃記憶體位列最佳推薦榜首。而在《人民郵電報》公布2020年度「ICT創新獎」獲獎評選中,華為基於端到端NVMe over RoCE創新解決方案榮獲「數據中心領先獎」。

再次,眾多客戶的選擇也是對華為存儲實力的印證。截至目前,華為數據存儲已經服務全球超過18000家客戶,為金融數據交換平台、運營商話單等場景提供高性能、高可靠的全快閃記憶體數據存儲,為基因測序、能源勘探、自動駕駛等行業提供混合負載一站式處理能力,提升海量大數據的分析效率,幫助客戶打造面向多樣化應用的可靠數據底座。

最後,華為十分重視中國等合作夥伴,堅持共創數據存儲未來。比如為了讓華為存儲的合作夥伴更容易獲取拓展存儲市場所需的各種資料裝備,更高效交付與維護華為存儲產品,華為近日推出了「華為存儲在線」。據悉,「華為存儲在線」集成產品方案、售前設計、交付維護、培訓賦能四大能力,實現存儲營、銷、服資源一站式整合,使得拓展及交付維護相關資源更容易獲取。

筆者觀察:數智時代,唯快智勝

「數字基礎設施是數字經濟時代的高速公路,數據存儲是數字基礎設施的關鍵一環。」華為公司副總裁、數據存儲與機器視覺產品線總裁周躍峰此前說的這句話,給筆者留下深刻印象。

他還表示,以數據存力為支撐,只有數據「存得好」、算力「算得快」、網絡「傳得穩」,數字基礎設施的質量才能不斷夯實,才能更好地促進經濟社會高質量發展。

NVMe SSD盤作為數據時代的新產物,具備低延時、高性能等多方面獨特優勢,在數據存儲性能瓶頸突破上,給業界帶來希望的曙光。

華為作為數據存儲領域的中堅力量,結合NVMe SSD特點,在自身產品上不斷優化,不僅有助於驅動數據中心存儲革命的不斷深化,也將在未來企業升級與科技發展中扮演更重要的角色。

在產業鏈上下游的通力合作之下,我們有理由相信,中國式的數據價值時代,將更快速向我們走來。

關鍵字: