西部數據:多層存儲策略驅動的精細化數據時代

科技象 發佈 2020-08-22T06:34:03+00:00

簡單說,熱數據是需要被計算節點頻繁訪問的在線類數據,而冷數據則是指對於離線類不經常訪問的數據,比如企業備份數據、業務與操作日誌數據、話單與統計數據。

數據也有溫度,有冷熱之分。

簡單說,熱數據是需要被計算節點頻繁訪問的在線類數據,而冷數據則是指對於離線類不經常訪問的數據,比如企業備份數據、業務與操作日誌數據、話單與統計數據。

正是因為不經常受到訪問,所以冷數據通常會備受「冷遇」,甚至還會有「極冷數據」最為典型的就是歸檔存儲,比如過去只有像檔案、金融、稅務這些有合規性需求的行業才願意為其投入成本。但冷數據,依然會需要占據相當多的空間和人力成本,企業也需要投入較大精力對其進行運維。

很明顯,面對冷熱數據的交織,雲服務商和企業針對不同類型的數據,也有必要通過差別化的存儲策略來進行應對。

所以,我們看到在8月6日,UCloud正式發布新一代歸檔存儲產品,該產品採用UCloud全新自研存儲架構,同時在國內首次採用了西部數據的高密JBOD機型和SMR盤,意在為用戶提供高性價比的存儲服務。

西部數據公司副總裁兼中國區業務總經理劉鋼表示:「如今,雲服務提供商和系統集成商有一個共同點:它們都需要一種多層存儲策略,利用多種技術管理寶貴數據的爆炸式增長和大量工作負載。西部數據開發、製造, 銷售的內容包含了從NAND、固態硬碟、硬碟和平台在內的一系列品類。西部數據完整的數據存儲解決方案為當下蓬勃發展的數據需求提供針對性能、容量、總體擁有成本的優化存儲選擇,幫助我們的客戶有效應對他們的數據基礎架構挑戰。」

西部數據公司副總裁兼中國區業務總經理劉鋼

精細化的數據時代

驅動分層存儲策略的誘因,與這個數據大爆發的時代有著緊密的聯繫。舍恩伯格在他的《大數據時代》中寫道:「數據可以量化一切,文字變成了數據,方位變成了數據,溝通變成了數據,直到萬物的數據化。」如今,這個願景正在逐漸變成現實。

首先,隨著雲計算、大數據、AI、IoT、5G等新技術的快速發展,使得新應用層出不窮,會產生新的數據形態、新的部署環境、新的應用模式、新的價值需求,讓存儲的重要性變得比以往更加明顯,但挑戰也隨之變大。根據IDC的預測,全球數據總量預計到2025年更將達到175ZB。另一方面,數據類型的多樣化。諸如文本、圖片、音頻和視頻等非結構化數據的大量衍生。巨量的數據和複雜的數據類型,增加了數據價值挖掘的難度。

其次,企業數據的利用率面臨空前挑戰。IDC預測,未來兩年企業數據將以每年42.2%的速度增長。但在可用的企業數據中,僅32%被投入使用,剩餘的68%並未得到利用。而UCloud的調查發現,絕大部分數據經過6個月之後都會變成冷數據,隨著數據量的不斷增加,提高數據利用率的關鍵,就在於存儲自動分層,有效地大幅降低存儲成本,同時也提高對冷熱數據交替的管理。

第三,由於各個行業數字化轉型加速,業務線上化程度大幅增加,也直接驅動了冷數據的歸檔需求,例如電商、直播、基因工程、自動駕駛等新業務場景對於歸檔存儲的需求,這些新業務場景不僅產生了遠超過去傳統場景的數據量,也因為政策法規的規定,有著明確的歸檔合規性要求。

第四,過去冷數據的處理和歸檔,通常是企業用戶占主導,而隨著雲服務提供商憑藉規模化的效應、快速的技術疊代、靈活的使用模式,很容易將運維經驗、先進技術、領先產品以雲服務的方式輸出,從而將雲歸檔的成本持續降低,惠及用戶。所以,雲服務商逐漸成為了歸檔市場的主力。

從這些發展趨勢可以總結,數據管理已告別了過去簡單粗放的模式,逐漸轉入精細化的分層存儲策略,同時隨著雲計算模式的崛起,雲服務商也將成為該市場的主要踐行者,以UCloud和西部數據的合作,即可看到這樣的市場之變。

快數據與大數據的分層邏輯

精細化的分層存儲策略,對應的則是不同類型數據的處理方式。對於企業而言,要如何去看待不同存儲與不同數據的邏輯關係?


首先,熱數據是指:數據頻繁讀寫,具有持續低延時,高IOPS,高帶寬應用需求。面向資料庫,典型應用可見於OLTP, DSP, 和自動駕駛等場景。在存儲產品上多使用DRAM以及SSD。

其次,溫存儲是指:讀取較頻繁,有較高性能IOPS,帶寬要求,性能峰值不穩定。主要面向面向傳統企業應用,典型應用可見於OLAP,AI 訓練,和一些行業用戶的企業級應用。在存儲產品上主要以SSD為主。

第三,冷存儲是指:少量寫入,多次讀取,數據與溫數據有相關性。應用場景,主要面向備份,大數據分析,AI訓練市場。冷存儲大部分以硬碟作為主要介質。

第四,極冷存儲是指:一次寫入,極少讀取,需要持久的數據保存。通常是面向監控,歸檔等存儲需求。典型應用多見於金融,醫療,廣電行業數據長期歸檔。這部分需求,應該使用硬碟和磁帶。如UCloud的新一代歸檔存儲產品,就是考慮到金融、醫療等行業用戶的需求而推出的。

劉鋼認為,「可以將需要熱存儲與溫存儲的數據稱為快數據,針對這類數據將採用固態硬碟進行存儲。而需要冷存儲、極冷存儲的大數據,則可以通過大容量企業級硬碟提供存儲服務。」

實際上,在目前企業數據的冰山模型里,80%的數據量來源於冷數據或極冷數據,所以大容量企業級硬碟可以為其提供高性價比的存儲服務。這也是為什麼UCloud會選擇與西部數據進行合作的原因。UCloud的新一代自研歸檔存儲架構,可以充分利用西部數據高密機型SMR盤的硬體優勢,來降低成本。

據了解,SMR盤意為疊瓦式磁記錄硬碟,相較於傳統CMR硬碟,SMR硬碟最大的區別是,它的磁軌是按Zone呈現的疊瓦式分布,這種分布帶來的好處是可以更高密度的存儲數據。與36盤傳統機型相比,採用高密JBOD機型和SMR盤後,單位機架的存儲容量提升5.375倍,硬碟數量增加59%,單塊硬碟存儲空間提升150%。

滿足多樣化需求的「百寶箱」

如果說,UCloud的選擇代表了很多主流雲服務商以及企業用戶的判斷。在處理大數據層面,以冷存儲、極冷存儲的產品來實現高性價比將是一個必然的趨勢。

而西部數據作為業界領先的存儲廠商,一直致力於不僅要在每TB上節省成本,而且要不斷探索如何為用戶帶來更高的總體價值,根據數據的冷熱存儲分層為客戶定製更具性價比的解決方案。這與市場的需求是不謀而合的,西部數據也正是依靠長期持續的技術突破,來滿足多樣化的客戶需求。

例如在SMR磁碟方面,西部數據在通過添加磁碟,擴大磁碟和縮小軌道來進行物理擴展;通過在每個區域拼接更多的軌道以實現合理縮放。憑藉這一技術,可以通過允許磁性位區域與相鄰磁軌重疊,從而像磁碟上的木瓦一樣重疊,來提高磁碟表面的位密度;對於寸土寸金的雲數據中心萊索,這些技術的提升,就意味著巨大的成本節省。

再比如直接提升面密度的能量輔助磁記錄EAMR,西部數據創建了一種稱為EPM的最新記錄方案,它是EAMR的一種實現方式,通過在寫入磁頭的主極施加電流並產生額外的磁場,達到減少干擾、降低寫入抖動的目的。

如今,西部數據公司已將市場領先的硬碟創新技術——包括能量輔助磁記錄(EAMR)技術、業界領先的三階尋軌定位系統(TSA) 以及第六代HelioSeal™技術——擴展到強大的數據中心產品組合中,旨在提供更高的面密度和更低的總體擁有成本 (TCO),以滿足客戶和市場的多樣化需求。

在產品多樣性方面,新款WD Gold 16TB和18TB HDD可以滿足企業大數據存儲的工作負載;自今年3月份開始,新款16TB和18TB Ultrastar DC HC550 CMR HDD已經向部分超大規模數據中心和企業級OEM客戶發貨;Ultrastar Data60和Data102 JBOD以及Serv60+8存儲伺服器現採用16TB和18TB Ultrastar CMR HDD,在經過全面優化的平台中提供了業界領先的存儲密度。

目前,除了UCloud之外,超大規模數據中心和企業級OEM客戶,如Datto,Dropbox和 DDN都在通過西部數據的提供的存儲解決方案產品實現了業務價值。

對西部數據來說,其豐富的產品線已經覆蓋了從NAND、硬碟以及NVMe平台和系統在內的一系列品類,提供數據平台、連接平台、技術產品等豐富的產品組合。在多層存儲驅動的數據時代,西部數據對用戶的價值堪稱是一個「百寶箱」。

關鍵字: