作者 | 夏舍予
編輯 | 漠影
隨著數字化建設的開展,我國的各個行業都在向數字化和智慧化轉型。在行業轉型的過程中,大量新技術不斷湧現,例如物聯網、5G、雲計算、AI、大資料等。技術的進步加快了資料的產生和流動,這也造成了資料的爆發式增長。
在算力需求的驅動下,全國已有二十多個城市搶建資料中心,各大廠商也在算力領域開始“卷”了起來。
但除了計算能力,資料處理還有一個重要的維度,那就是
儲存
。如果計算能力很強,但是儲存效能跟不上,整體的計算效率也無法得到有效提升。
在全球範圍內,有一個儲存效能評測最權威的國際排行榜——
IO500
。歷屆冠軍包括英特爾和DDN等,它們都是業內具有多年儲存核心技術積累和創新能力的國際一流廠商。
今年,中科曙光獲得了IO500的10節點榜單冠軍,並且將世界紀錄提升了146%,這標誌著我國自研儲存力量已經躋身世界一流陣營。
▲IO500榜單是儲存效能領域的權威榜單
本次IO500全球
最新榜單角逐情況
如何?儲存效能的新紀錄如何影響行業
數字化轉型
?自研儲存企業又是如何在全球科技巨頭雲集的市場中
實現突圍
的?為此,智東西與曙光儲存行業推廣總監李國君進行了深度對話。
一、斬獲IO500冠軍,曙光儲存重新整理世界紀錄
本次登上IO500榜首的是曙光ParaStor分散式統一儲存系統。曙光ParaStor誕生於2009年,已有超過十五年的技術積累。李國君告訴智東西,ParaStor的發展可分為四個不同階段。
1。0階段,曙光ParaStor主要支援POSIX高效能檔案協議,面向高階計算應用場景。
2。0階段,隨著行業應用發展,曙光升級為對NAS和物件協議的支援,產品面向多領域規模化部署。
3。0階段,隨著虛擬化和雲計算技術的普及,曙光開始發力分散式塊儲存市場,完善了塊的協議,解決使用者上雲需求。
4。0階段,隨著各行業智慧化與數字化轉型,應用變得更加多樣,曙光ParaStor實現了對檔案、塊、物件以及HDFS協議的完全支援,幾乎可以覆蓋所有的應用場景。
▲曙光ParaStor分散式統一儲存系統
在每個發展階段,曙光ParaStor都根據業務需求特點對產品進行創新升級。比如從多協議融合、全閃效能最佳化到綠色節能技術,李國君說,曙光
ParaStor最大的優勢就是全棧自研技術。
再來看看國際權威的儲存效能測試榜單——IO500榜單,它主要包括
“全榜單”
和
“10節點榜單”
。相比全榜單可以充分利用不限客戶端規模的優勢,10節點榜單將客戶端數量嚴格限制在10個節點,是對儲存系統全棧技術研製、最佳化和創新能力的更高難度挑戰。
IO500
榜單不僅只是一個榜單,其背後有三重價值。
第一,對於
行業玩家
而言,它是業記憶體儲效能測量的權威平臺。
第二,對於
產業
而言,它推動資料中心逐漸從“計算密集型”向“資料密集型”演進,從儲存系統層面提升數字使用效率,可以助力數字經濟發展。
第三,對於
應用行業客戶
而言,它具有實際參考意義。無論是對傳統的高密度計算場景,還是新興的資料分析等HPDA場景,IO500混合IO模型負載的評測,都可以為客戶提供參考價值。
而曙光ParaStor獲得10節點榜單的冠軍,也可以說證明了國內自研儲存廠商的技術已經比肩甚至超過國際巨頭。
二、角逐智慧化儲存市場,得自研者得天下
據IT市場研究和諮詢公司IDC的資料,2021年我國儲存市場規模達到59億美元(約423億人民幣),比2020年市場規模增長18%,預計未來5年儲存市場將以12。6%的年複合增長率持續保持上升趨勢。
相比於整個儲存市場,
分散式儲存市場
的增長潛力更為突出。中國信通院的資料顯示,2021年分散式儲存的市場規模達到178億元,並預計將在未來三年以40%的增長率持續擴大。
▲曙光儲存行業推廣總監李國君
李國君談道,縱觀國內的整個儲存行業,業內玩家已經分成了多個梯隊。第一梯隊是掌握了自研技術的儲存廠家,中科曙光已成為其中的代表。
第一梯隊的玩家不僅有核心軟體研發能力,還有硬體製造能力,可以實現軟硬協同一體化。
由於技術是自研的,這些廠家不必過多依賴外部的開源元件,能夠自主進行產品的持續迭代,引領行業的發展方向。
那麼聚焦曙光,公司又如何在群雄割據的第一梯隊中衝出重圍呢?
李國君談道,中科曙光主要從
自研技術積累、超大規模部署實踐、技術服務支撐能力
三個方面打造自身的差異化優勢。
首先,曙光有專業的自研技術優勢。
曙光ParaStor已經有十餘年的研發歷史,曙光團隊從0到1做自研技術,至今已經積累了三百餘項專利,儲存產品在效能指標上優於別的廠家。
其次,曙光還有豐富的超大規模分散式儲存部署實踐
,曙光ParaStor單套系統的儲存容量可達300PB。
最後,曙光具備技術服務支撐能力。
曙光擁有完善的本地化技術支援團隊,具備定製化設計、開發與落地能力。
可以預測,隨著數字資訊化的推進,儲存領域將圍繞技術與產業落地開啟新的角逐,技術積累、商業應用規模、服務支撐能力都將成為角逐的主戰場。
三、落地自動駕駛,解決“最後一公里”問題
隨著各行各業的數字化轉型推進,儲存也正面臨著新的時代需求。李國君告訴智東西,目前市場對分散式儲存的需求主要集中在四個層面:
第一,大規模儲存需求。
隨著資料海量增長,資料的規模越來越大,這對資料儲存系統的技術難度提出了更高的要求。
第二,效能最佳化需求
。效能決定了儲存好不好用,資料的讀取速度決定人工智慧等核心應用的生產效率。所以分散式儲存不僅要裝得下大規模的資料,還要提升讀取資料的速度,極致最佳化效能。
第三,資料安全需求。
資料安全需求分為兩個方面,一方面是資料本身的儲存安全,廠家要保證資料不丟失、不被非法篡改。另一方面是技術安全,廠家是否有自己的核心專利和自研技術,在軟體和硬體上能否不受制約。
第四,綠色節能需求。
在整個新基建中,綠色經濟都是很重要的一個部分。廠家要保證資料中心的能耗降到最低水平,緩解碳排放的壓力。
但是具體到不同的行業,需求也有側重。讓我們以採集資料最多,對技術要求也最苛刻的自動駕駛為例。
▲曙光ParaStor已在自動駕駛行業深入應用
自動駕駛領域的特點就是
資料採集量大,訓練模型豐富且差異化較大
,不同階段資料的IO模型讀取的順序也不一樣。對於這些問題,曙光ParaStor採用的POSIX協議可以支援上萬個應用節點級別的雲容器平臺,同時搭配多級智慧快取加速策略,最大化提升自動駕駛模型訓練和模擬模擬的效率。
此外,
資料安全
在自動駕駛領域也非常重要。因為車輛採集的資料涉及到國家經濟、地理資訊、使用者資訊等隱私資料,所以保護資料的安全十分必要。
李國君提到,曙光透過精細化的許可權控制,支援多因子認證、WORM、快照及回收站,保障資料存取安全和訪問合規。曙光可以提供從軟體到硬體全自主、全流程可控的儲存方案,全力保障資料儲存安全。
同樣,資料量大還會帶來另外的問題,那就是硬碟、網路等元件發生故障的機率增加,這就涉及到運維的部分。李國君說,曙光有一套嚴密的監控管理方案,可以及時可以及時監測出故障元件,發出告警通知並自動化修復。
總的來說,在自動駕駛領域,曙光ParaStor主要從
效能、安全、運維
三個方面構建自身的獨特競爭力。
結語:自研儲存已有突破,仍需堅持長期主義
曙光ParaStor斬獲IO500榜首,證明國內自研儲存力量已經獲得了巨大的進展和突破,開始在國際舞臺上嶄露頭角。
但是,目前整個儲存行業仍然面臨著非結構化資料爆發式增長、極致效能待最佳化、技術不夠綠色節能等挑戰。
經過多年深耕技術,曙光已經在這些方面有所成效,解決了部分難題。但對於整個行業中的企業而言,它們該如何面對這些挑戰?
一方面,企業要
預判
行業發展,為未來的儲存需求
提前做好技術儲備
;另一方面,企業也需要
沉下心
來踏實做技術研發,不斷投入時間成本,
堅持長期主義。
炒股開戶享福利,入金抽188元紅包,100%中獎!
開啟App看更多精彩內容