友快網

導航選單

PB級資料秒級響應!火山引擎ByteHouse雲數倉版有什麼“秘密武器”?

大資料文摘出品

敏捷

是企業在移動網際網路時代的重要競爭力。”

在12月2日舉辦的2021火山引擎雲產品釋出會上,位元組跳動副總裁楊震原反覆強調,位元組跳動以敏捷為核心目標構建了雲原生架構,支撐著公司業務快速創新、快速迭代。

的確,或許沒有哪家公司比位元組跳動更理解“敏捷”的意義。從央視春晚紅包27天備戰,到資料中心每天兩萬次的線上變更,這些“敏捷迭代”和創新背後,都離不開位元組跳動的“雲”以及一系列雲產品。

演算法

起家,位元組在超大規模資料明細查詢工具上積累了大量的實踐經驗,本次釋出會上,位元組跳動旗下的技術服務平臺火山引擎釋出的

ByteHouse雲數倉版

便是集大成者。

在講ByteHouse的故事之前,我們先來看一組火山引擎釋出的資料:

作為目前國內幾乎是ClickHouse最大叢集的使用客戶,位元組內部的

ClickHouse

節點總檯數達

15,000臺

,單叢集最大規模約

2400臺

,管理資料量達到

600Pb

,日均查詢量

7500萬

這些數字量背後,勾勒的是一個超大規模資料分析服務領域的完美測試場景。能在高速增長的業務現況下,透過技術最佳化讓叢集規模不再跟著業務增長而增長——是ByteHouse誕生時要解的問題。

從2018年著手,到2021年產品成熟,經過4年打磨和積累,位元組將這些能力和實踐全都整合到了ByteHouse的產品功能裡。如今,ByteHouse在位元組內部,已支援

80%

的分析應用,包括廣告業務、使用者增長、A/B測試、演算法模型最佳化等等。

應對企業紛繁多樣的需求,雲原生是統一解法

憑藉著設計優勢、極致的速度效能與靈活可擴充套件性,ClickHouse在短時間內迅速躥紅。

但越來越多人在使用中發現,隨著節點數的增加,只依賴於原生引擎必然會導致更多的人力介入和更高的運維成本。同時,傳統儲存和OLAP技術架構誕生了一系列複雜問題和挑戰:無法支撐實時分析需求,資源利用率偏低,啟動門檻和成本偏高等問題。

針對業界此類痛點,火山引擎提出了自己的解決方案——發力

雲原生

,推出ByteHouse雲數倉版。

在12月2日的火山引擎雲產品釋出會上,ByteHouse雲數倉版重磅亮相。據悉,雲數倉版已經實現了“四個零”的突破——

零分析時延、零啟動門檻、零運維成本和零廠商依賴

以此為契機,ByteHouse雲數倉版也將作為位元組跳動“敏捷開發”和“資料驅動”的對外輸出,服務更多使用者。

從架構層面入手,存算分離,PB級資料秒級響應

作為下一代OLAP引擎,ByteHouse雲數倉版將目光對準了

架構

層面。透過採用

存算分離

的架構,將儲存層和計算層解耦,以實現分別無縫擴充套件儲存資源和計算資源,面對PB級海量資料也能高效分析,秒級響應。

ByteHouse雲數倉版產品架構

資源層面,ByteHouse雲數倉版能做到更好的

資源隔離

。在新一代架構裡,ByteHouse引入了

多租戶

,這也是很多大型銀行的剛性需求。針對不同的租戶、不同的資料,可以分配不同的計算資源,一方面保證效能可控,另一方面可以清楚地看到不同部門和使用者的資料與資源使用情況。

這背後是ByteHouse對於雲原生的理解——產品雲化僅僅是雲市場化的一個表象,

更深層的邏輯還是要落腳到雲原生上

,而云原生的本質便是降低使用者的使用成本,和提升使用者的使用體驗,這其中包括了運維、付費和啟動等一系列要素。

例如在啟動門檻上,基於純SaaS的OLAP體驗和標準SQL,ByteHouse雲數倉版能在無需關注部署配置的基礎上,實現

1分鐘

註冊即可使用,方便業務使用者自助分析,同時還支援按需啟用計算組,並支援按照分鐘級粒度即用即付,pay as you go。

ByteHouse雲數倉版的接入流程

斷內外相容,

多角度支援資料安全

解決市面上現有的開源引擎多年來面臨的問題,然後將這些經驗和實踐變成更好用的產品,這是火山引擎的第一步。但這還遠遠不止,ByteHouse技術負責人表示,他們接下來還想透過雲原生的升級,逐步迭代和發展技術,從而幫助更多客戶。

在雲產品的相容上,ByteHouse也表示會就上下游的資料產品和工具進行更進一步的

相容

,比如Tableau等BI工具。針對私有云部署,ByteHouse也會根據金融等行業客戶的需求,針對特有的環境做出相容和適配,以複用客戶的虛擬機器、K8S和儲存等資源。

在未來實現較好的相容性後,怎樣降低使用者

遷移業務的成本

,這也是需要兼顧的。針對此,火山引擎也會為客戶準備遷移方案,以降低客戶的使用和遷移成本。

在近年來備受關注的資料安全問題上,ByteHouse雲數倉版也有一套自己的解決方案。

首先在

使用者訪問

層面,透過支援RBAC的使用者訪問方式,以更好地實現賬號管理和許可權控制。在更底層的層面上,

檔案層面

也做了資料的加密,只有透過金鑰的形式才能解碼其中的一些檔案。甚至也有客戶會提出

通訊層面

的要求,在分散式過程中存在不同的節點,透過SSL的協議來保障通訊的安全。同時,在對接雲廠商時,ByteHouse也會相容雲廠商本身提供的一些安全機制。

在12月2日的釋出會上,火山引擎總經理譚待表示,為了建設開放的雲生態,火山引擎的目標是在未來3年聯合一千家合作伙伴、助力十萬家客戶實現數字化轉型。

作為這一“萬有計劃”的重要組成部分,ByteHouse雲數倉版也在進行著充分的準備。

上一篇:新一輪強冷空氣要來了!廣東繼續降溫,最低氣溫要跌破8℃
下一篇:67歲大爺去足浴店送水,36歲洗腳妹見他落荒而逃,大爺無奈:離婚