火山引擎正式發布企業版ClickHouse——ByteHouse ClickHouse 的發展
近十年以來,交互式分析領域百花齊放,大量解決方案隨著大數據技術升級而涌現,但尚未有產品達到類似 Oracle 和 MySQL 一樣在 OLTP(Online Transaction Processing)領域中領先的地位。其中,ClickHouse 作為一款 PB 量級的交互式分析數據庫,最早是由號稱“俄羅斯 Google ”的 Yandex 公司開發,并很快作為世界第二大網絡引擎的流量分析平臺 Yandex.Metrica(同類產品包括 Google Analytics、友盟統計)的核心查詢引擎。
綜合來說,ClickHouse 作為交互式分析數據庫,有幾大明顯優勢:
多:大規模并行計算框架,超高吞吐的實時寫入能力;
快:極致的查詢性能,尤其是在大寬表為主體的數據模型中;
好:無侵入式架構,輕松集成到現有系統,可復用上下游數據開發工具;
省:充分利用硬件資源,以極低的成本分析海量數據;
DB-Engine 上 ClickHouse 的排名趨勢圖
自 2016 年開源以來,ClickHouse 憑借其數倍于其他頂尖交互式分析數據庫的極致性能,成為該領域的后起之秀,發展速度非常迅猛。截止 2021 年 8 月份,ClickHouse 已在 Github 上獲得 18.2K Star,DB-Engines 排名近一年上升 16 位,并在國內獲得字節跳動、快手、京東等互聯網企業的生產級使用。
ClickHouse與字節跳動的故事
近年來,字節跳動旗下抖音、今日頭條等產品的成長速度之快引人注目。事實上,承載著這些產品持續高速增長的關鍵所在,是背后的中臺化技術底座。無論是在算法、AI 還是數據分析等核心技術上,字節跳動在相關領域中一直保持著領先水平。
字節跳動:中臺化的技術底座
其中字節跳動對 ClickHouse 的選型和使用也是如此,從 2017 年最早的用戶行為分析場景開始,逐漸開始支持廣告業務、用戶增長、A/B測試、算法模型優化等大量內部場景,并演化成國內最大規模的ClickHouse使用者。
目前字節內部的 ClickHouse 節點總數超過1萬5千個,管理總數據量超過600PB,最大的集群規模在 2400 余個節點。字節跳動內部廣泛的業務增長分析很多都建立在ClickHouse為基礎的查詢引擎上。
在從 0 到 15000 節點的過程中,字節跳動的技術團隊也遇到了很多開源 ClickHouse 的運維痛點和技術挑戰。如多表關聯查詢、復雜嵌套子查詢等復雜場景下,仍有性能不足、無法支持數據按條更新、實時數據寫入的性能有限、集群擴展難度較高、運維復雜度高等問題。
對此,隨著業務場景持續增多,字節 ClickHouse 技術團隊通過自研的方式極大地豐富了 ClickHouse 可使用的場景,提高運維的人效,不僅解決了開源技術上手難和試錯成本高的痛點,同時已經有足夠能力來提供商業產品和企業級技術支持服務。
火山引擎正式發布 ByteHouse
過去,與開源社區用戶的交流中,經常聽到的反饋是 ClickHouse “上手容易,用好很難”,或由于沒有經驗而“想用不敢用”,這對于性能如此出眾的存儲引擎來說,不免遺憾。
現在,字節跳動旗下企業級技術服務平臺火山引擎正式對外發布「ByteHouse」,為大家提供企業級技術支持服務。作為 ClickHouse企業版,ByteHouse經過了字節跳動內部海量數據場景的打磨和極限的業務要求,更加符合企業高速增長訴求,其主要亮點如下:
分布式查詢增強:支持星型模型等復雜的多表關聯場景,進一步去除數據冗余和數據準備成本;
支持Upsert 語義:既保留了ClickHouse高效的數據寫入性能、又支持 Upsert(update or insert) 寫入方式,幫助業務更簡單地開發實時分析應用;
實時數據引擎:支持實時數據高效寫入,支持 exactly once 語義,寫入性能遠超原生架構;
數據分級存儲:冷熱數據分級存儲在HDFS和本地存儲,自動化管理數據熱度,自動轉存不同存儲,有效緩解業務存儲空間持續增長的問題;
企業級運維工具:自助運維能力,包括配置下發、指標告警、集群健康度監控、查詢任務診斷、集群負載管理等功能,極大提高了運維人效。
作為國內 ClickHouse 技術的多年深度實踐者,ByteHouse 現基于自研技術能力和超大規模使用經驗,為更多的企業大數據團隊帶來新的選擇和支持,以應對復雜多變的業務需求,高速增長的數據場景。未來,ByteHouse 將不斷以字節跳動和外部最佳實踐輸出給行業用戶,幫助企業更好地構建交互式大數據分析平臺,并更廣泛的與 ClickHouse 研發者社群共享經驗,共同推動 ClickHouse 社區的發展。
- 3-21· “鋼鐵引擎”助力經濟發展
- 1-6· “綠色引擎”驅動老城襄陽跑出“加速度”
- 8-26· 火山引擎視頻云:流暢播放體驗源自持續打磨
- 7-26· 火山引擎A/B測試推出新功能——廣告投放A/B測試
- 7-12· 火山引擎發布“飛連” 助力企業安全高效辦公
- 5-31· 搜索引擎基因升級,百度詮釋搜索“鮮活”
- 5-24· 火山引擎官宣:將于6月10日舉辦首個品牌發布會
- 8-27· 加速雙引擎落地,世紀互聯增發1700萬ADS,全年累計融資超7億美元
- 12-3· 打造新引擎 華云數據為廈門新經濟高質量發展貢獻云力量
- 9-21· 濰柴“紅色引擎”奔騰不息!