華為云MRS ClickHouse重磅推出

華為云智能數(shù)據(jù)湖MRS服務(wù)即將上線ClickHouse高性能引擎集群，用戶只需要幾分鐘，就可以輕松方便地一鍵式完成集群部署搭建，快速擁有PB級數(shù)據(jù)的秒級交互查詢分析能力，幫助用戶帶來極致的性能體驗！

ClickHouse是最近這兩年非常火的一款開源的分析型數(shù)據(jù)庫，來自俄羅斯的Yandex公司，2016年開源。它獨立于Hadoop大數(shù)據(jù)體系，其最核心的特點是極致壓縮率和極速查詢性能，能為用戶節(jié)約大量成本，同時創(chuàng)造更多收益。它提供了兼容標(biāo)準(zhǔn)SQL協(xié)議的接口，支持JDBC、ODBC驅(qū)動，使用C++語言實現(xiàn)。當(dāng)然它還有個宏偉的目標(biāo)：成為世界上最快的分析型數(shù)據(jù)庫，官方測試數(shù)據(jù)表明，ClickHouse領(lǐng)先Vertica達(dá)6倍，領(lǐng)先GreenPlum達(dá)到18倍，更是比傳統(tǒng)大數(shù)據(jù)引擎Hive、Spark等快了上百倍！

ClickHouse典型的應(yīng)用場景

ClickHouse是Click Stream+Data WareHouse的縮寫，它起初應(yīng)用于一款Web流量分析工具，基于頁面的點擊事件流，面向數(shù)據(jù)倉庫進行OLAP分析?，F(xiàn)在，ClickHouse被廣泛的應(yīng)用于互聯(lián)網(wǎng)廣告、App和Web流量、電信、金融、物聯(lián)網(wǎng)等眾多領(lǐng)域，非常適用于商業(yè)智能化應(yīng)用場景。

1手動擋集群模式升級

1.模煳的集群

在介紹之前，我們首先要有個思維轉(zhuǎn)變，ClickHouse集群和通常理解的集群是有差異的。比方說Hadoop集群由2個NameNode和多個DataNode組成的完備且獨立的集群，業(yè)務(wù)可以直接交互訪問；而對于多個ClickHouse節(jié)點組成的集群，它們是沒有中心節(jié)點，更多的是一個靜態(tài)資源池的概念，業(yè)務(wù)要使用ClickHouse集群模式，需要預(yù)先在各個節(jié)點的配置文件中定義cluster信息，等所有參與的節(jié)點達(dá)成共識，業(yè)務(wù)才可以正確的交互訪問，也就是說配置文件中的cluster才是我們通常理解的“集群”概念。

2.真實的cluster

常見的數(shù)據(jù)庫系統(tǒng)，隱藏了表級以下的數(shù)據(jù)分區(qū)、副本存儲等細(xì)節(jié)，用戶是無感知的，而ClickHouse則要求用戶主動來規(guī)劃和定義數(shù)據(jù)分片（shard）、分區(qū)（partition）、副本（replica）位置等詳細(xì)配置。它的這種類似“手動擋”的屬性，給用戶帶來及其不友好的體驗，所以MRS服務(wù)的ClickHouse實例對這些工作做了統(tǒng)一的打包處理，適配成了“自動擋”，實現(xiàn)了統(tǒng)一管理，靈活易用。具體部署形態(tài)上，一個ClickHouse實例將包含3個Zookeeper節(jié)點和多個ClickHouse節(jié)點，采用Dedicated Replica模式，數(shù)據(jù)雙副本高可靠。

2平滑的彈性擴容能力

隨著業(yè)務(wù)的快速增長，面對集群存儲容量或者CPU計算資源接近極限場景，MRS服務(wù)提供了平滑的彈性擴容能力，快速的滿足客戶業(yè)務(wù)增長的訴求。在用戶進行集群擴容新的ClickHouse節(jié)點時，MRS提供了一鍵式數(shù)據(jù)Balance均衡工具，并把數(shù)據(jù)均衡的主動權(quán)交給用戶，由用戶根據(jù)業(yè)務(wù)的特點，自由決定數(shù)據(jù)均衡的方式和時間點，以便保障業(yè)務(wù)可用性，實現(xiàn)了更加平滑的擴容能力。

例如：

把負(fù)載高的節(jié)點從ELB中摘除，讓負(fù)載（新數(shù)據(jù)）往新節(jié)點傾斜；使用MRS提供的專業(yè)化工具重新均衡數(shù)據(jù)；數(shù)據(jù)雙寫老化后自動切換；

3多元的鯤鵬算力加持

面對鯤鵬生態(tài)快速發(fā)展，華為云也提供包含X86、ARM鯤鵬、昇騰在內(nèi)的多樣計算能力，支持從IOT、大數(shù)據(jù)、到AI等多種技術(shù)，提供最佳的性能、性價比、能效比。得益于華為云鯤鵬處理器多核優(yōu)勢，MRS的ClickHouse集群也支持華為自研ARM鯤鵬服務(wù)器，充分利用鯤鵬多核高并發(fā)能力，提供了芯片級的全棧自主優(yōu)化能力，同時使用華為自研的操作系統(tǒng)EulerOS、華為JDK及數(shù)據(jù)加速層，充分釋放底層硬件算力，實現(xiàn)了高性價比。

4靈活易用的配置管理

MRS服務(wù)為用戶提供了統(tǒng)一的集群管理頁面，并將ClickHouse的實例配置向用戶完全開放，用戶可以根據(jù)自定義需求，靈活方便的通過可視化頁面修改集群配置參數(shù)，包括增刪cluster、macros、storage等信息。和其他MRS服務(wù)組件的配置一樣，ClickHouse配置也分成集群和節(jié)點兩個層面，考慮到ClickHouse引擎特殊性，需要注意不要被覆蓋。另外，需要引起特別注意是，有些高級配置建議只能由“高級”用戶使用，否則可能會導(dǎo)致系統(tǒng)異常。

5高可用HA部署架構(gòu)

MRS服務(wù)為用戶提供了基于ELB的HA部署架構(gòu)，可以將用戶訪問流量自動分發(fā)到多臺后端節(jié)點，擴展系統(tǒng)對外的服務(wù)能力，實現(xiàn)更高水平的應(yīng)用容錯。如下圖，客戶端應(yīng)用請求集群時，使用ELB（Elastic Load Balance）來進行流量分發(fā)，通過ELB的輪詢機制，寫不同節(jié)點上的本地表（Local Table），讀不同節(jié)點上的分布式表（Distributed Table），這樣，無論集群寫入的負(fù)載、讀的負(fù)載以及應(yīng)用接入的高可用性都具備了有力的保障。

6豐富的監(jiān)控運維能力

MRS提供了豐富的ClickHouse集群監(jiān)控和告警能力，實時發(fā)現(xiàn)系統(tǒng)異常，保障業(yè)務(wù)穩(wěn)定運行。用戶可以通過集群管理Manager的監(jiān)控頁面實時查看ClickHouse集群的運行概況，如健康、配置及角色實例狀態(tài)統(tǒng)計等指標(biāo)信息，同時還可以監(jiān)控具體實例內(nèi)部運行狀態(tài)，包括：實時的讀、寫、數(shù)據(jù)庫連接等多個維度的信息；此外，MRS還可以與華為云消息通知服務(wù)(SMN)的消息服務(wù)系統(tǒng)對接，將告警信息通過短信或者郵件等形式推送給用戶。用戶可以自定義配置監(jiān)控與告警閾值用于關(guān)注各指標(biāo)的健康情況，當(dāng)監(jiān)控數(shù)據(jù)達(dá)到告警閾值，系統(tǒng)將自動觸發(fā)告警，將異常信息以告警形式及時通知到用戶。通過以上能力，MRS可以幫助用戶輕松運維，實時監(jiān)控，實時發(fā)送告警，操作靈活，讓用戶更加省心省力。

7可靠的安全防護能力

MRS提供了VPC網(wǎng)絡(luò)隔離、專屬資源隔離、主機安全等完備的安全保障機制，保障了用戶ClickHouse集群數(shù)據(jù)訪問的安全可靠。具體如下：

VPC網(wǎng)絡(luò)隔離：在公有云部署環(huán)境中，MRS通過VPC提供隔離的網(wǎng)絡(luò)環(huán)境，保證集群的業(yè)務(wù)、管理的安全性。用戶可以結(jié)合虛擬私有云VPC的子網(wǎng)劃分、路由控制、安全組等功能，為用戶提供高安全、高可靠的網(wǎng)絡(luò)隔離環(huán)境。專屬資源隔離：在面向企業(yè)、政府、金融等客戶，MRS提供了計算、存儲資源池以及網(wǎng)絡(luò)、管控多級隔離的資源隔離部署方案，為客戶打造了安全可靠、便捷的云上“頭等艙”。具體模式包括：專屬計算資源+共享存儲資源、共享計算資源+專屬存儲資源、專屬計算資源+專屬存儲資源等三種模式。主機安全服務(wù)：MRS支持與云上的安全服務(wù)集成，針對主機安全服務(wù)，做了兼容性測試，保證功能和性能不受影響的情況下，增強服務(wù)的安全能力，如支持漏洞掃描、安全防護、應(yīng)用防火墻、堡壘機、網(wǎng)頁防篡改等能力。

此次重磅推出華為云MRS ClickHouse全新升級大數(shù)據(jù)組件：

一、MRS 3.0.5版本針對開源組件進行了大面積升級，提供最新能力，并在社區(qū)基礎(chǔ)上對功能、性能、可靠性等方面進行了增強。

二、支持創(chuàng)建ClickHouse集群，具備平滑擴容、HA、鯤鵬加持、靈活配置、簡單運維、安全可靠等能力。

三、本支持單集群跨AZ部署，提供全組件單集群跨AZ高可靠能力，保障單AZ故障，核心數(shù)據(jù)和計算任務(wù)不受影響。

MRS隆重推出的ClickHouse引擎，快速補齊了MRS服務(wù)在大數(shù)據(jù)實時分析領(lǐng)域的能力。同時相對用戶自建集群，MRS ClickHouse具備平滑擴容、HA、鯤鵬加持、靈活配置、簡單運維、安全可靠等優(yōu)勢能力，將會成為用戶在云上構(gòu)建高性能海量數(shù)據(jù)分析倉庫的首選。

同時作為一款新的重量級數(shù)據(jù)庫引擎，我們還在持續(xù)學(xué)習(xí)和探索過程中，MRS后面會持續(xù)從內(nèi)核、服務(wù)化、生態(tài)端多個角度進行優(yōu)化和改進，包括：鯤鵬指令集加速、安全鑒權(quán)、SQL診斷、BI工具集成、AI融合高級特性等。