華為云應用服務網格核心特性解讀

華為云應用服務網格（Application Service Mesh，簡稱ASM）于2018年8月對外公測，2019年7月正式商用。是一種高性能、高可靠性和易用性的全托管的服務網格，支持虛擬機、容器等多種基礎設施，支持跨區(qū)域多云多集群服務的統(tǒng)一治理。以基礎設施的方式為用戶提供服務流量管理、服務運行監(jiān)控、服務訪問安全以及服務發(fā)布能力。

ASM控制面和數(shù)據面均和開源Istio完全兼容，無縫對接華為云的企業(yè)級Kubernetes集群服務云容器引擎（Cloud Container Engine，簡稱CCE），可為客戶提供開箱即用的上手體驗。包括并不限于：

·內置金絲雀、藍綠等多種灰度發(fā)布流程，提供一站式自動化的發(fā)布管理；

·提供非侵入式的微服務治理解決方案，支持完整的生命周期管理和流量治理，包括跨集群的負載均衡、熔斷、限流等多種治理能力；

·提供端到端的透明安全，支持跨集群的服務訪問認證和授權；

·同時基于無侵入的監(jiān)控數(shù)據采集，提供實時流量拓撲、調用鏈等服務性能監(jiān)控和運行診斷，構建全景的服務運行視圖；

·基于流量數(shù)據進行彈性擴縮容，保障服務訪問延時滿足SLA目標；

·另外除了對常用的HTTP、gRPC等通用協(xié)議的服務治理外，擴展了對Dubbo協(xié)議的治理支持，并提供了對Springcloud、Dubbo等傳統(tǒng)微服務框架的結合方案。

核心特性介紹

1、豐富的灰度發(fā)布流程

基于網格提供的細粒度的分流規(guī)則，在ASM中實現(xiàn)了多種典型的灰度發(fā)布流程，提供一個灰度發(fā)布的向導，方便用戶便捷的進行灰度發(fā)布實踐。在一個服務版本正常工作，正常處理流量的同時，用戶可以創(chuàng)建一個新的灰度版本。當灰度版本啟動成功后，引導用戶配置灰度規(guī)則來分割流量。

灰度規(guī)則可以是基于權重的按比例切分流量，也可以根據服務訪問的內容來將特定內容的請求發(fā)往灰度版本，對于常用的HTTP協(xié)議，如請求中的OS、瀏覽器、Cookie和Header信息等。在配置了灰度規(guī)則后，可以實時的觀察到多個線上版本的運行和訪問信息，從而在向導中一鍵式完成版本選擇，將所有流量都切換到最終選定的版本上。

用戶也可以將以上灰度發(fā)布流程進行自動化配置，從而實現(xiàn)無人值守的灰度發(fā)布。即只要灰度版本運行成功就會自動觸發(fā)預制的灰度策略給灰度版本分配流量，在流量運行特定的時間后，根據預制規(guī)則自動的切換流量完成灰度發(fā)布。

除了服務粒度的灰度發(fā)布外，用戶也可以對多個服務組成的應用，在入口服務處配置灰度規(guī)則，對一組服務使用同樣的分流策略，進行灰度發(fā)布。

2、多集群流量管理

ASM作為一個控制面全托管的服務，進一步減輕了用戶對網格服務自身的運維成本，同時作為獨立的控制面可以支持對多云多集群的網格數(shù)據面、容器、虛擬機等多種基礎設施的服務進行統(tǒng)一管理。

對最終用戶來說多個Kubernetes集群上的服務可以使用服務名進行全局的服務發(fā)現(xiàn)和負載均衡?？梢詰枚喾N不同的負載均衡策略，可以進行會話保持連接管理。而且，這些配置的負載均衡策略可以在跨服務的實例間分發(fā)流量。這種方式較之常見的基于外部DNS+負載均衡的在使用方式無疑要優(yōu)雅和簡單很多，而管理粒度和功能上也要要強大很多。

對服務配置的連接池管理、熔斷功能也可以在多集群上生效。無論服務請求來自本集群還是其他集群，在同一個目標服務上都可以應用統(tǒng)一的熔斷規(guī)則。從而對目標服務進行保護，提高總體的服務質量。

在隔離目標服務的故障實例時，可以對該服務跨集群的多個實例進行統(tǒng)一處理，如服務A有5個實例：3個實例在集群1；2個實例在集群2。當配置了熔斷策略，最大隔離比例配置為40%，則當集群1和集群2中的實例均出現(xiàn)連續(xù)訪問不正常，觸發(fā)熔斷閾值條件時，集群1和集群2各會被隔離一個實例。

限流功能落在多集群場景中應用也會非常廣泛。通過限流功能可以限制無論調用來自哪個集群的哪個服務，根據限流策略，在單位時間內對于目標服務的訪問不能超過配置的閾值，從而對服務進行全局的流控。

網格的流量管理功能在多集群場景下的應用會使得傳統(tǒng)很多的難題變的簡單。如流量鏡像能力在多集群的場景下可以方便的將特定條件的HTTP流量鏡像到另外一個集群的服務中。

如流量在發(fā)往生產集群中的同時，往另外一個測試集群鏡像一份。這個過程完全不會對生產集群的服務產生影響，網格的數(shù)據面代理只需關注原來轉發(fā)的流量就可以，不用等待鏡像目標地址的返回。根據具體場景也可以是集群間對請求的重定向、重寫等處理。

在多云多集群場景下，另外一種更常用的客戶場景是網格提供的靈活的分流能力。比如前面介紹的灰度發(fā)布功能，用戶可以選擇將灰度版本和生產版本部署在不同的集群，漸進的切分流量。這樣不只是把開發(fā)和生產環(huán)境的流量打通，更重要的是通過流水線配合可以將開發(fā)和生產的流程打通。

3、多集群端到端透明安全

ASM是以一種安全基礎設施方式的方式向用戶提供透明的安全能力。讓不涉及安全問題的代碼安全運行，讓不太懂安全的人可以開發(fā)和運維安全的服務，不用修改業(yè)務代碼就能提供服務訪問安全。網格提供了一個透明的分布式安全層，并提供了底層安全的通信通道，管理服務通信的認證、授權和加密，提供Pod到Pod、服務到服務的通信安全。開發(fā)人員在這個安全基礎設施層上只需專注于應用程序級別的安全性。

在多集群場景下ASM提供了全局的服務訪問安全。多個集群的網格共享一套根證書，對給數(shù)據面的服務實例分發(fā)密鑰和證書對，并定期替換密鑰證書，根據需要撤銷密鑰證書。在服務間訪問時，網格的數(shù)據面代理就會代理本地服務和對端進行雙向認證、通道加密。這里的雙向認證的服務雙方可以來自兩個不同的集群，從而做到跨集群的透明的端到端雙向認證。

在認證的基礎上，就可以進行服務間的訪問授權管理，可以控制某個服務，或者服務的一個特定接口進行授權管理。如只開放給特定的一個Namespace下的服務，或者開放給某個特定的一個服務。源服務和目標服務可以在不同的集群，甚至源服務的不同實例在不同的集群，目標服務的不同實例在不同的集群。

4、全局立體監(jiān)控

在我們日常實際工作中，比上面各種治理功能更常用的是各種服務運行監(jiān)控。特別是在復雜應用的場景下，服務間的訪問拓撲，調用鏈，監(jiān)控等都是我們對服務整體運行狀況進行管理，服務訪問異常時進行定位定界的必要手段。服務網格技術的一項重要能力就是以應用非侵入的方式提供這些監(jiān)控數(shù)據的采集，用戶只需關注自己的業(yè)務開發(fā)，無需額外關注監(jiān)控數(shù)據的生成。

ASM基于網格生成服務訪問數(shù)據，集成各種不同的APM服務，提供跨集群智能的服務運行管理。包括跨集群的服務調用鏈、服務訪問拓撲和服務運行狀態(tài)健康。通過跨集群的全局視圖來關聯(lián)服務間的訪問狀況。

在拓撲圖上通過服務的訪問數(shù)據，可以直觀的觀察到服務的健康狀況，服務間的依賴情況。并且可以對關心的服務進行下鉆，從服務級別下鉆到服務版本級別，還可以進一步下鉆到服務實例級別。如下圖通過這種實例級別的拓撲可以觀察到配置了熔斷規(guī)則后，網格如何隔離故障實例，使其逐漸接收不到流量。并且可以在故障實例正常時，如何進行實例的故障恢復，自動的給恢復的實例重新分配流量。

故障實例隔離

故障實例恢復

在ASM中，我們把上面介紹到的復雜均衡、熔斷限流流量管理、服務訪問安全、服務訪問拓撲、監(jiān)控調用鏈等能力除了多個容器集群外，擴展到VM等其他基礎設施。用戶可以無差別的對VM間的訪問、容器到VM間的訪問進行以上的流量管理、安全訪問和服務訪問監(jiān)控，從而便捷對容器和虛機的統(tǒng)一、細粒度、全方位管理。

5、智能彈性擴縮容

基于前面介紹的網格上產生的服務訪問數(shù)據，可以對網格的服務實例進行更及時智能的彈性擴縮容。傳統(tǒng)的HPA負責Pod水平伸縮通過定期的掃實例的資源情況，如CPU和內存，比較和設定的目標的比值，來水平調整應用的實例數(shù)。

例如當前的指標值是200m，目標值是100m，那么按照公式計算期望的實例數(shù)就會翻倍。在實際過程中，可能會遇到實例數(shù)值反復伸縮，導致集群震蕩?；谥笜说纳炜s存在一定的時延，經常會導致應用CPU飚高，相應時間變慢。

為了解決以上問題，保證最終用戶的體驗，在ASM中設計開發(fā)了另外一種基于網格服務訪問數(shù)據的擴縮容。在網格的應用場景中，用戶最關注的指標還是延時，擴縮容的目標是即怎么去做擴縮容保證客戶訪問的延時在一個目標的區(qū)間內。

我們使用時間序列根據前幾個周期的流量預測下個周期的流量，并根據當前的實例數(shù)，選定下個周期可能的實例數(shù)范圍，將范圍內的實例數(shù)和多個當前資源指標、訪問指標作為神經網絡的輸入，對下個階段的形影時間進行預測。從滿足相應時間SLA目標的實例中根據成本選擇最佳的目標實例數(shù)，執(zhí)行擴縮容。

這種自動擴縮容方式調用資源擴容/縮容的命令，在下個周期到來的時候資源數(shù)目恰好已經改變成下個周期需要的最合理的資源數(shù)目，提高了擴縮容的及時性。另外省去了傳統(tǒng)閾值法對閾值的設定進行調整嘗試的步驟，可以直接在使用時自動的將實例數(shù)目調整到一個合理的值。

遺留微服務SDK框架結合方案

對于大量當前使用傳統(tǒng)SDK的開發(fā)的服務，當要使用服務網格能力時，ASM提供了一套遷移業(yè)務無侵入的遷移方案。在服務調用方將Outbound的流量引流到網格的數(shù)據面上來。即短路原有SDK里的服務發(fā)現(xiàn)和負載均衡，直接通過Kubernetes的服務名訪問，使用Kubernetes的服務發(fā)現(xiàn)，SDK里的治理邏輯也可逐步的被網格替換。這樣服務的運行治理能力都下沉到由k8s和服務網格提供基礎設施上。

通過這種方式：控制面使用ASM統(tǒng)一的控制面做服務發(fā)現(xiàn)和治理規(guī)則管理，不需要獨立的注冊中心和配置中心；數(shù)據面的服務發(fā)現(xiàn)、負載均衡、和各種治理都在ASM數(shù)據面Envoy上執(zhí)行，SDK作為開發(fā)框架，回歸到開發(fā)框架的本來職能，作為一個純凈輕量的應用開發(fā)框架供用戶開發(fā)代碼。

在方案中，數(shù)據面可以是容器，也可以是VM。服務可以是各種語言，本身開發(fā)框架也沒有限制。統(tǒng)一通過網格的控制面下發(fā)流量規(guī)則，對所有形態(tài)的數(shù)據面進行一致的管理。

未來規(guī)劃

應用服務網格ASM作為連接上層應用和下層基礎設施的重要環(huán)節(jié)，將在4個方向上不斷增強能力：向上與業(yè)務融合，以非侵入的方式提供更細致的應用層能力；向下與基礎設施融合，使能面向應用的基礎設施；并不斷增強網格的治理、發(fā)布和彈性的業(yè)務能力；并加強網格自身的能力優(yōu)化，包括性能、資源利用和運維能力。同時結合ASM大量的實際落地場景中的客戶需求，進一步催熟Istio社區(qū)的大特性演進和發(fā)展，推進服務網格技術在業(yè)界的推廣和使用。