海量數(shù)據(jù)爆發(fā),創(chuàng)新業(yè)務飛速發(fā)展,當前金融行業(yè)正處在巨大的IT架構變革與緊迫的數(shù)字化轉(zhuǎn)型時期,銀行、保險等金融機構面臨著諸多問題,業(yè)務架構如何調(diào)整,是集中式,還是分布式?異構系統(tǒng)如何管理?底層數(shù)據(jù)庫該如何選型?
日前,ITPUB聯(lián)合騰訊云組織了一場小型交流會,邀請了騰訊云數(shù)據(jù)庫高級架構師田清波、微眾銀行數(shù)據(jù)庫平臺負責人胡盼盼、光大銀行數(shù)據(jù)中臺團隊負責人王磊及眾多銀行專家一起探討交流,尋找答案。
1 業(yè)務系統(tǒng)分布式改造
田清波介紹,在技術架構層面,目前國內(nèi)大多數(shù)銀行主要以國外廠商提供的大型主機和數(shù)據(jù)庫解決方案來進行系統(tǒng)構建。而以國外大型主機和數(shù)據(jù)庫為核心的傳統(tǒng)集中式架構已無法滿足日益增長的大規(guī)模交易和數(shù)據(jù)處理的需求。,可以通過去彈性支撐此類相較之下:傳統(tǒng)的集中式架構一方面,性能無法滿足業(yè)務爆發(fā)式增長的處理需求,存在系統(tǒng)過載風險。另一方面,價格比較昂貴,維護成本居高不下。
騰訊云數(shù)據(jù)庫高級架構師田清波
此外,以手機銀行、網(wǎng)上理財、互聯(lián)網(wǎng)保險等為代表的金融業(yè)務創(chuàng)新快速發(fā)展,推動新技術正以前所未有的速度與力度發(fā)生深層次變革。
技術發(fā)展,對金融服務模式帶來重大影響,金融行業(yè)向數(shù)字化、分布式架構轉(zhuǎn)型成為必然?!敖鹑跇I(yè)務創(chuàng)新與科技創(chuàng)新正在相互促進,重塑金融行業(yè)系統(tǒng)能力。”田清波指出。
與會專家均指出金融行業(yè)業(yè)務系統(tǒng)進行分布式改造除了技術上的需求,也有政策的原因。隨著外部環(huán)境變化,國內(nèi)對自主可控的要求越來越高,原來的單體集中式架構過度依賴于專有設備,去IOE的大勢下,大型機的退出已成定局,金融機構在尋找高可靠、高性價比的可替代方案。
國產(chǎn)數(shù)據(jù)庫產(chǎn)品逐漸成熟,金融機構有了更多選擇。據(jù)中信證券預測,到2024年中國數(shù)據(jù)庫市場規(guī)模為533億元。據(jù)安信證券對數(shù)據(jù)庫國產(chǎn)化市場進行測算,國產(chǎn)化數(shù)據(jù)庫替換市場總體規(guī)模約為3000億元。
2 國產(chǎn)數(shù)據(jù)庫突出重圍
從關系型數(shù)據(jù)庫到NoSQL,再到NewSQL,國產(chǎn)數(shù)據(jù)庫產(chǎn)品早非吳下阿蒙?!把刂瑯拥穆肪€再造一個Oracle根本不可能,也沒有意義”成為國內(nèi)數(shù)據(jù)庫從業(yè)者的共識,分布式數(shù)據(jù)庫被認為是變道超車的機會。
未來是分布式數(shù)據(jù)庫的時代。無論是傳統(tǒng)的數(shù)據(jù)庫廠商,還是云廠商,以及新的數(shù)據(jù)庫創(chuàng)業(yè)者,都轉(zhuǎn)向了分布式數(shù)據(jù)庫進行相關布局,經(jīng)過多年的發(fā)展也取得了一些亮眼的成績。去年,騰訊云數(shù)據(jù)庫正式進入Gartner云數(shù)據(jù)庫管理系統(tǒng)魔力象限,躋身世界級數(shù)據(jù)庫行列。
騰訊云企業(yè)級分布式數(shù)據(jù)庫TDSQL隨著騰訊業(yè)務規(guī)模不斷擴大而發(fā)展起來,逐漸對外商用落地。騰訊云企業(yè)級分布式數(shù)據(jù)庫TDSQL涵蓋分布式、分析型、云原生等多引擎融合的完整數(shù)據(jù)庫產(chǎn)品體系。共有三大產(chǎn)品系列,分別為分布式數(shù)據(jù)庫TDSQL、分析型數(shù)據(jù)庫TDSQL-A、云原生數(shù)據(jù)庫TDSQL-C。
田清波介紹,TDSQL for MySQL和TDSQL for PG兩個內(nèi)核引擎主打差異化的業(yè)務場景。其中TDSQL for MySQL專注于聯(lián)機交易場景OLTP,適用于應用程序與數(shù)據(jù)庫松耦合的場景。TDSQL for PG專注于聯(lián)機交易場景和復雜的查詢場景HTAP,適用于應用程序與數(shù)據(jù)庫緊耦合的場景。
目前,騰訊云企業(yè)級分布式數(shù)據(jù)庫TDSQL已經(jīng)支持了中國銀行、平安銀行、張家港行和微眾銀行等金融機構,此外,TDSQL也支撐了第七次人口普查工作。
微眾銀行數(shù)據(jù)庫平臺負責人胡盼盼
談到具體的落地實踐,微眾銀行數(shù)據(jù)庫平臺負責人胡盼盼表示,分布式數(shù)據(jù)庫的應用提高了微眾銀行整體IT架構的可靠性與容災能力,目前,微眾銀行的TDSQL數(shù)據(jù)庫規(guī)模有近3000個實例,數(shù)百個核心系統(tǒng)。整體架構采用TDSQL 3+2五副本,TDSQL No Shard模式,實現(xiàn)了高可靠與高可用,同城IDC之間RPO=0,RTO秒級。
3 分布式改造怎么改?
銀行等金融機構對于核心系統(tǒng)的改造都非常謹慎。光大銀行數(shù)據(jù)中臺團隊負責人王磊介紹,核心系統(tǒng)改造有兩種選擇,一種是從應用層開始整體性進行分布式架構改造,涉及范圍廣,改動大,改造后業(yè)務響應更快速,整體更靈活;另一種不需進行系統(tǒng)性改造,應用分布式數(shù)據(jù)庫,這樣應用側(cè)改造少,推進快,較為平滑。
光大銀行數(shù)據(jù)中臺團隊負責人王磊
與會專家指出,如何改造還要根據(jù)企業(yè)組織的業(yè)務發(fā)展需要,不能為了分布式而分布式,比如,大型銀行進行分布式改造,多是為了對越來越復雜的業(yè)務進行劃分,有的小體量銀行可能會面向未來,為了適應業(yè)務的增長需求而進行分布式改造。
如果決定了做分布式改造,保證業(yè)務連續(xù)性始終要放在第一位,田清波總結(jié)從技術層面來看,核心系統(tǒng)數(shù)據(jù)庫替換時一般會考慮以下五個方面:
一是業(yè)務遷移。數(shù)據(jù)能否平滑遷移,遷移效率以及同步性能。遷移后數(shù)據(jù)一致性的校驗,需要有成熟的遷移工具和遷移方案;
二是安全合規(guī)。滿足金融監(jiān)管要求,實現(xiàn)金融級數(shù)據(jù)安全,降低數(shù)據(jù)泄露風險;
三是可靠性、可用性。在各種故障災難下,保障客戶數(shù)據(jù)零丟失,保證99.999%的可用性。
四是兼容性。更換數(shù)據(jù)庫引起的業(yè)務SQL改造,兼容性適配的額外開發(fā)工程;
五是運營風險,數(shù)據(jù)庫故障時自助定位解決問題的能力,響應時間,排查效率。
在進行核心系統(tǒng)改造時一般分為四個步驟:
第一步,引入云數(shù)據(jù)庫,應用垂直拆分解耦,將業(yè)務解耦、數(shù)據(jù)解耦,底層使用分布式架構,增加容錯率,整體業(yè)務的穩(wěn)定性不會有單點風險;
第二步,單體實例垂直擴展。當數(shù)據(jù)庫處理能力不滿足現(xiàn)狀時,可以彈性實例擴容;
第三步,單實例水平擴展,當數(shù)據(jù)庫垂直擴展或者讀寫分離遇到瓶頸時,可以進行分布式擴展,應用適當調(diào)整。
第四步,進行單元化改造。據(jù)悉,微眾銀行的核心系統(tǒng)之一進行了單元化改造,可以在某單元里做灰度發(fā)布,某個單元里發(fā)生故障也不會影響整個系統(tǒng)。
如今國產(chǎn)數(shù)據(jù)庫百花齊放,競爭激烈。銀行在選型時除了關注數(shù)據(jù)庫廠商的產(chǎn)品與技術,還會關注生態(tài)建設情況,如數(shù)據(jù)庫周邊生態(tài),遷移工具等,行業(yè)ISV生態(tài)、軟硬件廠商生態(tài)等。騰訊云數(shù)據(jù)庫自研的數(shù)據(jù)庫遷移工具DBbridge可以解決Oracle數(shù)據(jù)遷移工作,已經(jīng)有了很多落地實踐。
田清波介紹,目前一些大行和股份制銀行更傾向于進行單元化改造。而一些城商行更多選擇分布式改造。他認為核心系統(tǒng)分布式改造應該遵循“先跑通再優(yōu)化,先高頻再跑批,先簡單再復雜”的原則,其中高頻交易占了總交易量的90%,要優(yōu)先集中解決高頻交易問題。
在討論的過程中,有專家指出規(guī)模不大的小銀行沒有必要進行分布式改造,集中式可能更為合適,分布式所帶來的網(wǎng)絡開銷等成本需要一定的規(guī)模化才可以覆蓋。不過也有專家認為,受自主可控以及相關政策影響,銀行會選擇使用分布式國產(chǎn)化數(shù)據(jù)庫,規(guī)模不大可以進行單節(jié)點部署,未來隨著業(yè)務的增長也可以隨時靈活擴展。值得一提的是為滿足不同企業(yè)組織的不同需求,TDSQL for MySQL和TDSQL for PG均支持分布式和集中式部署。
道阻且長,行則將至,在銀行核心業(yè)務系統(tǒng)改造方面大家都在積極探索,無論是被動還是自主選擇,金融業(yè)核心系統(tǒng)的變革以及國產(chǎn)化浪潮正滾滾而來。