騰訊數(shù)字政務(wù)云端系列直播 TDSQL助力建設(shè)數(shù)字政務(wù)

近年來(lái)，從國(guó)家到地方都在積極探索政府?dāng)?shù)字化轉(zhuǎn)型之路。當(dāng)前，數(shù)字政府改革建設(shè)任務(wù)已經(jīng)從“從無(wú)到有”的探索時(shí)期，逐漸轉(zhuǎn)變?yōu)椤傲孔儙?lái)質(zhì)變”的優(yōu)化時(shí)期。從建設(shè)內(nèi)容看，一體化政務(wù)服務(wù)平臺(tái)相關(guān)建設(shè)目前已進(jìn)入了平臺(tái)互聯(lián)互通和提質(zhì)增效的深化建設(shè)階段。

本文是騰訊云數(shù)據(jù)庫(kù)高級(jí)工程師余超在《騰訊數(shù)字政務(wù)云端系列直播》的演講實(shí)錄，將帶大家共同探索數(shù)字政務(wù)行業(yè)發(fā)展趨勢(shì)、前沿技術(shù)和TDSQL技術(shù)實(shí)踐，感受分布式數(shù)據(jù)庫(kù)的技術(shù)之美。

數(shù)字政務(wù)行業(yè)發(fā)展趨勢(shì)

大家好，我是騰訊云國(guó)產(chǎn)數(shù)據(jù)庫(kù)產(chǎn)品中心的余超，目前主要負(fù)責(zé)政務(wù)行業(yè)、國(guó)大行等重大項(xiàng)目數(shù)據(jù)庫(kù)方案設(shè)計(jì)和產(chǎn)品交付工作。

我們先來(lái)分析政務(wù)行業(yè)的發(fā)展趨勢(shì)。先看一組數(shù)據(jù)，截至2019年12月，31個(gè)省級(jí)政府構(gòu)建了覆蓋省、市、縣三級(jí)以上政務(wù)服務(wù)平臺(tái)。29個(gè)省級(jí)政務(wù)服務(wù)平臺(tái)開(kāi)通了“一件事”集成服務(wù)專(zhuān)區(qū)。中國(guó)在線(xiàn)政務(wù)服務(wù)，用戶(hù)規(guī)模正在不斷擴(kuò)大，用戶(hù)規(guī)模達(dá)到6.96億，占整個(gè)網(wǎng)民比例的76.8%。

目前，全國(guó)已開(kāi)通29個(gè)省級(jí)小程序，12+部委開(kāi)通官方小程序，全國(guó)范圍政務(wù)小程序已有6萬(wàn)個(gè)。其中，在省級(jí)行政許可事項(xiàng)中，98%事項(xiàng)實(shí)現(xiàn)網(wǎng)上可查，82%事項(xiàng)實(shí)現(xiàn)網(wǎng)上受理和“最多跑一次”。

當(dāng)前主要業(yè)務(wù)需求挑戰(zhàn)

上面的數(shù)據(jù)表明我們的政府正在全面進(jìn)行以人民為中心的發(fā)展理念，所有的職能法規(guī)都圍繞兩個(gè)重心：一是民生，進(jìn)一步提高人民群眾的獲得感和幸福感；二是效率，加快建設(shè)服務(wù)型政府，提高政府的辦事效率。我們?cè)凇笆奈濉钡囊?guī)劃里面，也可以看到這些關(guān)鍵字，比如一網(wǎng)通辦、異地可辦、跨區(qū)通辦、全國(guó)一本賬、自主可控。

為了實(shí)現(xiàn)這些目標(biāo)我們政府部門(mén)提出了新的業(yè)務(wù)需求，首先通過(guò)建設(shè)“一體化政務(wù)服務(wù)平臺(tái)”，從業(yè)務(wù)角度整合跨部門(mén)的業(yè)務(wù)流程和數(shù)據(jù)，連通不同的應(yīng)用系統(tǒng)，實(shí)現(xiàn)一網(wǎng)通辦。通過(guò)提供“線(xiàn)上政務(wù)服務(wù)”，盡可能的把線(xiàn)下服務(wù)搬到線(xiàn)上，讓企業(yè)和個(gè)人足不出戶(hù)，通過(guò)一系列的線(xiàn)上服務(wù)來(lái)辦理各種手續(xù)。通過(guò)“業(yè)務(wù)向省、市或者部級(jí)集中”的方式，來(lái)實(shí)現(xiàn)跨區(qū)域辦理。建設(shè)全國(guó)性或部級(jí)統(tǒng)籌平臺(tái)，建立覆蓋全民、城鄉(xiāng)統(tǒng)籌、公平高效的資源規(guī)劃體系。最后采用國(guó)產(chǎn)化軟硬件替換核心應(yīng)用的方式，真正實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)的自主可控。

為了滿(mǎn)足這些業(yè)務(wù)需求，也對(duì)信息系統(tǒng)提出了更高的技術(shù)要求，不管是一體化平臺(tái)還是業(yè)務(wù)集中，都需要把我們的業(yè)務(wù)進(jìn)行整合，把數(shù)據(jù)進(jìn)行集中，但是這樣帶來(lái)的結(jié)果是大量的數(shù)據(jù)和業(yè)務(wù)壓力，而傳統(tǒng)的集中式采購(gòu)在應(yīng)對(duì)這些高并發(fā)數(shù)據(jù)場(chǎng)景，要么采用比較昂貴以及封閉的小機(jī)，要么垂直擴(kuò)容，擴(kuò)CP、擴(kuò)內(nèi)存，但是單機(jī)的擴(kuò)存能力有限。

所以在做架構(gòu)設(shè)計(jì)和系統(tǒng)開(kāi)發(fā)的時(shí)候也會(huì)遇到一些挑戰(zhàn)，比如相比集中式數(shù)據(jù)庫(kù)，分布式數(shù)據(jù)庫(kù)在使用中有哪些最佳實(shí)踐？在什么樣的情況下要采用分布式數(shù)據(jù)庫(kù)，每個(gè)分庫(kù)能放多少數(shù)據(jù)、能處理多少業(yè)務(wù)？作為系統(tǒng)核心的數(shù)據(jù)庫(kù)，我們要怎么做高可靠設(shè)計(jì)？同時(shí)如何保證數(shù)據(jù)同步的實(shí)時(shí)性以及異構(gòu)系統(tǒng)之間怎么遷移應(yīng)用和數(shù)據(jù)？這都是我們需要面對(duì)的問(wèn)題。

TDSQL行業(yè)解決方案

國(guó)產(chǎn)化的大趨勢(shì)下，也涌現(xiàn)出很多優(yōu)秀的國(guó)產(chǎn)分布式數(shù)據(jù)庫(kù)，在面對(duì)眾多數(shù)據(jù)庫(kù)產(chǎn)品的時(shí)候，客戶(hù)怎樣選擇一款適合自己的數(shù)據(jù)庫(kù)產(chǎn)品呢？

以往傳統(tǒng)的集中式數(shù)據(jù)庫(kù)都是技術(shù)來(lái)支撐業(yè)務(wù)，常常都是傳統(tǒng)廠(chǎng)商引領(lǐng)技術(shù)方向，但在互聯(lián)網(wǎng)時(shí)代，海量數(shù)據(jù)高并發(fā)的訪(fǎng)問(wèn)需求，集中式已經(jīng)無(wú)法滿(mǎn)足這個(gè)需求。反而往往因?yàn)闃I(yè)務(wù)而驅(qū)動(dòng)對(duì)分布式數(shù)據(jù)庫(kù)的需求，我們會(huì)發(fā)現(xiàn)分布式技術(shù)用得最好的地方往往是互聯(lián)網(wǎng)企業(yè)，尤其是中國(guó)互聯(lián)網(wǎng)發(fā)展比較好的地方。

而如果要全面實(shí)現(xiàn)“一網(wǎng)通辦”和異地可辦，順應(yīng)政府?dāng)?shù)字化轉(zhuǎn)型，還需考慮網(wǎng)上政務(wù)服務(wù)平臺(tái)具有用戶(hù)訪(fǎng)問(wèn)彈性大、峰值訪(fǎng)問(wèn)并發(fā)高、讀寫(xiě)數(shù)據(jù)量大、系統(tǒng)可用性要求高等特點(diǎn)。騰訊云企業(yè)級(jí)分布式數(shù)據(jù)庫(kù)TDSQL因其良好的彈性擴(kuò)展能力、超高的性能、超大數(shù)據(jù)量、5個(gè)9以上可用性等特點(diǎn)，也贏(yíng)得了各地政府信息中心的青睞和使用。

關(guān)于數(shù)據(jù)庫(kù)的高可用，政務(wù)行業(yè)有些業(yè)務(wù)對(duì)高可用有更多的需求，在數(shù)據(jù)庫(kù)的高可用方面，TDSQL具備以下能力：

提供多項(xiàng)不同維度的監(jiān)控指標(biāo)，全方位監(jiān)控不同組件的運(yùn)行狀態(tài)，同時(shí)還能根據(jù)業(yè)務(wù)情況，自定義監(jiān)控規(guī)則，盡早發(fā)現(xiàn)高可用隱患，及時(shí)處理。

同時(shí)也提供自動(dòng)化處理能力，比如自動(dòng)檢測(cè)異常，能主動(dòng)發(fā)現(xiàn)異常，確定故障后，TDSQL能自動(dòng)化的處理，能快速實(shí)現(xiàn)主動(dòng)切換，而且能夠自動(dòng)更新路由，整個(gè)過(guò)程不需要人為干預(yù)。

另外TDSQL能夠在每個(gè)部件里面都有冗余設(shè)計(jì)，避免任何單點(diǎn)故障。擁有多層級(jí)的高可用設(shè)計(jì)，比如進(jìn)程級(jí)保護(hù)，軟件進(jìn)程異常中斷后，有守護(hù)進(jìn)程檢測(cè)，并嘗試?yán)?。磁盤(pán)RAID+數(shù)據(jù)多副本，確保數(shù)據(jù)的可靠；一主多從多副本，部署在不同機(jī)架的不同服務(wù)器上，應(yīng)對(duì)服務(wù)器和機(jī)架機(jī)故障；多地多中心部署，可以應(yīng)對(duì)機(jī)房級(jí)事故，以及區(qū)域級(jí)的災(zāi)難事件，如地震、水災(zāi)等。

特別是對(duì)于提供公共服務(wù)的業(yè)務(wù)，面向一個(gè)省，甚至全國(guó)的公眾，提供7*24小時(shí)服務(wù)，要求業(yè)務(wù)在1小時(shí)內(nèi)恢復(fù)服務(wù)，數(shù)據(jù)庫(kù)的RTO需要控制分鐘級(jí)。而對(duì)于一些計(jì)費(fèi)類(lèi)的金融服務(wù)，如醫(yī)療保險(xiǎn)、養(yǎng)老保險(xiǎn)等，要求同城RPO為0，數(shù)據(jù)0丟失。TDSQL能保證在1分鐘之內(nèi)完成故障切換，確保RTO在分鐘級(jí)，另外采用強(qiáng)同步復(fù)制之類(lèi)的技術(shù)，來(lái)保證主從數(shù)據(jù)完全一致。

政務(wù)行業(yè)創(chuàng)新實(shí)踐案例

接下來(lái)分享TDSQL在政務(wù)行業(yè)的幾個(gè)典型案例：

第七次全國(guó)人口普查

第七次全國(guó)人口普查采取電子化方式開(kāi)展普查登記，實(shí)現(xiàn)了5個(gè)首次：首次全面采用電子化,實(shí)時(shí)及時(shí)上報(bào)數(shù)據(jù)、首次實(shí)現(xiàn)普查對(duì)象通過(guò)互聯(lián)網(wǎng)自主填報(bào)、首次利用行政大數(shù)據(jù)進(jìn)行比對(duì)核查、首次實(shí)現(xiàn)利用互聯(lián)網(wǎng)云計(jì)算云服務(wù)實(shí)時(shí)處理工作、首次用信息化系統(tǒng)對(duì)700多萬(wàn)普查員進(jìn)行線(xiàn)上管理。

在整個(gè)統(tǒng)計(jì)過(guò)程中，700萬(wàn)普查員使用企業(yè)微信小程序進(jìn)行數(shù)據(jù)采集，約一億人使用微信自主填報(bào)小程序進(jìn)行信息錄入，海量數(shù)據(jù)全部實(shí)時(shí)入庫(kù)。與此同時(shí)，為了便于應(yīng)對(duì)數(shù)據(jù)采集出現(xiàn)問(wèn)題能夠在第二天及時(shí)補(bǔ)充采集、修正，系統(tǒng)同時(shí)需要快速完成對(duì)入庫(kù)數(shù)據(jù)的實(shí)時(shí)查詢(xún)分析。

據(jù)新華網(wǎng)統(tǒng)計(jì)報(bào)道，電子采集的方式將登記時(shí)間縮小到了20分鐘以?xún)?nèi)，很大程度上降低了后期數(shù)據(jù)錄入、處理的難度。700多萬(wàn)G端混合負(fù)載業(yè)務(wù)、億級(jí)C端OLTP業(yè)務(wù)、海量的數(shù)據(jù)分析任務(wù)...本次全國(guó)人口普查項(xiàng)目，TDSQL提供了“OLTP+OLAP”雙引擎融合的企業(yè)級(jí)分布式數(shù)據(jù)庫(kù)管理系統(tǒng)TDSQL，平穩(wěn)、高效支撐第七次全國(guó)人口普查工作順利完成。

在這些龐大的數(shù)據(jù)中，不乏多張超級(jí)大表關(guān)聯(lián)高并發(fā)統(tǒng)計(jì)查詢(xún)，其每張表中存放超過(guò)20億+條記錄。如果把其中存放一張超級(jí)表的空間用來(lái)存放平均50萬(wàn)字的書(shū)籍，可以放下超過(guò)1000萬(wàn)本，一個(gè)人終其一生也讀不完。

規(guī)模浩瀚的人口普查工作，系統(tǒng)業(yè)務(wù)架構(gòu)復(fù)雜、并發(fā)度高，在災(zāi)備設(shè)計(jì)、高可用能力保障上，整個(gè)數(shù)據(jù)庫(kù)采用了一主三從、強(qiáng)同步復(fù)制和異地災(zāi)備的備份方案，在某個(gè)數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)故障時(shí)，都能保證數(shù)據(jù)的完整和一致。哪怕出現(xiàn)大規(guī)模的突發(fā)情況，通過(guò)異地災(zāi)備，也能夠進(jìn)行數(shù)據(jù)恢復(fù)。

數(shù)字廣東

數(shù)字廣東是在2017年廣東省在全國(guó)率先啟動(dòng)數(shù)字政府的改革，所以數(shù)字廣東是在2017年7月開(kāi)始建設(shè)和運(yùn)營(yíng)，到現(xiàn)在是一個(gè)兩地三中心的省級(jí)政務(wù)平臺(tái)和數(shù)據(jù)庫(kù)應(yīng)用平臺(tái)。

整個(gè)規(guī)模非常龐大，整個(gè)數(shù)據(jù)里面用到騰訊多個(gè)數(shù)據(jù)庫(kù)場(chǎng)景，關(guān)系數(shù)據(jù)庫(kù)主要為T(mén)DSQL、事務(wù)性和分析型，而MySQL和TDSQL有超過(guò)一萬(wàn)個(gè)核，數(shù)據(jù)的存儲(chǔ)量已經(jīng)超過(guò)1.3TB，分析型的CPU也是超過(guò)了兩萬(wàn)七千核，數(shù)據(jù)的儲(chǔ)存量已經(jīng)超過(guò)了420T。里面覆蓋了多種政務(wù)場(chǎng)景，比如基于高并發(fā)應(yīng)用的粵省事，基于分析型應(yīng)用的政務(wù)大數(shù)據(jù)中心，workflow應(yīng)用廣東政務(wù)服務(wù)網(wǎng)，綜合型應(yīng)用粵商通、粵政易。

江蘇人社一體化信息平臺(tái)

江蘇省是人口大省，江蘇省人力資源和社會(huì)保障廳（下文簡(jiǎn)稱(chēng)“江蘇人社”）要服務(wù)近8000萬(wàn)常住人口、近300萬(wàn)家企事業(yè)單位。在信息一體化進(jìn)程上，江蘇選擇了騰訊云數(shù)據(jù)庫(kù)TDSQL為底座，打造“智慧人社”的標(biāo)桿案例。江蘇人社一體化信息平臺(tái)，是人力資源和社會(huì)保障部首個(gè)leaf6.2框架省級(jí)試點(diǎn)。

平臺(tái)采用騰訊開(kāi)放技術(shù)框架建設(shè)，結(jié)合云底座、技術(shù)中臺(tái)和數(shù)據(jù)庫(kù)等近30項(xiàng)產(chǎn)品，打造了服務(wù)全省的業(yè)務(wù)經(jīng)辦、行政審批和公共服務(wù)平臺(tái)。還涵蓋就業(yè)創(chuàng)業(yè)、社會(huì)保險(xiǎn)、人才人事、勞動(dòng)關(guān)系四大業(yè)務(wù)板塊，為人民群眾提供全面且便捷的暖心服務(wù)。

這是江蘇省首個(gè)全省一體化項(xiàng)目，不僅縱貫全省、市、縣、鄉(xiāng)、村五級(jí)人社部門(mén)，還涵蓋多個(gè)業(yè)務(wù)類(lèi)別。不同于常規(guī)理解的政府系統(tǒng)，人社系統(tǒng)中因?yàn)橛幸徊糠稚婕吧鐣?huì)保險(xiǎn)、賬目和養(yǎng)老金發(fā)放的問(wèn)題，該系統(tǒng)被定義為一個(gè)“金融級(jí)”系統(tǒng)，所以對(duì)系統(tǒng)的穩(wěn)定性、一致性、性能要求特別高，復(fù)雜程度超出一般的政務(wù)系統(tǒng)。

騰訊云為江蘇人社提供了集中部署、統(tǒng)一管理、分層維護(hù)的大數(shù)據(jù)平臺(tái)，并基于企業(yè)級(jí)分布式數(shù)據(jù)庫(kù)TDSQL為人事系統(tǒng)、調(diào)度指揮、公共服務(wù)小程序、一體化檔案系統(tǒng)等關(guān)鍵業(yè)務(wù)系統(tǒng)構(gòu)建高性能可擴(kuò)展、易運(yùn)維的系統(tǒng)應(yīng)用創(chuàng)新。

為確保數(shù)據(jù)安全和系統(tǒng)穩(wěn)定可靠，TDSQL提供了高可用多活的災(zāi)備服務(wù)。通過(guò)對(duì)TB級(jí)系統(tǒng)數(shù)據(jù)的管理，大數(shù)據(jù)分析、開(kāi)放共享、數(shù)據(jù)應(yīng)用開(kāi)發(fā)等，為省人社信息化建設(shè)提供多維度的數(shù)據(jù)服務(wù)支撐，實(shí)現(xiàn)金融級(jí)標(biāo)準(zhǔn)要求，極大提升了江蘇省人社政務(wù)辦公和服務(wù)的水平，為公眾辦理相關(guān)社保業(yè)務(wù)提供極大的便利。

再介紹幾個(gè)非政務(wù)行業(yè)的典型案例：

張家港農(nóng)商行

張家港農(nóng)商行新一代核心系統(tǒng)的國(guó)產(chǎn)化替換，張家港農(nóng)商行的核心業(yè)務(wù)最開(kāi)始跑在IBM的小型機(jī)上，是一個(gè)集中式架構(gòu)。隨著業(yè)務(wù)的發(fā)展，原來(lái)的系統(tǒng)在性能和可用上已經(jīng)沒(méi)辦法滿(mǎn)足業(yè)務(wù)需求，所以他們當(dāng)時(shí)要做改造，應(yīng)用層和數(shù)據(jù)庫(kù)要改造。數(shù)據(jù)庫(kù)選用的時(shí)候最開(kāi)始是在Oracle和國(guó)產(chǎn)分布式數(shù)據(jù)庫(kù)做選擇，經(jīng)過(guò)多番對(duì)比測(cè)試最終選擇了TDSQL。在上線(xiàn)的時(shí)候?yàn)榱朔€(wěn)健，設(shè)計(jì)師用TDSQL支撐業(yè)務(wù)的同時(shí)，還搭了Oracle的環(huán)境做備用，通過(guò)同步工具將TDSQL的數(shù)據(jù)同步到Oracle里面去。

平安銀行

2020年10月30日，平安銀行的信用卡“A+”新核心系統(tǒng)成功投產(chǎn)，它的底層是基于TDSQL、X86的云架構(gòu)，這個(gè)核心系統(tǒng)的活躍的卡數(shù)量已經(jīng)超過(guò)六千萬(wàn)，A+新核心系統(tǒng)是業(yè)界第一個(gè)將金融機(jī)構(gòu)核心業(yè)務(wù)系統(tǒng)由大型機(jī)集中式架構(gòu)遷移到PC服務(wù)器分布式架構(gòu)的成功案例。以TDSQL為核心的新一代信用卡“A+”系統(tǒng)，它的處理能力相比以前來(lái)說(shuō)提升了10倍，它的成本也降為原來(lái)的1/3。

目前，TDSQL已經(jīng)在政務(wù)行業(yè)多個(gè)領(lǐng)域應(yīng)用實(shí)踐，而在未來(lái)，TDSQL也將持續(xù)助力各地各部門(mén)數(shù)字化轉(zhuǎn)型。