2019年，國家相關(guān)部委提出，要“兩年內(nèi)取消高速公路省界收費站”實現(xiàn)不停車快捷收費，減少擁堵、便利群眾。面對政策變更，云南省高速中心清分結(jié)算系統(tǒng)需要進行全方位升級改造以達到全國聯(lián)網(wǎng)收費要求。

在清分結(jié)算項目升級改造的過程中，數(shù)據(jù)庫建設(shè)主要面臨兩個方面的壓力：

一是時間短,工作任務(wù)重。政策上，云南公路聯(lián)網(wǎng)收費管理有限公司須盡快實現(xiàn)聯(lián)網(wǎng)收費計費、車道數(shù)據(jù)和現(xiàn)有清分結(jié)算系統(tǒng)的設(shè)計做好整改配合工作，力爭四個月內(nèi)全省聯(lián)網(wǎng)收費和清分結(jié)算系統(tǒng)整改完畢。

二是數(shù)據(jù)量大，選型難。自2019年5月起云南省全省逐步取消高速公路省界收費站，逐步推廣ETC收費以來，云南省高速公路建成里程突破8000公里，全省發(fā)行ETC用戶累計超過600萬，客車ETC使用率超70%，貨車ETC使用率超60%，選用技術(shù)領(lǐng)先的數(shù)據(jù)庫支持云南省全省清分結(jié)算業(yè)務(wù)迫在眉睫。

項目建設(shè)三大難點

各類清分結(jié)算業(yè)務(wù)要基于數(shù)據(jù)統(tǒng)一平臺提供的數(shù)據(jù)源正常高效進行，實現(xiàn)ETC和CPC交易數(shù)據(jù)的擬合算費，為云南高速路段業(yè)主提供更完整的交易數(shù)據(jù)，減少通行費損失提供支持:完成ETC通行交易清分結(jié)算、其他交易清分結(jié)算、退費補交清分結(jié)算和拓展應(yīng)用交易清分結(jié)算以及省內(nèi)爭議處理、發(fā)票數(shù)據(jù)上傳、交易對賬核心功能等。

在這種背景下，項目的困難點主要集中在三個方面：

一、業(yè)務(wù)量訪問巨大，數(shù)據(jù)庫需要支持讀寫分離，否則會出現(xiàn)數(shù)據(jù)積壓和低查詢效率。

二、省中心清分結(jié)算系統(tǒng)與各流程環(huán)節(jié)交互較多，數(shù)據(jù)庫連接數(shù)較多，存在程序直接連庫寫表造成進程間鎖等待的問題。

三、各個收費站上傳給清分系統(tǒng)省中心的數(shù)據(jù)無法集中，只能分散多個數(shù)據(jù)庫存儲，無法高效快速對數(shù)據(jù)進行訪問、統(tǒng)計，影響正常的清分結(jié)算業(yè)務(wù)的及時完成。

本次清分結(jié)算系統(tǒng)數(shù)據(jù)庫全部采用國產(chǎn)數(shù)據(jù)庫AntDB，實現(xiàn)高速核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫全面自主可控。

清分結(jié)算系統(tǒng)負責(zé)處理并存儲收費系統(tǒng)下發(fā)的出口交易流水、門架交易流水、部中心下發(fā)的記賬信息等數(shù)據(jù)，并產(chǎn)生各種清分結(jié)算數(shù)據(jù)的系統(tǒng)，每日處理數(shù)據(jù)量超過5000萬條，同時各類交易處理具有較強的時效性。

通過引入分布式關(guān)系型數(shù)據(jù)庫 AntDB，清分結(jié)算系統(tǒng)不僅滿足了各類數(shù)據(jù)實時及批量入庫的需求，還對外提供在線查詢功能，同時兼顧了各類定期報表功能需求，實現(xiàn)了數(shù)據(jù)庫層面的統(tǒng)一，其整體功能架構(gòu)如下圖所示：

AntDB特性滿足清分結(jié)算業(yè)務(wù)特點

AntDB可以高效支撐清分結(jié)算系統(tǒng)的超高并發(fā)業(yè)務(wù)，保證交易流水等數(shù)據(jù)處理“一條不漏，一條不錯”。 AntDB具備內(nèi)存計算引擎，提供極致數(shù)據(jù)處理性能、基于SQL的數(shù)據(jù)訪問服務(wù)以及可插拔的擴展服務(wù);原生分布式設(shè)計，對應(yīng)用完全透明，兼顧性能與可擴展性;有超強scale up能力，對CPU、內(nèi)存、連接數(shù)不做限制;用戶可以在線進行擴容操作，擴容過程不影響用戶的線上業(yè)務(wù)，隨著業(yè)務(wù)的快速增長數(shù)據(jù)庫可以橫向在線擴展。

AntDB數(shù)據(jù)庫可以處理HTAP即交易加實時分析的融合場景，滿足清分結(jié)算業(yè)務(wù)包括在線交易、數(shù)據(jù)分析、報表輸出等場景需求。 AntDB數(shù)據(jù)庫具備實時強一致的分布式事務(wù)控制能力，確保數(shù)據(jù)零丟失和事務(wù)一致性，保證拆分數(shù)據(jù)和報表數(shù)據(jù)的準確性;在分布式場景下提供規(guī)范的數(shù)據(jù)訪問控制，全局數(shù)據(jù)可實現(xiàn)一致性備份和恢復(fù)，并提供嚴格的數(shù)據(jù)訪問控制和數(shù)據(jù)防傾斜設(shè)計，保證業(yè)務(wù)數(shù)據(jù)安全可靠;支持異地容災(zāi)，具備高可用，出現(xiàn)故障時可以自動剔除故障節(jié)點，保障業(yè)務(wù)持續(xù)可用，保證數(shù)據(jù)庫系統(tǒng)達到99.999%的服務(wù)等級;具備動態(tài)高效的SQL執(zhí)行引擎，提供異構(gòu)索引，內(nèi)置reduce數(shù)據(jù)處理引擎，數(shù)據(jù)節(jié)點間可以進行通信，提高數(shù)據(jù)處理效率，尤其是復(fù)雜查詢場景的數(shù)據(jù)處理效率。

圖：AntDB產(chǎn)品架構(gòu)AntDB數(shù)據(jù)庫滿足省中心清分結(jié)算系統(tǒng)相關(guān)的所有需存儲數(shù)據(jù)的需求， 包括ETC門架通行交易數(shù)據(jù)、站省傳輸上傳的通行交易數(shù)據(jù)、部中心上傳、下載的所有數(shù)據(jù)、基礎(chǔ)參數(shù)數(shù)據(jù)、計費相關(guān)數(shù)據(jù)、拆分數(shù)據(jù)、記賬數(shù)據(jù)、對賬數(shù)據(jù)等。基于分布式版本的AntDB數(shù)據(jù)庫，針對上述數(shù)據(jù)設(shè)計分片分區(qū)方式，將數(shù)據(jù)打散存放到數(shù)據(jù)庫集群的各個數(shù)據(jù)節(jié)點中，減小單個數(shù)據(jù)節(jié)點的數(shù)據(jù)規(guī)模;在業(yè)務(wù)查詢及數(shù)據(jù)錄入時，可以大大提升其操作性能，避免互相之間的資源競爭。

AntDB中數(shù)據(jù)分片和分區(qū)對上層應(yīng)用均是透明的，外部應(yīng)用程序或接口無需關(guān)注底層數(shù)據(jù)分布，只需要關(guān)注上層業(yè)務(wù)邏輯。

AntDB對于OLTP場景下的數(shù)據(jù)處理做了大量優(yōu)化工作，例如針對保證事務(wù)一致性的2PC協(xié)議做了優(yōu)化，如果事務(wù)操作的數(shù)據(jù)僅涉及單個數(shù)據(jù)節(jié)點，那么計算節(jié)點僅進行一階段提交，只需要確認對應(yīng)的數(shù)據(jù)節(jié)點已經(jīng)完成提交就任務(wù)事務(wù)提交已完成。只有當(dāng)事務(wù)操作的數(shù)據(jù)涉及兩個或以上數(shù)據(jù)節(jié)點時，計算節(jié)點才會啟動兩階段提交，大大提升了處理性能。

清分結(jié)算系統(tǒng)中的AntDB數(shù)據(jù)庫分布式架構(gòu)中包含5個計算節(jié)點，計算節(jié)點為無狀態(tài)節(jié)點，無主備狀態(tài)，均可以對外提供服務(wù)，可根據(jù)業(yè)務(wù)發(fā)展情況進行彈性伸縮，大大提升了AntDB對于高并發(fā)業(yè)務(wù)的支撐能力和靈活度，目前數(shù)據(jù)庫所有計算節(jié)點承載活躍連接數(shù)在1000左右，后續(xù)業(yè)務(wù)并發(fā)如果持續(xù)增加，可以對計算節(jié)點進行在線擴容，滿足客戶快速增長的業(yè)務(wù)需求。

同時，在AntDB中統(tǒng)一進行存儲于處理的各類數(shù)據(jù)，可通過同步機制增量提供給副本集群（只讀訪問），實現(xiàn)數(shù)據(jù)的集中統(tǒng)一、資源隔離。 通過一套數(shù)據(jù)庫滿足清分結(jié)算、車道收費、接口上傳業(yè)務(wù)開發(fā)支撐能力。統(tǒng)一數(shù)據(jù)入口，各系統(tǒng)采集的數(shù)據(jù)由清分結(jié)算統(tǒng)一處理存放到數(shù)據(jù)庫中，實現(xiàn)統(tǒng)一接入。

清分結(jié)算系統(tǒng)存在大量報表需求，需要提供對清分結(jié)算結(jié)果各種維度的報表數(shù)據(jù)查詢以及下載，按照時間粒度可以分為日報表、月報表等。按照業(yè)務(wù)類型分類包括通行費收入劃賬報表、通行費收入劃賬明細報表、ETC通行交易省內(nèi)/外通行費收費分賬報表、現(xiàn)金交易省內(nèi)/外通行費收費分賬報表、移動支付交易省內(nèi)/外通行費收費分賬報表等。報表系統(tǒng)日處理源數(shù)據(jù)量達到2000萬以上，所生成報表數(shù)據(jù)量達到70萬以上，數(shù)據(jù)量巨大。

大數(shù)據(jù)量的報表生成和查詢場景對AntDB在分析場景下的數(shù)據(jù)處理性能提出了很高的要求。 大表查詢場景下，查詢SQL中的where條件若有分片鍵，這個查詢會精確路由到具體的節(jié)點中，以提高查詢效率。如果SQL的where條件中沒有分片鍵，就會進行一次全節(jié)點掃描可能會造成資源的浪費，增加鎖沖突的概率，并且拖慢性能等。

針對該場景，AntDB內(nèi)部支持異構(gòu)索引，異構(gòu)索引采用空間換時間的方式來解決全量掃描的問題，內(nèi)核自動維護分片鍵和索引鍵之間的映射關(guān)系建立異構(gòu)索引，使用異構(gòu)索引將避免全節(jié)點掃描，可以解決業(yè)務(wù)使用中存在多個查詢維度時不帶分片鍵造成的查詢性能下降的問題。AntDB內(nèi)置分布式并行執(zhí)行引擎，在分析場景下當(dāng)系統(tǒng)執(zhí)行一個查詢語句時，需要掃描表的內(nèi)容，然后經(jīng)過一系列計算，最后將結(jié)果返回給用戶。AntDB內(nèi)置的分布式并行執(zhí)行引擎，在多個數(shù)據(jù)節(jié)點之間組網(wǎng)傳輸數(shù)據(jù)，利用多節(jié)點并發(fā)處理數(shù)據(jù)，可以使聚集、排序、關(guān)聯(lián)等操作獲得倍數(shù)級的性能提升，隨著節(jié)點數(shù)的增加，性能提升線性增長。

AntDB啟用多進程掃描，使用多個后臺worker進程利用CPU多個核心、動態(tài)共享內(nèi)存、工作進程間通信和消息傳遞來實現(xiàn)并行的數(shù)據(jù)掃描;

AntDB啟用并行Hash Join，使用多個worker進程，每個worker節(jié)點執(zhí)行相同的任務(wù)，在數(shù)據(jù)節(jié)點使用一個數(shù)據(jù)量小的表作為驅(qū)動表，用作Hash表，均分后的大表數(shù)據(jù)和Hash表做數(shù)據(jù)Join，最終在計算節(jié)點匯總數(shù)據(jù);

AntDB啟用并行排序，使用多個worker進程，每個worker節(jié)點在數(shù)據(jù)節(jié)點將獲取的結(jié)果集數(shù)據(jù)進行排序，最終提交數(shù)據(jù)到計算節(jié)點并匯總排序數(shù)據(jù);

AntDB啟用并行創(chuàng)建索引，使用多個worker進程，在數(shù)據(jù)節(jié)點并行創(chuàng)建btree索引，提升索引創(chuàng)建效率;

AntDB啟用并行Union，使用多個worker進程，每個worker節(jié)點執(zhí)行相同的任務(wù)，掃描的數(shù)據(jù)在每個數(shù)據(jù)節(jié)點進行Union操作，最終將所有節(jié)點Union后的數(shù)據(jù)匯總至計算節(jié)點最終執(zhí)行一次Union操作。

如上幾大特性提升了AntDB在OLAP場景下的數(shù)據(jù)處理性能，AntDB數(shù)據(jù)庫的上線提高了清分結(jié)算系統(tǒng)報表數(shù)據(jù)的生成效率和準確度。

AntDB應(yīng)用實效

通過前文的描述可以看出清分結(jié)算系統(tǒng)的業(yè)務(wù)特點是典型的HTAP場景，AntDB是具備HTAP特性的分布式數(shù)據(jù)庫，一套數(shù)據(jù)庫可以同時支撐OLTP和OLAP業(yè)務(wù)場景，按照業(yè)務(wù)要求提供各類綜合業(yè)務(wù)處理和報表服務(wù)。此外AntDB可以啟用讀寫分離，將讀流量分擔(dān)到備節(jié)點，降低主節(jié)點讀寫壓力，從而提高數(shù)據(jù)庫的整體性能。

AntDB上線后清分結(jié)算系統(tǒng)ETC拆分業(yè)務(wù)效率提升90%，ETC清分記賬效率提升60%，報表生成時間縮短接近90%。AntDB采用特有的copy命令進行數(shù)據(jù)加載，每個節(jié)點每秒可完成17.5萬條數(shù)據(jù)的入庫，5節(jié)點按照80%的效率預(yù)估，入庫效率可達到每秒80萬記錄。數(shù)據(jù)導(dǎo)出方面，也使用特有的copy命令，性能與數(shù)據(jù)加載在同等規(guī)模水平，大大提高了客戶清分結(jié)算系統(tǒng)的各項業(yè)務(wù)的處理效率。

高可用方面，清分結(jié)算系統(tǒng)中AntDB數(shù)據(jù)庫的數(shù)據(jù)節(jié)點一主兩備部署保證高可用，AntDB部署架構(gòu)示意圖如下：

為了最大化利用資源，生產(chǎn)數(shù)據(jù)庫數(shù)據(jù)節(jié)點從一主兩備調(diào)整為一主一備，原來生產(chǎn)庫中的異步從庫下架作為歷史數(shù)據(jù)庫使用，歷史數(shù)據(jù)庫同樣采用一主一備架構(gòu)，保證高可用，歷史數(shù)據(jù)庫承擔(dān)歷史數(shù)據(jù)備份和歷史數(shù)據(jù)查詢業(yè)務(wù)，由于歷史數(shù)據(jù)查詢頻率較低，故服務(wù)器采用成本更低的HDD硬盤。調(diào)整后數(shù)據(jù)庫集群如下圖所示。

歷史數(shù)據(jù)庫上線后，主庫運行壓力大幅下降，數(shù)據(jù)處理性能得到提升。該方案在保證客戶生產(chǎn)庫高可用的同時降低了生產(chǎn)庫運行壓力，而且最大化利用了客戶現(xiàn)有資源，降低了客戶成本。此次生產(chǎn)庫集群調(diào)整和歷史庫上線充分展示了AntDB分布式數(shù)據(jù)庫的彈性伸縮能力和靈活性，可以根據(jù)客戶需求及業(yè)務(wù)發(fā)展情況進行調(diào)整。

優(yōu)勢總結(jié)和推廣價值

在該項目中的國產(chǎn)自主可控數(shù)據(jù)庫AntDB的應(yīng)用，提供了省中心數(shù)據(jù)統(tǒng)一服務(wù)能力以及“全流程+多協(xié)議+高性能+全業(yè)務(wù)數(shù)據(jù)”的處理能力，滿足海量交易數(shù)據(jù)的集中采集、處理、查詢要求，為取消省界收費后部-省兩級架構(gòu)支撐系統(tǒng)提供新動力。

一、 技術(shù)架構(gòu)優(yōu)勢總結(jié)

(一)分布式特性克服傳統(tǒng)數(shù)據(jù)庫弊端：分布式數(shù)據(jù)庫是當(dāng)代數(shù)據(jù)庫系統(tǒng)的主要特性之一，AntDB數(shù)據(jù)庫的部署，使用5臺SSD+10臺HDD主機資源，集群節(jié)點采用一主兩從部署架構(gòu)保證集群高可靠性，面向應(yīng)用，支持國產(chǎn)服務(wù)器的在線擴展、在線擴容，應(yīng)用無須關(guān)心數(shù)據(jù)量的突發(fā)增長及物理服務(wù)器的具體位置，完美地解決了這一難題。

(二)技術(shù)架構(gòu)的高可用特性提供可靠業(yè)務(wù)保障：網(wǎng)絡(luò)應(yīng)具備混合架構(gòu)及服務(wù)高可用的能力。項目中AntDB具備集群自愈、兩地三中心容災(zāi)架構(gòu)，保證秒級自動鼓掌切換實現(xiàn)業(yè)務(wù)的連續(xù)性，并且能確保數(shù)據(jù)的完整性和強一致性。從傳統(tǒng)IOE架構(gòu)轉(zhuǎn)為AntDB的分布式架構(gòu)后，數(shù)據(jù)庫依然可以獲得99.999%的SLA服務(wù)保障。

二、 效果優(yōu)勢體現(xiàn)總結(jié)

AntDB使用分布式并行執(zhí)行引擎，充分使用硬件資源，使得處理效率大幅提升。現(xiàn)今的AntDB正高效完成業(yè)務(wù)報表的輸出，支撐處理云南高速每天1000萬條門架流水、200萬條車道流水。當(dāng)前數(shù)據(jù)量存儲累計超100TB，已穩(wěn)定運行近兩年，獲得了業(yè)務(wù)團隊和業(yè)界的認可。AntDB作為自主可控的國產(chǎn)數(shù)據(jù)庫，成功運用于該“清分結(jié)算”類大數(shù)據(jù)庫平臺業(yè)務(wù)，具有廣泛的社會意義：

高速交通行業(yè)示范作用 ：通過我省清分結(jié)算國產(chǎn)數(shù)據(jù)庫的成功應(yīng)用，為高速行業(yè)內(nèi)應(yīng)用國產(chǎn)數(shù)據(jù)庫樹立典范，增強行業(yè)內(nèi)應(yīng)用國產(chǎn)技術(shù)的信心。

信創(chuàng)產(chǎn)業(yè)示范效應(yīng) ：既響應(yīng)國家號召、破解核心軟件“卡脖子”風(fēng)險，又落實云南省交通投資建設(shè)集團有限公司要求，助力公司實現(xiàn)自主可控創(chuàng)新引領(lǐng)，提升業(yè)務(wù)連續(xù)性，規(guī)避供應(yīng)鏈安全風(fēng)險。

(新媒體責(zé)編：wan123)