關于數字孿生十問：

數字經濟大潮下，數字孿生技術作為數字化轉型的重要工具，已被納入國家關鍵技術戰略，進入產業應用深水區。在交通、汽車、工業、文旅、建筑等眾多行業，數字孿生的應用，正在從“可看”，向“可算”、“好用”發展，通過數字世界的計算推演，為物理世界的優化提供更多的決策指導，實現數字世界與物理世界的雙向銜接。

騰訊研究院與騰訊數字孿生產品部聯合發起《數字孿生十問》系列，每期聚焦一個應用領域，探討技術創新，挖掘應用價值。

智能網聯汽車是軟硬結合、云邊端協同、多元融合的載體，是數實融合落地的典型產業，同時也是典型的數字孿生應用場景。中國汽車產業已經在電動化方面領跑全球，下一步智能化將成為產業競爭焦點，也是決勝未來的關鍵所在。

本期十個問題，將展開剖析數字孿生技術與仿真測試在自動駕駛走向量產的過程中所發揮的重要作用。

【一】近日，四部委聯合發布了《關于開展智能網聯汽車準入和上路通行試點工作的通知》，是否標志自動駕駛量產上路時代已來?

汽車是改變世界的工具，隨著電動化和網聯化的深入，以自動駕駛為核心的智能化進程也在加速。11月，四部委聯合下發《關于開展智能網聯汽車準入和上路通行試點工作的通知》，被普遍認為是量產上路時代來臨的信號。

該通知鼓勵各地區積極探索智能網聯汽車的準入和上路通行試點工作，實際上為量產應用提供了寬松的環境，促進技術的不斷創新和實踐。其中提到了推動法律法規、技術標準的制定和完善，為自動駕駛技術的商業化落地提供依據和規范。

當然，智能交通系統、高精度地圖、車聯網等基礎設施仍要加速配套，為規模化推廣應用奠定基礎。

城市交通數字孿生

【二】自動駕駛規�；瘧���，卡點在哪里?

自動駕駛規模化應用面臨很多技術挑戰，要解決長尾問題提升系統安全性，需要配套法規、政策和金融保險制度、用戶接受度等問題。只有在這些問題得到有效解決的情況下，自動駕駛技術才能大規模應用。

例如自動駕駛測試體系搭建問題，汽車作為復雜的工程產品，包括了機械、電子、軟件等技術，設計階段無法完成預測并解決所有問題，只有完善的測試體系才能驗證功能可用性和安全性，尤其是安全性，關乎駕駛員和乘客人身安全。

當然，研發與測試并非完全對立關系，在研發過程中，可以利用階段性測試的有效手段來發現設計上的缺陷和制造上的問題，提升汽車的質量。此外，用戶體驗舒適性、燃油經濟性、汽車動力性能等方面，也需要依賴完善測試來驗證和迭代提升。

【三】數字孿生技術對自動駕駛落地有什么推動作用?

我國在探索智能網聯汽車的過程中，提出了“人-車-路-云”一體化的方案。在這樣的架構體系下，汽車、交通、通信需要充分融合。

作為信息物理系統的典型應用，智能網聯汽車正在推動產業的新一輪歷史性轉型升級，其規模化落地，呈現出復雜大系統的的典型特點，需要形成全鏈路數字化閉環的車路云協同方法和框架，構建完備的技術閉環體系，自動駕駛的商業閉環一定要建立在技術閉環的基礎之上。

隨著數字孿生走向產業應用深水區，技術應用正在從可視化，向可計算、可預測和可控制的方向升級。在智能網聯汽車特別是自動駕駛領域，數字孿生技術可以用于生成訓練數據，構建安全、高效的測試場景，形成研發和測試的閉環迭代。在自動駕駛仿真測試領域，數字孿生技術可以將真實數據在仿真平臺上進行場景的生成和重組，為自動駕駛算法提供可供測試的 corner case 。例如騰訊自動駕駛數字孿生仿真平臺TAD Sim還打造了面向地圖更新回歸測試的應用能力，幫助車企以更低成本進行地圖更新數據的回歸測試驗證，保證智駕算法在新的地圖更新數據之上不會出現運行問題或者功能降級。

TAD Sim自動駕駛虛實融合測試

【四】數字孿生仿真測試對自動駕駛量產的作用是什么?

為保證自動駕駛安全，模擬仿真、封閉場地和實際道路測試三種測試方法缺一不可。通常情況下按照先模擬仿真、再封閉場地、最后實際道路測試的順序，在自動駕駛系統開發和應用的不同階段，采用不同的測試方式。

行業普遍認為，采用路測方式來測試自動駕駛算法所耗費的時間和成本太高，極端交通條件和危險場景復現困難，且存在很大危險性，關鍵是測試的邊際效應非常明顯，也很難滿足完備性需求。所以仿真測試是解決自動駕駛路測數據匱乏和成本高的核心路徑，具有安全性高、低成本、高效率等特性，是自動駕駛應用落地的關鍵環節。自動駕駛仿真可以幫助開發者在虛擬環境中模擬和測試自動駕駛系統的各個方面，從感知、決策到控制以及交互等，高效的驗證和優化系統的性能。

高效的測試才會有高效的開發，最高效的測試是具備完整場景覆蓋的仿真測試。從測試場景數量看，模擬仿真測試遠遠大于封閉場地和實際道路測試和封閉場地測試。使用仿真軟件提供的工具和功能，構建虛擬場景，包括道路、交通標志、交通流等。這些場景能模擬真實世界中的各種情況和挑戰，以便進行全面的測試和驗證，據此可以評估自動駕駛系統的可靠性和性能，并發現潛在的問題和改進點，也能夠更好滿足全生命周期的OTA回歸測試需求。

同時，確保自動駕駛仿真的真實性是一個重要的問題。涉及到場景模擬的準確性、傳感器模擬的準確性、車輛模型的真實性、算法模型的準確性、交互模擬的真實性等，還有諸多不穩定性的因素。通過不斷改進仿真軟件的準確性和真實性，可以提高仿真結果與真實世界的一致性，從而更好地支持自動駕駛技術的發展和應用。

【五】BEV、端到端等新技術路線對自動駕駛仿真提出了什么新的要求?

當前BEV+OCC已經成為業內相對共識的自動駕駛框架，豐富的模型表達能力，也使得自動駕駛技術研發重點也由面向模型轉向面向數據。恰是這種方式的轉變，對4D數據和空間計算需求也提出了更高的要求，如何低成本獲取獲取高質量的訓練數據和驗證場景尤為重要，對自動駕駛仿真也提出了新的需求和挑戰。在新的算法框架和評測體系下，需要多視圖、多傳感器融合的4D數據，必須在時間和空間保持一致的基礎上，能夠滿足真實性、完備性和多樣性的需求。

如果說BEV+Transformer 路線，是感知端的神經網絡運算，端到端則是全程使用神經網絡算法，無人工規則介入。這讓原本的模塊化流程變的“黑盒化”。過去的仿真測試，包括單元測試、模塊測試、集成測試等，是一個從小到大的過程。被測物的環節越小越集中，測試的針對性越強，發現了問題，指向性也非常明顯。針對端到端的自動駕駛算法，仿真測試的策略也在隨之變化，需要支持全閉環驗證策略，需要有高逼真的場景、可行決策的生成能力以及配套的真實和評價體系。騰訊自動駕駛數字孿生仿真平臺TAD Sim，采用AIGC+PCG+高逼真渲染引擎構建和生成4D場景，可用于進行端到端算法的仿真測試，也可以生成配套的真值標注數據，用于感知算法的訓練。

雪天高速公路自動駕駛數字孿生仿真測試

【六】AIGC及大模型的爆發為自動駕駛仿真帶來什么變化?

生成式AI大模型承載著巨量參數，利用多模態數據，可提升研發效能，節省數據標注成本，通過更強的泛化能力，加速仿真場景構建。若AIGC成為自動駕駛算法訓練和測試的主要數據來源，那原本的采集車隊、大規模數據平臺等模式將會發聲改變，影響到未來自動駕駛產業格局的變化。

采用AIGC技術可以創造出更多的合成數據，尤其是一些敏感或高安全領域的數據和長尾數據，從而填補真實數據中的缺口，提升訓練和測試樣本的樣本的多樣性、完備性和均衡性。

2022 年以來， Nerf、Diffusion Model、World Model 等新技術，提升了仿真平臺的保真度，可用于算法的訓練，并大幅提升訓練效率。通過生成模型來輸入已知環境特征，同時預測未來場景很可能就是構建計算機視覺領域自監督基礎模型(Foundation Model)的關鍵性任務。自動駕駛領域world model 世界模型正式這種理念的產物�；�于車輛采集的大量多源數據，結合語義信息和世界演化的規律生成未來場景，用于模型訓練、行為預測和測試驗證。因為世界模型具有更高的還原度，能夠生成高逼真的4D場景數據，更有效的支持端到端的自動駕駛算法訓練和測試，尤其是corner case的生成效率更高，進而提高算法訓練和仿真測試效率。

在游戲領域廣泛應用的場景自動生成、實時渲染、行為模擬等算法，與自動駕駛的三維融合感知等能力相結合，會對自動駕駛視覺大模型能力提供技術支持，同時云端工具鏈體系也為大規模三維數據合成提供很好的工程支持。利用大模型和AIGC，可以生成和編輯出更豐富多元的測試場景，包括光照、天氣及更加極端的交通環境。

騰訊基于數字孿生仿真技術實現場景風格轉換

(左上、左下-仿真場景，右上-真實圖像，右下-風格轉換后圖像)

【七】商業化目標下，自動駕駛領域使用大模型如何平衡技術效率和相應的成本問題?

新技術路線下，自動駕駛競爭關鍵由算法和模型，轉向為數據與算力，其開發模式也由面向模型轉向了面向數據。在數據方面，基于仿真技術，尤其是AIGC+PCG+三維引擎融合技術的合成數據，可以自動生成大量帶有真值的數據。目前，騰訊自動駕駛實驗室利用SAM大模型做數據預標注取得了很好效果，也正在將相關的自動駕駛算法、模擬仿真以及游戲引擎和PCG(程式化生成)技術結合，實現高逼真場景的生成和編輯，在保證數據滿足真實性的同時，具備可編輯操控能力。

在算力方面，訓練大模型所需的數據非常巨量，需要TB級吞吐和千萬級IOPS支持，來完全滿足數據存儲和檢索需求�，F如今大模型參數量已達萬億級規模，需要龐大計算集群來完成感知預測一體化模型訓練和仿真測試，但行業內計算資源匱乏已是不爭事實。一方面車企在大量投入，建設高性能計算集群，升級計算網絡架構。以更適合AI運算的向量數據庫，高效處理智駕非結構化數據。

目前，蔚來等車企正在與騰訊合作，打造一體化的混合云基礎設施，支撐快速發展的智能駕駛研發和運營服務。今年7月騰訊發布國內首個AI原生的向量數據庫，專為向量數據存儲、檢索和分析而量身定制。智駕場景下，向量數據庫可以很好的處理海量的視頻、點云等非結構化數據。假設在10億張圖片里找1張卡車運輸共享單車的圖片，騰訊云向量數據庫可并發支持100萬個請求，在10億規模圖片里進行搜索，只需要百毫秒就能輕松地找到這條記錄。

在仿真測試方面，今年起，騰訊也與車企開展了自動駕駛云仿真的合作，在云仿真平臺，可以支持一萬個以上的場景并行計算，將10000個場景的運行時間從14天大幅縮減至4分鐘。借助真實交通數據，構建虛實一體的仿真城市，支持數千輛自動駕駛車輛和數十萬輛交通流車輛同時運行，車輛之間實時同步，在高效性的同時保證測試的有效性。

騰訊自動駕駛 虛擬仿真平臺TAD Sim虛擬城市型云仿真

【八】未來自動駕駛行業的生態會是怎么樣?

未來的汽車，就是一個個數據的載體，而海量的數據如何能夠更好的反哺自動駕駛和智能網聯汽車相關功能的研發，需要一套閉環的數據體系，覆蓋眾多的采集、處理、分析、訓練、部署等等模塊。在目前的行業運行中，各個模塊由不同的供應商承擔，會提高單一模塊效率，但也容易造成模塊之前的割裂，形成一個個煙囪，影響全局整合效率。

目前行業現狀是能在自身數據池里閉環，充分挖掘數據價值的車企，才能快速在競爭中突圍。在數據驅動下的自動駕駛研發，更加依賴海量的數據喂養，去訓練成熟的算法。數據既是企業的核心競爭力，但單一企業很難滿足數據多樣性和完備性的需求，為了加速自動駕駛產業發展，早日實現完全自動駕駛，需要建立一套數據共享機制和相關的回饋激勵機制，勢必行業發展的必經之路，是共享自動駕駛紅利的基礎。

對于自動駕駛工具鏈來說，需要的是從架構設計、功能定義的階段開始共建，跳脫出甲乙方的供需關系，成為一條心的利益共同體。同時，從更長遠的角度考慮，未來通過第三方平臺，沉淀通用數據，訓練基礎模型，為廣泛的車企服務，更符合車路協同的技術路線，以數字化的基礎設施，推動數字化的應用發展。

【九】數字孿生未來在演進的方向有哪些?

隨著數字孿生技術在各個行業的落地應用，仿真模擬仍舊是其核心的價值體現，為了保證仿真結果的準確性和可用性，逐漸出現基于第一性原理(機理)的仿真方法和基于數據的仿真方法共同融合的趨勢，兩者的融合一方面能夠通過準確的機理模型為仿真提供合理的約束，另一方面能夠利用大數據分析挖掘對仿真結果進行分析，提煉更多有價值的結果，并且在機理不明確的場景或者環節，能夠通過大數據的擬合來實現場景演算和分析。此外伴隨著AIGC技術的不斷發展和成熟，未來數字孿生和AIGC的融合將會是重要的趨勢，一方面AIGC能夠實現數據的標定和一些關鍵場景的生成，能夠豐富數字孿生的數據源，另一方面，伴隨著各類行業大模型的出現，大模型也有望通過模型蒸餾等方式幫助數字孿生的仿真推演模型實現更優性能。

【十】未來還會有哪些技術可能會對自動駕駛仿真帶來非常大的提升?

對自動駕駛仿真技術的提升，未來更多還是會發生在仿真算法這個層面，仿真算法的演進和迭代會大幅提升仿真效率。傳統仿真測試環境，大部分內容都是基于真實路測數據生成，然后進行仿真推演，但是在真實路測的過程中，由于無法覆蓋復雜的長尾場景，這就導致仿真路測里程中，有效場景比例不高，實際效果和實車路測差別不大，這種情況給自動駕駛的仿真帶來很多挑戰，如何找到高價值的訓練場景成為非常共性的問題。例如來自密歇根大學的劉向宏教授的實驗室提出基于密集強化學習的深度學習網絡D2RL，可以將目前基于NDE(自然駕駛環境)的仿真模擬效率提升2000倍，在雙車道400m場景中，D2RL生成的場景直接跳過(刪除)傳統仿真過程中95.7%的事件和99.78%步驟，最大可能給出系統高價值訓練場景。

(新媒體責編：wa12)