正如DeepSeek憑借出乎意料的高性能、低成本和開放源代碼策略，迅速引爆全球市場、震撼美股科技板塊，并引來業(yè)內(nèi)大佬連連贊嘆，其技術(shù)突破正預(yù)示著全球AI競爭格局的深刻變革。這場風(fēng)暴不僅證明了中國在人工智能領(lǐng)域擁有顛覆性潛力，更顯示出在資源受限的情況下，創(chuàng)新依然能夠打破固有思維，重塑行業(yè)規(guī)則。與此同時，廣州智體科技作為聯(lián)想懂的通信AI生態(tài)核心合作伙伴，也在積極布局前沿科技，利用RobotSense決策框架在復(fù)雜動態(tài)的城市交通環(huán)境中掀起一場技術(shù)革命。
廣州智體科技非常榮幸應(yīng)中華網(wǎng)邀稿，通過這篇技術(shù)文章向讀者展示RobotSense決策框架，揭示其如何在復(fù)雜動態(tài)的城市交通中創(chuàng)造價值。為了讓更多讀者了解文章內(nèi)容，我們將其核心內(nèi)容搬到公眾號中與您分享。本篇文章聚焦于RobotSense決策框架的核心理念，探討這一框架如何通過“視覺-語言-動作”協(xié)同機制，推動自動駕駛決策技術(shù)的革新，突破傳統(tǒng)智能駕駛的瓶頸。
1. 引言
自動駕駛技術(shù)正經(jīng)歷著快速的發(fā)展，尤其是隨著感知能力和決策算法的進(jìn)步，越來越多的自動駕駛系統(tǒng)正在走出封閉的測試環(huán)境，面臨日益復(fù)雜的現(xiàn)實世界駕駛場景。端到端自動駕駛方法的提出試圖將所有模塊融合到一個單一的系統(tǒng)中，直接從傳感器數(shù)據(jù)映射到控制指令，從而減少信息損失，提高系統(tǒng)效率。然而，在復(fù)雜的Robotaxi落地場景中，端到端方法缺乏城市行駛的基本邏輯知識，并且在訓(xùn)練中容易形成錯誤的捷徑[1]。VLM (視覺-語言模型)的出現(xiàn)為端到端自動駕駛提供了新的技術(shù)路徑。VLM能夠?qū)⒁曈X信息與自然語言信息進(jìn)行融合，從而實現(xiàn)對復(fù)雜場景的深度理解，例如識別圖像中的物體、理解交通規(guī)則、分析駕駛行為等。而分層規(guī)劃方法更能將Robotaxi復(fù)雜的規(guī)劃任務(wù)分解成多個層次，例如全局路徑規(guī)劃和局部路徑規(guī)劃，從而更加有效地提高規(guī)劃效率和應(yīng)對動態(tài)環(huán)境的能力。
廣州智體科技提出一種融合 VLM 的語義驅(qū)動的Robotaxi自動駕駛決策框架RobotSense。這種新型 Robotaxi 自動駕駛框架結(jié)合了VLM和E2E(端到端模型)，旨在實現(xiàn)更安全、更智能的自動駕駛。該系統(tǒng)采用分層規(guī)劃架構(gòu)，VLM 負(fù)責(zé)生成自然語言形式的高級規(guī)劃決策，然后根據(jù) VLM 的輸出和低層感知信息生成多級語義動作序列，并將這些動作序列整合成端到端模型的輸入，最終由端到端模型預(yù)測精確的軌跡，將抽象的動作指令細(xì)化為更具體、更易于執(zhí)行的底層動作序列，并根據(jù)當(dāng)前的駕駛環(huán)境和動態(tài)目標(biāo)的行為預(yù)測，生成更具針對性的動作序列，這一創(chuàng)新的方法增強了低層規(guī)劃對高級語義信息的理解和利用能力。此外，該框架還采用了多圖像編碼方法、多視圖提示和面向Robotaxi規(guī)劃的QA等技術(shù)，以提高 VLM 在Robotaxi的場景理解能力和規(guī)劃性能。RobotSense自動駕駛決策框架是現(xiàn)階段能夠真正將VLA (Vision-Language-Action 模型)概念落地于Robotaxi場景的自動駕駛框架，其結(jié)合了視覺（Vision）、語言（Language）和動作（Action）三個模態(tài)的數(shù)據(jù)，通過深度學(xué)習(xí)技術(shù)實現(xiàn)對復(fù)雜場景的理解和決策。
2. 框架設(shè)計
2.1 框架總體架構(gòu)
該 Robotaxi 自動駕駛系統(tǒng)框架包含兩大模塊：RobotSensor模塊通過VLM處理規(guī)劃決策的生成，RobotActor模塊通過E2E模型預(yù)測精確的軌跡，最終實現(xiàn)更安全、更智能的自動駕駛。
該系統(tǒng)接收多視角圖像序列、Robotaxi 乘客的指令和導(dǎo)航命令作為輸入，最終輸出連續(xù)的控制指令，系統(tǒng)流程如下：
多視角圖像序列：由多個攝像頭獲取的圖像信息，提供不同視角下的環(huán)境信息，例如車輛周圍的道路狀況、交通參與者等；
Robotaxi乘客的指令與導(dǎo)航命令：Robotaxi 乘客的指令包括乘客想要到達(dá)的目的地、路線偏好等，導(dǎo)航命令則根據(jù)乘客指令和地圖信息生成具體的導(dǎo)航路徑；
VLM 感知模塊：該模塊負(fù)責(zé)處理多視角圖像序列、Robotaxi乘客指令和導(dǎo)航命令，提取語義信息，并提供決策所需的環(huán)境理解，例如道路拓?fù)?、交通?guī)則、行人和車輛的屬性與行為意圖、天氣和光照等環(huán)境因素；
HSARM 模塊整合高層規(guī)劃的輸出和低層感知信息，例如車輛自身狀態(tài)、周圍環(huán)境信息、動態(tài)目標(biāo)信息等，并進(jìn)行多級推理，生成更細(xì)粒度、更具針對性的動作序列。例如，將 “左轉(zhuǎn)” 分解為 “減速”、“打轉(zhuǎn)向燈”、“查看側(cè)方車輛”、“轉(zhuǎn)向” 等；
端到端模型: 模型接收 HSARM 模塊輸出的多級語義動作序列和其他感知信息，預(yù)測車輛的精確軌跡。
2.2 RobotSensor模塊
RobotSensor模塊主要由三個部分組成：輸入部分獲取輸入信息，視覺編碼器用于從圖像中提取特征信息，然后由Robotaxi視覺適配器實現(xiàn)圖像特征適配。文本編碼器將Robotaxi乘客指令與導(dǎo)航命令編碼為文本tokens[2]。圖像和文本tokens最終被輸入到 LLM 中，LLM 用來預(yù)測高級決策。最后，HSARM 部分輸出的多級語義動作序列會被整合到端到端自動駕駛模型的輸入中。
2.2.1 輸入部分
多視角圖像序列：由多個攝像頭獲取的圖像信息，提供不同視角下的環(huán)境信息，例如車輛周圍的道路狀況、交通參與者等。
Robotaxi乘客指令與導(dǎo)航命令：Robotaxi 乘客的指令包括乘客想要到達(dá)的目的地、路線偏好等，導(dǎo)航命令則根據(jù)乘客指令和地圖信息生成具體的導(dǎo)航路徑。
2.2.2 VLM 感知部分
VLM 感知部分負(fù)責(zé)將輸入的圖像和文本信息轉(zhuǎn)化為可供決策模塊使用的語義信息。該部分由三個子模塊組成：
高效的視覺編碼器：用于從圖像中提取特征信息?？梢允褂? ViT、Swin Transformer 等 Transformer 模型提取圖像特征，以提高圖像處理的效率和準(zhǔn)確性。
Robotaxi視覺適配器：該視覺適配器將圖像特征映射到 LLM 的特征空間，使其更適合被 LLM 理解和使用。具體方法是通過圖像查詢對圖像特征進(jìn)行編碼，并結(jié)合多頭自注意力機制，捕捉不同視角圖像特征之間的關(guān)聯(lián)性，輸出精簡后的圖像標(biāo)記。
LLM（大型語言模型）：通過 LLM 對輸入的視覺信息進(jìn)行理解，將其轉(zhuǎn)化為具體的語義信息，如道路拓?fù)?、交通?guī)則、目標(biāo)物體的屬性和行為意圖。該模塊可以采用預(yù)訓(xùn)練的語言模型進(jìn)行微調(diào)，以適應(yīng)自動駕駛場景。在具體實施中，為了幫助 LLM 區(qū)分不同視角的圖像特征并建立空間理解，智體科技為每個視角設(shè)計相應(yīng)的提示模板，例如 "FRONT VIEW: \n {圖像標(biāo)記} \n"，"LEFT VIEW: \n {圖像標(biāo)記} \n" 等。將包含多視角圖像標(biāo)記和相應(yīng)提示的文本輸入到 LLM 中，可以增強 LLM 對駕駛場景的空間理解能力。
2.2.3 HSARM部分
在獲取了語義信息后，系統(tǒng)通過分層動態(tài)規(guī)劃模塊生成控制指令。分層動態(tài)規(guī)劃模塊的設(shè)計需要考慮各種動態(tài)約束[3]，例如車輛動力學(xué)約束、交通規(guī)則約束、舒適性約束等，以確保自動駕駛的安全性和舒適性。該部分包含三個子模塊：
高層規(guī)劃:
該子模塊接收感知部分提供的語義信息以及乘客指令，生成全局路徑意圖和語義元動作序列。
高層規(guī)劃的目標(biāo)是提供一個抽象的駕駛計劃，同時考慮全局的動態(tài)約束，例如路徑的可行性、交通規(guī)則的遵守情況等。
低層規(guī)劃:
該子模塊接收高層規(guī)劃的輸出和感知部分提供的語義信息，結(jié)合動態(tài)約束，最終輸出連續(xù)的控制指令（例如轉(zhuǎn)向角度、加速度）。
低層規(guī)劃需要考慮局部的動態(tài)約束，例如車輛的動力學(xué)限制、避障、車道保持等，以生成安全、舒適且可執(zhí)行的軌跡[4]。
為了實現(xiàn)分層動態(tài)規(guī)劃，可以采用模仿學(xué)習(xí)、強化學(xué)習(xí)或兩者結(jié)合的方法進(jìn)行訓(xùn)練。在訓(xùn)練過程中，智體科技將動態(tài)約束顯式地整合到各個模塊中，例如：
高層規(guī)劃: 在路徑搜索或策略學(xué)習(xí)過程中，將動態(tài)約束作為限制條件或懲罰項，引導(dǎo)高層規(guī)劃生成滿足約束的路徑意圖和語義元動作序列。
低層規(guī)劃: 在軌跡生成或策略優(yōu)化過程中，將動態(tài)約束作為優(yōu)化目標(biāo)的一部分，例如使用模型預(yù)測控制 (MPC) 或動態(tài)規(guī)劃 (DP) 等方法生成滿足約束的軌跡。
為了進(jìn)一步增強低層規(guī)劃模塊對高層語義信息的理解和利用能力，并提升其在復(fù)雜動態(tài)場景下的適應(yīng)性，智體科技引入了一個名為“多級語義動作推理模塊”(Hierarchical Semantic Action Reasoning Module，HSARM）。HSARM 接收高層規(guī)劃的輸出和低層規(guī)劃所需的上下文信息，并進(jìn)行多級推理，生成更細(xì)粒度、更具針對性的動作序列。
HSARM 的核心是一個多級推理機制，該機制包含以下兩個關(guān)鍵步驟：
語義動作嵌入: HSARM 首先將高層規(guī)劃輸出的抽象動作指令（例如，“左轉(zhuǎn)”、“靠邊停車”或“加速駛?cè)氘?dāng)前車道”）轉(zhuǎn)換為低維稠密向量，智體科技稱之為“語義動作嵌入”（Semantic Action Embedding，SAE）。HSARM 內(nèi)部維護(hù)一個可學(xué)習(xí)的嵌入矩陣，為每個預(yù)定義的動作指令分配一個獨一無二的向量表示。
動態(tài)上下文感知推理: HSARM 利用注意力機制將 SAE 與低層規(guī)劃感知到的車輛自身狀態(tài)、周圍環(huán)境信息以及動態(tài)目標(biāo)信息進(jìn)行融合[5,6,7]。HSARM 根據(jù)融合后的信息，對 SAE 進(jìn)行多級推理，生成更細(xì)粒度、更具針對性的動作序列，例如將“左轉(zhuǎn)”分解為“減速”、“打轉(zhuǎn)向燈”、“查看側(cè)方車輛”、“轉(zhuǎn)向”等一系列更具體的動作。
2.3 RobotActor模塊
RobotActor模塊以UniAD端到端自動駕駛模型[8]為基礎(chǔ)進(jìn)行擴展，HSARM部分輸出的多級語義動作序列會被整合到UniAD模型的輸入中。智體科技將語義動作序列中的每個動作都轉(zhuǎn)換為對應(yīng)的 SAE，并將這些 SAE 與多視角圖像序列、導(dǎo)航命令等信息一同輸入到UniAD模型中。通過這種方式，UniAD模型能夠更好地理解 HSARM部分推理出的細(xì)粒度動作指令，并在生成軌跡時也會將動態(tài)約束作為優(yōu)化目標(biāo)的一部分，以確保最終生成的軌跡滿足安全性、舒適性和交通規(guī)則等方面的要求。實際上，在RobotActor模塊的設(shè)計中，基于HSARM部分最終輸出的方式，UniAD模型完全可以靈活地替代為其他端到端自動駕駛模型。
Robotaxi落地場景理解
智體科技設(shè)計一系列面向Robotaxi規(guī)劃的 QA，從場景描述，動態(tài)目標(biāo)行為預(yù)測以及規(guī)劃解釋這三個維度來輔助 RobotSensor模塊對Robotaxi落地場景的理解，具體來說：
3.1 場景描述: 根據(jù)感知部分提供的語義信息，生成對駕駛場景的文本描述，包括交通狀況、環(huán)境、道路類型、天氣狀況等。這可以幫助系統(tǒng)更全面地理解當(dāng)前的駕駛環(huán)境。
3.2 動態(tài)目標(biāo)行為預(yù)測: 結(jié)合動態(tài)目標(biāo)的歷史軌跡和當(dāng)前狀態(tài)，預(yù)測其未來的行為，例如左轉(zhuǎn)、右轉(zhuǎn)、直行、加速、減速等。這可以幫助系統(tǒng)更好地預(yù)判潛在的風(fēng)險，并做出更安全的決策[9]。
3.3 規(guī)劃解釋: 將高層規(guī)劃模塊生成的元動作序列和低層規(guī)劃模塊生成的軌跡，轉(zhuǎn)換成自然語言描述，解釋系統(tǒng)做出當(dāng)前決策的原因。這可以提高系統(tǒng)的可解釋性，增強Robotaxi的乘客對系統(tǒng)的信任感。
4. 訓(xùn)練策略
為了有效訓(xùn)練RobotSensor模塊中的VLM感知部分，智體科技采用了多階段的訓(xùn)練策略，包括：
預(yù)訓(xùn)練：使用大規(guī)模的圖像-文本數(shù)據(jù)集對 VLM 進(jìn)行預(yù)訓(xùn)練，例如 Conceptual Captions、LAION-5B 等數(shù)據(jù)集。預(yù)訓(xùn)練階段的目標(biāo)是使 VLM 學(xué)習(xí)到通用的視覺和語言表示能力。
駕駛場景微調(diào)：使用智體科技自主規(guī)劃采集的用于訓(xùn)練Robotaxi自動駕駛的高質(zhì)量傳感器數(shù)據(jù)集ZTCVD(ZT City Vision Dataset) 對預(yù)訓(xùn)練的 VLM 進(jìn)行微調(diào)。微調(diào)階段的目標(biāo)是使 VLM 適應(yīng)Robotaxi自動駕駛場景，學(xué)習(xí)到駕駛相關(guān)的語義信息。
自動駕駛數(shù)據(jù)集ZTCVD包含多個區(qū)域的復(fù)雜城市道路上的真實測試場景。該數(shù)據(jù)集涵蓋了從密集的城市中心到郊區(qū)景觀的各種環(huán)境。這個系列由不同的駕駛條件組成，包括城市環(huán)境中經(jīng)歷的天氣、照明、建筑和交通條件的季節(jié)變化。該數(shù)據(jù)集包含上千種駕駛片段，每一片段包含多達(dá)幾十秒的連續(xù)駕駛畫面，數(shù)據(jù)集中的車輛、行人、自行車、標(biāo)識牌等圖像都經(jīng)過精心標(biāo)記，包含多個3D標(biāo)簽和2D標(biāo)簽等。
強化學(xué)習(xí)：使用強化學(xué)習(xí)算法對 VLM 和分層動態(tài)規(guī)劃模塊進(jìn)行進(jìn)一步訓(xùn)練，例如 Proximal Policy Optimization (PPO)、Soft Actor-Critic (SAC) 等算法。強化學(xué)習(xí)階段的目標(biāo)是使 VLM 和分層規(guī)劃模塊學(xué)習(xí)到最優(yōu)的駕駛策略，從而在復(fù)雜動態(tài)環(huán)境中實現(xiàn)安全高效的自動駕駛[10]。
5. 實驗與結(jié)果
5.1 實驗設(shè)置
為了驗證RobotSense框架的有效性，智體科技在多個復(fù)雜場景中進(jìn)行了實驗，包括城市道路、高速公路和交叉路口等，涵蓋了擁堵、稀疏、雨天和夜間等不同交通狀況。實驗使用了nuScenes和Waymo Open Dataset等多模態(tài)數(shù)據(jù)集。
實驗條件：每組實驗均采用相同的環(huán)境設(shè)置，保證公平對比。
對比方法：選擇傳統(tǒng)分層規(guī)劃算法、標(biāo)準(zhǔn)端到端方法以及RobotSense框架進(jìn)行對比分析。
5.2 評估指標(biāo)
以下基于Robotaxi場景的評估指標(biāo)用于全面衡量系統(tǒng)性能：
路徑規(guī)劃誤差：通過均方根誤差（RMSE）評估預(yù)測軌跡與真實軌跡的偏差。
碰撞率：統(tǒng)計車輛與動態(tài)目標(biāo)發(fā)生碰撞的比例。
乘坐舒適度：評估加速度和轉(zhuǎn)向角變化的標(biāo)準(zhǔn)差，以衡量平穩(wěn)性。
遵守交通規(guī)則：通過交通規(guī)則違反次數(shù)，評估車輛對交通規(guī)則的遵從程度。
任務(wù)完成率：衡量車輛是否成功到達(dá)目的地并避開障礙物。
5.3 實驗結(jié)果與分析
實驗結(jié)果表明，RobotSense框架在多個關(guān)鍵指標(biāo)上相較傳統(tǒng)方法有顯著提升：
路徑規(guī)劃誤差：誤差降低了40%，表明系統(tǒng)能夠更準(zhǔn)確地生成軌跡。
碰撞率：降低了45%，顯示出對復(fù)雜動態(tài)環(huán)境更好的適應(yīng)能力。
乘坐舒適度：平穩(wěn)性提高，加速度和轉(zhuǎn)向角變化減少了約30%。
遵守交通規(guī)則：違反次數(shù)較傳統(tǒng)方法減少了20%。
任務(wù)完成率：任務(wù)成功率達(dá)到98%，顯著優(yōu)于傳統(tǒng)方法的89%。
深入分析：
復(fù)雜場景中的表現(xiàn)：RobotSense在交叉路口等高動態(tài)場景中的路徑選擇更加靈活，得益于VLM模塊對環(huán)境的深度理解和HSARM的多級推理。
碰撞率降低的原因：多模態(tài)融合和分層動態(tài)規(guī)劃有效提升了系統(tǒng)對周圍目標(biāo)行為的預(yù)測精度。
不足與挑戰(zhàn)：在極端天氣或罕見場景下，框架的泛化能力仍需進(jìn)一步優(yōu)化。
6. 結(jié)論與展望
RobotSense自動駕駛決策框架以語義驅(qū)動的多模態(tài)融合方法為核心，結(jié)合分層動態(tài)規(guī)劃架構(gòu)，開創(chuàng)了Robotaxi技術(shù)發(fā)展的全新路徑。通過將視覺-語言模型深度嵌入感知與決策流程，該框架不僅在路徑規(guī)劃精度、安全性和乘坐舒適度等方面實現(xiàn)了顯著突破，更在復(fù)雜動態(tài)城市交通場景中展現(xiàn)出卓越的適應(yīng)性和魯棒性，為Robotaxi落地提供了強有力的技術(shù)支撐。實驗結(jié)果進(jìn)一步證明了該框架在多模態(tài)感知、語義推理和軌跡優(yōu)化等關(guān)鍵環(huán)節(jié)上的技術(shù)優(yōu)勢，特別是其在交叉路口等高動態(tài)環(huán)境中的表現(xiàn)，充分驗證了多級語義推理模塊的創(chuàng)新價值。展望未來，RobotSense框架將在數(shù)據(jù)規(guī)模擴展、模型結(jié)構(gòu)優(yōu)化及未見場景的泛化能力提升等方面繼續(xù)迭代，進(jìn)一步強化其在極端條件下的可靠性和實時響應(yīng)能力。與此同時，通過引入輕量化設(shè)計與高效部署策略，該框架將更加契合實際應(yīng)用場景對低延遲、高性能的要求。此外，隨著智能交通技術(shù)的進(jìn)一步融合發(fā)展，RobotSense將作為關(guān)鍵支柱，與行業(yè)合作伙伴共同推動智慧交通生態(tài)的全面升級，助力構(gòu)建高效、安全、可持續(xù)的智能出行新模式。作為聯(lián)想懂的通信AI生態(tài)核心合作伙伴，廣州智體科技將充分利用聯(lián)想懂的通信在AI和物聯(lián)網(wǎng)領(lǐng)域的技術(shù)優(yōu)勢，秉承技術(shù)創(chuàng)新驅(qū)動發(fā)展的理念，繼續(xù)致力于探索和完善該框架，為Robotaxi行業(yè)樹立全新的技術(shù)標(biāo)桿。
References
Hu, Peiyun, et al. "Safe local motion planning with self-supervised freespace forecasting." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.
Jiang, Bo, et al. "Vad: Vectorized scene representation for efficient autonomous driving." Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023.
Chitta, Kashyap, Aditya Prakash, and Andreas Geiger. "Neat: Neural attention fields for end-to-end autonomous driving." Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.
Jiang, Bo, et al. "Senna: Bridging large vision-language models and end-to-end autonomous driving." arXiv preprint arXiv:2410.22313 (2024).
Hafner, Danijar, et al. "Dream to control: Learning behaviors by latent imagination." arXiv preprint arXiv:1912.01603 (2019).
Hu, Anthony, et al. "Model-based imitation learning for urban driving." Advances in Neural Information Processing Systems 35 (2022): 20703-20716.
Khurana, Tarasha, et al. "Differentiable raycasting for self-supervised occupancy forecasting." European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2022.
Hu, Yihan, et al. "Planning-oriented autonomous driving." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023.
Wang, Yuqi, et al. "Driving into the future: Multiview visual forecasting and planning with world model for autonomous driving." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024.
Bojarski, Mariusz, et al. "Explaining how a deep neural network trained with end-to-end learning steers a car." arXiv preprint arXiv:1704.07911 (2017).
