近日,在全球權威的CVPR 2024自動駕駛國際挑戰賽(Autonomous Grand Challenge)中,浪潮信息AI團隊所提交的“F-OCC”算法模型以48.9%的出色成績斬獲占據柵格和運動估計(Occupancy & Flow)賽道第一名。繼22、23年在純視覺和多模態等自動駕駛感知方向,多次登頂nuSences 3D目標檢測榜單後,該AI團隊面向Occupancy技術再一次實現突破,實現了對高度動態及不規則的駕駛場景更精准的3D感知及運動預測。

圖1-浪潮信息AI團隊斬獲占據柵格和運動估計賽道第一名

CVPR 2024自動駕駛國際挑戰賽是國際計算機視覺與模式識別會議(IEEE/CVF Conference on Computer Vision and Pattern Recognition)的一個重要組成部分,專注于自動駕駛領域的技術創新和應用研究。2024年CVPR自動駕駛國際挑戰賽,包含感知、預測、規劃三大方向七個賽道,旨在深入探索自動駕駛領域的前沿課題。

三維感知和預測是自動駕駛領域的新興任務,要求對車輛行駛場景進行細粒度建模,對于提升自動駕駛的環境感知能力有著重要意義。此次浪潮信息AI團隊所登頂的占據柵格和運動估計(Occupancy & Flow)賽道,是CVPR 2024自動駕駛國際挑戰賽最受關注的賽道,聚焦感知任務,吸引了全球17個國家和地區,90余支頂尖AI團隊參與挑戰。比賽提供了基于 nuScenes 數據集的大規模占用柵格數據與評測標准, 要求參賽隊伍利用相機圖像信息對柵格化三維空間的占據情況(Occupancy)和運動(Flow)進行預測,以此來評估感知系統對高度動態及不規則駕駛場景的表示能力。

占據柵格 Occupancy:挑戰更精細的環境感知與預測

道路布局的複雜性、交通工具的多樣性以及行人流量的密集性,是當前城市道路交通的現狀,也是自動駕駛領域面臨的現實挑戰。爲了應對這一挑戰,有效的障礙物識別和避障策略,以及對三維環境的感知和理解就變得至關重要。傳統的三維物體檢測方法通常使用邊界框來表示物體的位置和大小,但對于幾何形狀複雜的物體,這種方法往往無法准確描述其形狀特征,同時也會忽略對背景元素的感知。因此,基于三維邊界框的傳統感知方法已經無法滿足複雜道路環境下的精准感知和預測需求。

圖2 - 針對挖車中的力臂,3D目標檢測算法只能給出挖車整體的輪廓框(左),但占據柵格網絡卻可以更精准地描述挖車具體的幾何形狀這類細節信息(右)

Occupancy Networks(占據柵格網絡) 作爲一種全新的自動駕駛感知算法,通過獲取立體的柵格占據信息,使系統能夠在三維空間中確定物體的位置和形狀,進而有效識別和處理那些未被明確標注或形狀複雜的障礙物,如異形車、路上的石頭、散落的紙箱等。這種占據柵格網絡使得自動駕駛系統能夠更准確地理解周圍的環境,不僅能識別物體,還能區分靜態和動態物體。並以較高的分辨率和精度表示三維環境,對提升自動駕駛系統在複雜場景下的安全性、精度和可靠性至關重要。

全面提升!48.9%的絕佳性能表現,創本賽道最高成績

在占據柵格和運動估計(Occupancy & Flow)賽道中,該AI團隊所提交的“F-OCC”算法模型,憑借先進的模型結構設計、數據處理能力和算子優化能力,實現了該賽道最強模型性能,在RayIoU(基于投射光線的方式評估柵格的占用情況)及mAVE(平均速度誤差)兩個評測指標中均獲得最高成績。

正上方:輸入的環形相機圖像;左下:Occupancy預測真值;右下:Flow預測真值

■ 更簡潔高效的模型架構,實現運算效率與檢測性能雙突破

首先,模型整體選擇基于前向投影的感知架構,並采用高效且性能良好的FlashInternImage模型。同時,通過對整體流程進行超參調優、算子加速等優化,在占據柵格(Occupancy)和運動估計(Flow)均獲得最高分的同時,提升了模型的運算效率,加快了模型叠代與推理速度。在實際應用場景中,這種改進使得模型能夠更快速、高效地處理大規模3D體素數據,使得自動駕駛車輛能更好地理解環境,進而提升決策的准確度和實時性。

圖3 - F-OCC算法模型架構圖

■ 更強大完善的數據處理,全面提升模型檢測能力

在數據處理方面,比賽提供的體素(Voxel)標簽包含了大量在圖像中無法觀測到的點,例如被物體遮擋的體素和物體內部不可見的體素,這些標簽在訓練過程中會對基于圖像數據的預測網絡訓練産生幹擾。在訓練數據中,該AI團隊通過模擬LiDAR光束的方法,生成可視化掩碼,提升了模型的預測精度;另一方面,通過引入感知範圍邊緣的體素點參與訓練,有效解決出現在感知邊緣區域的誤檢問題,將模型的整體檢測性能提升11%。

■ 更精細的3D體素編碼,模型占據預測能力提升超5%

在3D體素特征編碼模塊中,該算法團隊將具有較大感知範圍和編碼能力的可形變卷積操作應用于3D體素數據,以提升3D特征的表示能力。通過使用CUDA對可形變3D卷積(DCN3D)進行實現與優化,大幅提升了模型的運算速度,並有效降低了顯存消耗。通過DCN3D替代傳統3D卷積,模型整體占據預測能力提升超5%。

基于OCC 3D空間感知算法的創新, “F-OCC”算法模型成功登頂占據柵格和運動估計任務(Occupancy & Flow)榜單,以48.9%的出色成績創造了本賽道的最高成績,爲探索更高級別的自動駕駛技術提供了有力的支撐與經驗。未來,浪潮信息AI團隊將踐行多角度切入,發揮算法、算力融合的AI全棧優化能力,推動自動駕駛領域的技術創新發展。

* 備注:文內所涉術語解釋如下

Occupancy:在自動駕駛領域,通常稱爲“占據柵格”或“占用柵格”,其是一種3D語義占用感知方法,通過生成車輛周圍環境的三維占用網格,爲自動駕駛車輛提供障礙物檢測、路徑規劃和車輛控制等關鍵功能;

RayIoU:是指通過光線投射的方式評估占據網格的占用情況(Ray-based Intersection over Union),RayIoU可以用來衡量預測的占據網格與實際占據網格之間的重疊程度。RayIoU越高意味著預測准確度越高,模型性能越好;

mAVE: 是指平均速度誤差(Mean Absolute Velocity Error),其用于評估預測速度與真實速度之間的平均誤差。mAVE值越低意味著預測結果與真值越接近;

體素(Voxel):體積元素(Volume Pixel)的簡稱體積元素(Volume Pixel)的簡稱,其類似于二維圖像中的像素,是構成三維圖像的基本單元。