NVIDIA 編輯推薦

　　在 9 月舉行的 GTC 大會(huì)上,NVIDIA 產(chǎn)品經(jīng)理 Gautham Sholingar 以《合成數(shù)據(jù)生成:加速自動(dòng)駕駛汽車(chē)的開(kāi)發(fā)和驗(yàn)證》為題,完整地介紹了 NVIDIA 過(guò)去一年在長(zhǎng)尾場(chǎng)景訓(xùn)練的最新進(jìn)展和相關(guān)經(jīng)驗(yàn),特別是探討開(kāi)發(fā)者如何使用 DRIVE Replicator 生成多樣化的合成數(shù)據(jù)集,以及準(zhǔn)確的真值數(shù)據(jù)標(biāo)簽,從而加速自動(dòng)駕駛汽車(chē)的開(kāi)發(fā)和驗(yàn)證。該講座內(nèi)容干貨滿滿,引發(fā)了行業(yè)的廣泛關(guān)注和討論。本文對(duì)此次分享的精華內(nèi)容進(jìn)行匯總和整理,以幫助大家更好地了解 DRIVE Replicator,以及自動(dòng)駕駛感知算法的合成數(shù)據(jù)生成。

（ 圖 1 ）

　　在過(guò)去的一年中,NVIDIA 在使用 DRIVE Replicator 生成用于訓(xùn)練自動(dòng)駕駛感知算法的合成數(shù)據(jù)集方面取得了積極的進(jìn)展。圖 1 展示了目前 NVIDIA 正在攻克的一些長(zhǎng)尾場(chǎng)景挑戰(zhàn):

　　1) 第一行左側(cè)圖,倒車(chē)攝像頭附近的弱勢(shì)道路使用者(VRU)。對(duì)于任意自動(dòng)駕駛感知算法而言,VRU 都是一個(gè)重要的對(duì)象類(lèi)別。在本例中,我們專(zhuān)注于檢測(cè)倒車(chē)魚(yú)眼攝像頭附近的兒童。由于現(xiàn)實(shí)世界中的數(shù)據(jù)采集和數(shù)據(jù)標(biāo)記相當(dāng)具有挑戰(zhàn)性,因此這是一個(gè)重要的安全用例。

　　2) 第一行中間圖,事故車(chē)輛檢測(cè)。自動(dòng)駕駛感知算法需要接觸到罕見(jiàn)和不常見(jiàn)的場(chǎng)景,才有助于使對(duì)象檢測(cè)算法變得可靠。現(xiàn)實(shí)世界數(shù)據(jù)集里的事故車(chē)輛少之又少。DRIVE Replicator 可幫助開(kāi)發(fā)人員創(chuàng)建各種環(huán)境條件下的意外事件(例如翻車(chē)),從而幫助訓(xùn)練此類(lèi)網(wǎng)絡(luò)。

　　3) 第一行右側(cè)圖,交通標(biāo)志檢測(cè)。在其他一些情況下,手動(dòng)標(biāo)注數(shù)據(jù)既耗時(shí),又容易出錯(cuò)。DRIVE Replicator 可幫助開(kāi)發(fā)人員生成各種環(huán)境條件下數(shù)百個(gè)交通標(biāo)志和交通信號(hào)燈的數(shù)據(jù)集,并快速訓(xùn)練網(wǎng)絡(luò)以解決現(xiàn)實(shí)世界的多樣性問(wèn)題。

　　4) 最后,在城市環(huán)境中,有許多對(duì)象并不常見(jiàn),例如特定的交通道具和某些類(lèi)型的車(chē)輛。DRIVE Replicator 可幫助開(kāi)發(fā)人員提高數(shù)據(jù)集里這些罕見(jiàn)對(duì)象的出現(xiàn)頻率,并借助目標(biāo)合成數(shù)據(jù)來(lái)幫助增強(qiáng)現(xiàn)實(shí)世界的數(shù)據(jù)采集。

　　以上的這些功能,正在通過(guò) NVIDIA DRIVE Replicator 實(shí)現(xiàn)。

　　了解 DRIVE Replicator 及其關(guān)聯(lián)生態(tài)

　　DRIVE Replicator 是 DRIVE Sim 工具套件的一部分,可用于自動(dòng)駕駛仿真。

　　DRIVE Sim 是 NVIDIA 基于 Omniverse 構(gòu)建的、非常領(lǐng)先的自動(dòng)駕駛汽車(chē)模擬器,可大規(guī)模地進(jìn)行物理精準(zhǔn)的傳感器仿真。開(kāi)發(fā)人員可以在工作站上運(yùn)行可重復(fù)的仿真,然后在數(shù)據(jù)中心或云端擴(kuò)展為批量模式。DRIVE Sim 是基于 USD 等強(qiáng)大的開(kāi)放標(biāo)準(zhǔn)構(gòu)建的模塊化平臺(tái),支持用戶通過(guò) Omniverse 擴(kuò)展程序引入自己的功能。

　　DRIVE Sim 上包括 DRIVE Replicator 等多個(gè)應(yīng)用。DRIVE Replicator 主要提供一系列專(zhuān)注于合成數(shù)據(jù)生成的功能,用于自動(dòng)駕駛汽車(chē)的訓(xùn)練和算法驗(yàn)證。DRIVE Sim 和 DRIVE Constellation 還支持各個(gè)級(jí)別的自動(dòng)駕駛?cè)珬７抡?包括軟件在環(huán)、硬件在環(huán)和其他在環(huán)仿真測(cè)試(模型、植物、人類(lèi),以及更多)。

　　DRIVE Sim 和傳統(tǒng)自動(dòng)駕駛仿真工具的不同之處是在創(chuàng)建合成數(shù)據(jù)集時(shí),傳統(tǒng)的自動(dòng)駕駛仿真工具往往結(jié)合專(zhuān)業(yè)的游戲引擎來(lái)進(jìn)行,來(lái)還原足夠真實(shí)的場(chǎng)景。但是,對(duì)于自動(dòng)駕駛仿真而言,這是遠(yuǎn)遠(yuǎn)不夠的,還需要處理包括物理準(zhǔn)確性、可重復(fù)性和規(guī)模性等核心訴求。

（ 圖 2 ）

　　在進(jìn)一步介紹 DRIVE Replicator 之前,先為大家介紹幾個(gè)關(guān)聯(lián)概念(如圖 2),特別是 Omniverse,以幫助大家更好地理解與 DRIVE Replicator 相關(guān)的底層技術(shù)支撐。

　　第一、了解 NVIDIA 用于大規(guī)模仿真的引擎 Omniverse。Omniverse 基于由 Pixar 公司開(kāi)發(fā)的 USD(Universal Scene Description,一種用于描述虛擬世界的可擴(kuò)展通用語(yǔ)言)而構(gòu)建。USD 是整個(gè)仿真和仿真各個(gè)方面(包括傳感器、3D 環(huán)境)的單一真值數(shù)據(jù)源,這些完全通過(guò) USD 構(gòu)建的場(chǎng)景允許開(kāi)發(fā)人員對(duì)仿真中的每個(gè)元素進(jìn)行分層式的訪問(wèn),為后續(xù)生成多樣化的合成數(shù)據(jù)集奠定基礎(chǔ)。

　　第二、Omniverse 提供實(shí)時(shí)性的光線追蹤效果,可為 DRIVE Sim 中的傳感器提供支持。RTX 是 NVIDIA 在計(jì)算圖形領(lǐng)域重要的先進(jìn)技術(shù)之一,利用優(yōu)化的光線追蹤 API ,該 API 專(zhuān)注于物理準(zhǔn)確性,可確保對(duì)攝像頭、激光雷達(dá)、毫米波雷達(dá)和超聲傳感器的復(fù)雜行為(例如多次反射、多路徑效應(yīng)、滾動(dòng)快門(mén)和鏡頭失真)進(jìn)行原生建模。

　　第三、NVIDIA Omniverse 是一個(gè)易于擴(kuò)展的開(kāi)放式平臺(tái),專(zhuān)為虛擬協(xié)作和物理級(jí)準(zhǔn)確的實(shí)時(shí)模擬打造,能夠在云端或數(shù)據(jù)中心運(yùn)行工作流,可實(shí)現(xiàn)多 GPU 和節(jié)點(diǎn)并行渲染和數(shù)據(jù)生成。

　　第四、Omniverse 和 DRIVE Sim 采用開(kāi)放式、模塊化設(shè)計(jì),圍繞此平臺(tái)已經(jīng)形成了一個(gè)龐大的合作伙伴生態(tài)系統(tǒng)。這些合作伙伴可提供 3D 素材、傳感器、車(chē)輛和交通模型、驗(yàn)證工具等

　　第五、Omniverse 協(xié)作的核心是 Nucleus,Nucleus 具有數(shù)據(jù)存儲(chǔ)和訪問(wèn)控制功能,它能夠充當(dāng)多個(gè)用戶的集中式內(nèi)容倉(cāng)庫(kù),支持 DRIVE Sim 將 Runtime 與內(nèi)容解耦,改善版本控制,并為所有素材、場(chǎng)景和元數(shù)據(jù)創(chuàng)建單個(gè)參考點(diǎn)。

　　DRIVE Sim 是一個(gè)平臺(tái),NVIDIA 采取生態(tài)合作方式來(lái)搭建該平臺(tái),讓合作伙伴都能為這個(gè)通用平臺(tái)貢獻(xiàn)自己的力量。目前 DRIVE Sim 已經(jīng)建立一個(gè)龐大的合作伙伴生態(tài)系統(tǒng),涉及 3D 資產(chǎn)、環(huán)境傳感器模型、驗(yàn)證等多個(gè)領(lǐng)域。借助 DRIVE Sim SDK,合作伙伴可以輕松引入自己的傳感器、交通和車(chē)輛動(dòng)態(tài)模型,并擴(kuò)展其核心仿真功能。開(kāi)發(fā)者不僅能在 Omniverse 中編寫(xiě)擴(kuò)展程序,輕松添加新功能,還能享受到在通用平臺(tái)上進(jìn)行開(kāi)發(fā)的好處——Omniverse 已連接多個(gè)關(guān)鍵合作伙伴,他們提供了與自動(dòng)駕駛開(kāi)發(fā)相關(guān)的重要工作流。

　　如何用 DRIVE Replicator 生成合成數(shù)據(jù)集和真值數(shù)據(jù)

　　接下來(lái),將為大家解釋以上的這些內(nèi)容如何組合起來(lái),以及 DRIVE Replicator 生成合成數(shù)據(jù)的五個(gè)主要工作步驟(如圖 3):Content(內(nèi)容 )— DRIVE Sim Runtime — Sensing(感知)— Randomization(域隨機(jī)化)— Data Writers(數(shù)據(jù)寫(xiě)入器)。

（ 圖 3 ）

　　仿真流程的第一步是存儲(chǔ)在 Nucleus 服務(wù)器上的 3D 內(nèi)容和素材。這些素材會(huì)被傳送至 DRIVE Sim Runtime,后者是執(zhí)行場(chǎng)景、交通模型、車(chē)輛動(dòng)態(tài)和行為的核心技術(shù)。DRIVE Sim Runtime 可與基于 RTX 光線追蹤技術(shù)的攝像頭、激光雷達(dá)、毫米波雷達(dá)和 USS 的感知技術(shù)結(jié)合使用。下一步是通過(guò)運(yùn)動(dòng)、行為、照明和外觀的隨機(jī)化,為數(shù)據(jù)引入多樣性。對(duì)于閉環(huán)仿真,下一步通常由傳感器協(xié)議、CAN 消息和虛擬 ECU(向自動(dòng)駕駛棧發(fā)送重要信息以閉環(huán))組成的車(chē)輛 I/O 將仿真連接到自動(dòng)駕駛棧。

　　對(duì)于合成數(shù)據(jù)生成,這則是一個(gè)開(kāi)放的循環(huán)流程,這個(gè)流程會(huì)將隨機(jī)化的傳感器數(shù)據(jù)發(fā)送給數(shù)據(jù)寫(xiě)入器,而這些數(shù)據(jù)寫(xiě)入器可輸出用于訓(xùn)練自動(dòng)駕駛感知算法的真值標(biāo)簽。以上的這些步驟代表了合成數(shù)據(jù)生成的完整工作流。

　　1. Content(內(nèi)容)

　　上文提到,仿真流程的第一步是存儲(chǔ)在 Nucleus 服務(wù)器上的 3D 內(nèi)容和素材。這些內(nèi)容來(lái)源于哪里?如何獲取?有什么標(biāo)準(zhǔn)或者要求?

　　過(guò)去幾年,NVIDIA 與多個(gè)內(nèi)容合作伙伴合作,建立了一個(gè)龐大的 3D 資產(chǎn)提供商生態(tài)系統(tǒng),這些素材包括車(chē)輛、道具、行人、植被和 3D 環(huán)境,隨時(shí)可在 DRIVE Sim 中使用。

　　有一點(diǎn)需要注意的是,即便您從市場(chǎng)上獲得了這些資產(chǎn),也不意味著就可以開(kāi)始仿真工作,您還需要讓這些資產(chǎn)為仿真做好準(zhǔn)備,而這就是 SimReady 的用武之地。

　　擴(kuò)展內(nèi)容的一個(gè)重要部分是與 3D 資產(chǎn)提供商合作,并為他們提供所需的工具,以確保在將資產(chǎn)引入 DRIVE Sim 時(shí)遵循某些約定、命名、資產(chǎn)綁定(asset rigging)、語(yǔ)義標(biāo)簽(semantic labels)和物理特性。

　　SimReady Studio 幫助內(nèi)容提供商將其現(xiàn)有的資產(chǎn)轉(zhuǎn)換可以加載到 DRIVE Sim 上、仿真就緒的 USD 資產(chǎn),包括 3D 環(huán)境、動(dòng)態(tài)資產(chǎn)和靜態(tài)道具。

　　那么,什么是 SimReady?您可以理解為它是一個(gè)轉(zhuǎn)換器,有助于確保 DRIVE Sim 和 Replicator 中的 3D 資產(chǎn)準(zhǔn)備好支持端到端的模擬工作流程。SimReady 有幾個(gè)關(guān)鍵要素,包括:

　　1) 每項(xiàng)資產(chǎn)必須遵循一套關(guān)于方向、命名、幾何形狀等約定的規(guī)范,以確保一致性;

　　2) 語(yǔ)義標(biāo)簽和定義明確的本體(ontology),用于注釋資產(chǎn)的每個(gè)元素。這對(duì)于生成用于感知的真值標(biāo)簽至關(guān)重要;

　　3) 支持剛體物理和動(dòng)力學(xué),使生成的數(shù)據(jù)集看起來(lái)逼真,并從運(yùn)動(dòng)學(xué)角度縮小仿真與現(xiàn)實(shí)之間的差距;

　　4) 下一步是確保資產(chǎn)遵循特定的材料和命名約定,以確保資產(chǎn)為 RTX 光線追蹤做好準(zhǔn)備,并對(duì)激光雷達(dá)、毫米波雷達(dá)和超聲波傳感器等有源傳感器產(chǎn)生真實(shí)的響應(yīng);

　　5) 另一個(gè)常見(jiàn)方面是裝配 3D 資產(chǎn),從而實(shí)現(xiàn)照明變化、門(mén)驅(qū)動(dòng)、行人步行操作等功能;

　　6) 最后一部分是實(shí)時(shí)高保真?zhèn)鞲衅鞣抡娴男阅軆?yōu)化。

　　基于以上的理解,一起來(lái)看看如何使用 SimReady studio 獲取可用于 DRIVE Sim 的資產(chǎn)的過(guò)程。

　　假設(shè)這個(gè)過(guò)程是從 3D 市場(chǎng)購(gòu)入資產(chǎn)開(kāi)始。第一步是將此資產(chǎn)導(dǎo)入到 SimReady Studio。這也可以批量完成,或者批量導(dǎo)入多個(gè)資產(chǎn)來(lái)完成這個(gè)步驟。

　　導(dǎo)入后,這些內(nèi)容資產(chǎn)的材質(zhì)名稱(chēng)會(huì)更新,它們的材質(zhì)屬性也會(huì)更新,拓展至包含反射率、粗糙度等方面的屬性。

　　這對(duì)于確保渲染數(shù)據(jù)質(zhì)量的物理真實(shí)性,以及確保材質(zhì)系統(tǒng)與所有 RTX 傳感器類(lèi)型(而不僅僅是在可見(jiàn)光譜中運(yùn)行的傳感器類(lèi)型)的交互非常重要。

　　下一步涉及更新語(yǔ)義標(biāo)簽和標(biāo)記。為什么這一步很重要?擁有正確的標(biāo)簽意味著使用資產(chǎn)生成的數(shù)據(jù)可用于訓(xùn)練 AV 算法。此外,DRIVE Sim 和 Omniverse 使用 Nucleus 作為中央資產(chǎn)存儲(chǔ)庫(kù)。Nucleus 上有數(shù)以千計(jì)的內(nèi)容資產(chǎn),擁有可搜索的標(biāo)簽以及相關(guān)的縮略圖將幫助新用戶更容易找到某個(gè)資產(chǎn)。

　　接下來(lái),開(kāi)始定義對(duì)象的碰撞體積和幾何形狀,并從物理角度觀察該內(nèi)容資產(chǎn)的行為方式。然后修改對(duì)象的物理和質(zhì)量屬性,從而來(lái)創(chuàng)建預(yù)期的行為。

　　整個(gè)過(guò)程的最后一步是驗(yàn)證資產(chǎn),以確保這些內(nèi)容資產(chǎn)符合正確的約定。仿真就緒的 USD 資產(chǎn)現(xiàn)在可以保存并重新導(dǎo)入至 NVIDIA Omniverse 和 DRIVE Sim。通過(guò) USD 構(gòu)建場(chǎng)景的最大優(yōu)點(diǎn)是,在前面的步驟中創(chuàng)建的所有元數(shù)據(jù)都與最終資產(chǎn)一起傳輸,并分層鏈接到主要對(duì)象的 USD,為后續(xù)生成多樣化的合成數(shù)據(jù)集奠定基礎(chǔ)。

（ 圖 4 ）

　　回到自動(dòng)駕駛汽車(chē)仿真內(nèi)容創(chuàng)建,從地圖數(shù)據(jù)創(chuàng)建環(huán)境通常有幾種方法(見(jiàn)圖 4)。一種是選擇使用 MathWorks 的 Roadrunner 工具在一個(gè)開(kāi)放的 NVIDIA DRIVE map(多模式地圖平臺(tái))上創(chuàng)建 3D 環(huán)境。然后將該步驟的輸出結(jié)果,以及語(yǔ)義地圖信息、信號(hào)時(shí)序等傳輸?shù)?SimReady Studio ,該 3D 環(huán)境即可轉(zhuǎn)換為可以加載到 DRIVE Sim 上的 USD 資產(chǎn)。

　　另一種選擇,使用來(lái)自自動(dòng)駕駛車(chē)隊(duì)的體素地圖數(shù)據(jù)并提取語(yǔ)義地圖信息,例如車(chē)道、路標(biāo)和其他元數(shù)據(jù)。這些信息通過(guò)數(shù)字孿生創(chuàng)建,生成可以加載到 DRIVE Sim 上的 USD 資產(chǎn)。

　　以上兩類(lèi)的 USD 環(huán)境,將被用于支持自動(dòng)駕駛汽車(chē)端到端(E2E)仿真測(cè)試以及合成數(shù)據(jù)生成工作流。

　　2. DRIVE Sim Runtime

　　接下來(lái)為大家介紹仿真的第二步——DRIVE Sim Runtime,它奠定了我們?cè)?DRIVE Replicator 中用于生成合成數(shù)據(jù)集的所有功能的基礎(chǔ)。

　　DRIVE Sim Runtime 是開(kāi)放式、模塊化的可擴(kuò)展組件。這在實(shí)踐中意味著什么(見(jiàn)圖 5)?

　　第一、它基于場(chǎng)景構(gòu)建,在這些場(chǎng)景中開(kāi)發(fā)者可定義場(chǎng)景中的對(duì)象的特定位置、運(yùn)動(dòng)和交互。這些場(chǎng)景可在 Python 中或使用場(chǎng)景編輯器 UI 進(jìn)行定義,并可以保存以供日后使用。

　　第二、它支持通過(guò) DRIVE Sim SDK 與自定義車(chē)輛動(dòng)態(tài)包集成,既可以作為流程中的步驟,也可以作為與 DRIVE Sim 2.0 的共同仿真。

　　第三、交通模型。DRIVE Sim 擁有豐富的車(chē)輛模型界面,借助 Runtime,開(kāi)發(fā)者可以引入自己的車(chē)輛動(dòng)態(tài)或配置現(xiàn)有的基于規(guī)則的交通模型。

　　第四、動(dòng)作系統(tǒng),其中包含預(yù)定義的豐富動(dòng)作庫(kù)(例如車(chē)道變更)、可用于創(chuàng)建不同對(duì)象相互交互場(chǎng)景的時(shí)間觸發(fā)器等。

（ 圖 5 ）

　　到這里簡(jiǎn)單回顧一下前面的內(nèi)容:仿真流程第一步,經(jīng)過(guò) SimReady 轉(zhuǎn)化的、仿真就緒的 3D 內(nèi)容和素材,被存儲(chǔ)在 Nucleus 服務(wù)器上。第二步,這些素材會(huì)被傳送至 DRIVE Sim Runtime,后者是執(zhí)行場(chǎng)景、交通模型、車(chē)輛動(dòng)態(tài)和行為的核心技術(shù),為后面生成合成數(shù)據(jù)集的所有功能奠定基礎(chǔ)。

　　3. Sensing(感知)

　　在生成數(shù)據(jù)之前,需使用傳感器來(lái)設(shè)置目標(biāo)測(cè)試車(chē)輛。使用 Ego Configurator 工具,開(kāi)發(fā)者可選擇特定車(chē)輛并將其添加到場(chǎng)景中。

　　此外,開(kāi)發(fā)者還可以在場(chǎng)景中移動(dòng)車(chē)輛,并為車(chē)輛添加傳感器。Ego 配置器工具支持通用和 Hyperion 8 傳感器。

　　將傳感器添加到車(chē)輛后,開(kāi)發(fā)者還可以更改 FOV、分辨率、傳感器名稱(chēng)等參數(shù),并在車(chē)輛上直觀地配置傳感器位置。

　　用戶還可以從傳感器 POV 中查看預(yù)覽,并在 3D 環(huán)境中實(shí)現(xiàn)視野可視化,然后再創(chuàng)建數(shù)據(jù)生成場(chǎng)景。

　　這個(gè)工具可以幫助開(kāi)發(fā)者快速進(jìn)行不同配置的原型設(shè)計(jì),并將感知任務(wù)所能達(dá)到的覆蓋范圍可視化。

　　4. Randomization(域隨機(jī)化)

　　現(xiàn)在簡(jiǎn)要介紹一下仿真流程的第四步,域隨機(jī)化,如何通過(guò)運(yùn)動(dòng)、行為、照明和外觀的隨機(jī)化,為數(shù)據(jù)引入多樣性。

　　這會(huì)涉及到創(chuàng)建場(chǎng)景的另一種方法,使用 Python。DRIVE Replicator 的 Python API 允許開(kāi)發(fā)者查詢(xún)開(kāi)放的 NVIDIA DRIVE Map,并以可感知情景的方式放置一系列靜態(tài)和動(dòng)態(tài)資產(chǎn)。一些隨機(jī)發(fā)生器將重點(diǎn)關(guān)注如何將自主車(chē)輛從某一點(diǎn)傳送到下一點(diǎn),如何在自主車(chē)輛周?chē)a(chǎn)生對(duì)象,并由此生成不同的合成數(shù)據(jù)集。這些聽(tīng)起來(lái)很復(fù)雜的操作都能輕松實(shí)現(xiàn),因?yàn)橛脩艨梢灾苯涌刂?USD 場(chǎng)景和該環(huán)境中的所有對(duì)象。

　　在創(chuàng)建用于訓(xùn)練的合成數(shù)據(jù)集時(shí),另一個(gè)重要步驟是引入 3D 場(chǎng)景外觀變化的能力。上文也提到過(guò) USD 的強(qiáng)大功能,比如通過(guò) USD 構(gòu)建的場(chǎng)景允許開(kāi)發(fā)人員對(duì)仿真中的每個(gè)元素進(jìn)行分層式的訪問(wèn)。SimReady 的API 借助 USD 可以快速設(shè)置場(chǎng)景中的特征。

　　下面看一個(gè)示例(見(jiàn)圖 6):路面有些濕,但在我們?cè)O(shè)置不同的參數(shù)時(shí),路面潮濕程度會(huì)發(fā)生變化。我們可以對(duì)太陽(yáng)方位角和太陽(yáng)高度角等方面進(jìn)行類(lèi)似的更改,以在一系列環(huán)境條件下生成逼真的數(shù)據(jù)集。

　　另一個(gè)要點(diǎn)是開(kāi)啟照明和外觀變化的能力,所有的這些變化都可以通過(guò) SimReady API 和 USD 實(shí)現(xiàn)。

（ 圖 6 ）

　　DRIVE Sim 的一個(gè)主要優(yōu)勢(shì)是 RTX 傳感器工作流,它支持各種傳感器(見(jiàn)圖 7),包括用于攝像頭、激光雷達(dá)、普通雷達(dá)和 USS 的通用和現(xiàn)成模型。此外,DRIVE Sim 還全面支持 NVIDIA DRIVE Hyperion 傳感器套件,允許用戶在虛擬環(huán)境中開(kāi)始算法開(kāi)發(fā)和驗(yàn)證工作。

　　此外,DRIVE Sim 擁有功能強(qiáng)大、用途多樣的 SDK,支持合作伙伴使用 NVIDIA 的光線追蹤 API 來(lái)實(shí)現(xiàn)復(fù)雜的傳感器模型,同時(shí)保護(hù)其 IP 和專(zhuān)有算法。多年來(lái),這個(gè)生態(tài)系統(tǒng)不斷發(fā)展壯大,而且 NVIDIA 正與合作伙伴合作,將成像雷達(dá)、FMCW 激光雷達(dá)等新形態(tài)的傳感器引入到 DRIVE Sim 中。

（ 圖 7 ）

　　5. Data Writers(數(shù)據(jù)寫(xiě)入器)

　　現(xiàn)在,把重點(diǎn)轉(zhuǎn)移到生成真值數(shù)據(jù),以及如何實(shí)現(xiàn)這些信息的可視化。這涉及到仿真流程的最后一個(gè)步驟,數(shù)據(jù)寫(xiě)入器。在這個(gè)流程中,會(huì)將隨機(jī)化的傳感器數(shù)據(jù)發(fā)送給數(shù)據(jù)寫(xiě)入器,而這些數(shù)據(jù)寫(xiě)入器可輸出用于訓(xùn)練自動(dòng)駕駛感知算法的真值標(biāo)簽。

　　數(shù)據(jù)寫(xiě)入器是一個(gè) Python 腳本,用于生成訓(xùn)練自動(dòng)駕駛感知算法所需的真值標(biāo)簽。

　　NVIDIA DRIVE Replicator 配有模板寫(xiě)入器,例如基礎(chǔ)寫(xiě)入器和 KITTI 寫(xiě)入器。

　　其中,基礎(chǔ)寫(xiě)入器涵蓋了廣泛的真實(shí)數(shù)據(jù)標(biāo)簽,包括對(duì)象類(lèi)、2D 和 3D 中的緊密和松散邊界框、語(yǔ)義和實(shí)例掩碼、深度輸出、遮擋、法線等。

　　類(lèi)似地,也有激光雷達(dá)/普通雷達(dá)寫(xiě)入器,可用于將激光點(diǎn)云數(shù)據(jù)導(dǎo)出為 numpy 數(shù)組,或?qū)㈦S邊界框、語(yǔ)義和對(duì)象標(biāo)簽一起導(dǎo)出為任何相關(guān)的自定義格式。

　　這些寫(xiě)入器可為開(kāi)發(fā)者提供示例,可根據(jù)自定義標(biāo)記格式配置自己的寫(xiě)入器,并擴(kuò)展數(shù)據(jù)生成工作。

　　最后,為大家介紹一款令人興奮的軟件,Omniverse 團(tuán)隊(duì)傾力打造的 Replicator Insight。

　　Replicator Insight 是一款基于 Omniverse Kit 構(gòu)建的獨(dú)立應(yīng)用程序,可用于檢查渲染的合成數(shù)據(jù)集,并疊加用于訓(xùn)練的各種真值標(biāo)簽。

　　Replicator Insight 可支持所有合成數(shù)據(jù)的生成用例,包括 DRIVE、Isaac 和 Omniverse Replicator。

　　下面來(lái)看一個(gè)示例(見(jiàn)圖 8):用戶可以在這個(gè)可視化工具中加載 DRIVE Replicator 生成的數(shù)據(jù),并為場(chǎng)景中的不同對(duì)象類(lèi)別開(kāi)啟和關(guān)閉不同的真值標(biāo)簽。

（ 圖 8 ）

　　借助這個(gè)可視化工具,用戶可以播放視頻、梳理數(shù)據(jù)集,甚至可以在深度和 RGB 數(shù)據(jù)等不同視圖之間進(jìn)行比較。

　　用戶還可以更改播放幀率和深度范圍等參數(shù),或者在自動(dòng)駕駛汽車(chē)訓(xùn)練前快速將數(shù)據(jù)集可視化。

　　這將幫助開(kāi)發(fā)者輕松理解新的真值標(biāo)簽類(lèi)型和解析復(fù)雜的數(shù)據(jù)集。

　　總的來(lái)說(shuō),這是一款功能強(qiáng)大的工具,讓用戶在每次查看數(shù)據(jù)時(shí)都能獲得新的見(jiàn)解,不管這些數(shù)據(jù)是真實(shí)的還是合成的。

　　小結(jié)

　　以上,總結(jié)了 DRIVE Replicator 過(guò)去一年的最新發(fā)展,并分享了開(kāi)發(fā)者可以如何借助 DRIVE Replicator 生成多樣化的合成數(shù)據(jù)集,以及準(zhǔn)確的真值數(shù)據(jù)標(biāo)簽,從而加速自動(dòng)駕駛汽車(chē)的開(kāi)發(fā)和驗(yàn)證。NVIDIA 在為各種現(xiàn)實(shí)世界用例生成高質(zhì)量的傳感器數(shù)據(jù)集方面取得了令人欣喜的進(jìn)展,期待后續(xù)與大家進(jìn)一步交流!

　　關(guān)于 NVIDIA

　　自1993年成立以來(lái),NVIDIA (NASDAQ: NVDA) 一直是加速計(jì)算領(lǐng)域的先驅(qū)。NVIDIA 1999年發(fā)明的GPU驅(qū)動(dòng)了PC游戲市場(chǎng)的增長(zhǎng),并重新定義了現(xiàn)代計(jì)算機(jī)圖形,開(kāi)啟了現(xiàn)代AI時(shí)代,推動(dòng)了元宇宙的創(chuàng)建。NVIDIA現(xiàn)在是一家全棧計(jì)算公司,其數(shù)據(jù)中心規(guī)模的產(chǎn)品正在重塑整個(gè)行業(yè)。