作者 | Jessie
出品 | 焉知
當(dāng)前，智能駕駛AI識別領(lǐng)域高速發(fā)展，人工智能商業(yè)化在算力、算法和技術(shù)方面，基本達(dá)到階段性成熟，應(yīng)用控制能力落地不斷加速。通過算法和應(yīng)用的落地來真正解決行業(yè)具體痛點，需要采集大量人工智能相關(guān)的原始數(shù)據(jù)，并經(jīng)過標(biāo)注處理后做算法訓(xùn)練支撐。
落地場景對AI數(shù)據(jù)的需求更加多樣化和定制化，也對AI數(shù)據(jù)服務(wù)的專業(yè)性和質(zhì)量提出了更高的要求。以車載攝像頭識別的機視覺圖像處理為例，一個新場景的開發(fā)支持需要上萬張甚至數(shù)十萬張不等的經(jīng)過采集和標(biāo)注的圖片。隨著AI應(yīng)用場景的豐富，對AI數(shù)據(jù)服務(wù)將產(chǎn)生長期海量的需求。
眾所周知，先進(jìn)的自動駕駛技術(shù)以有監(jiān)督的深度學(xué)習(xí)為主，算法模型訓(xùn)練對數(shù)據(jù)有極高要求，隨著自動駕駛企業(yè)路測里程不斷累積，產(chǎn)生了大量多元場景化數(shù)據(jù)。其中要求對車輛傳感器采集到的大量交通數(shù)據(jù)進(jìn)行清洗、分類、標(biāo)注。其中包括車道線標(biāo)注，可行駛區(qū)域語義分割，車輛、非機動車、行人、車庫拉框標(biāo)注，車輛3D拉框，視頻標(biāo)注、3D激光點云標(biāo)注等在內(nèi)的多種標(biāo)注服務(wù)。
可以說數(shù)據(jù)決定了 AI 的落地程度，而數(shù)據(jù)采集這一過程對技術(shù)、規(guī)模、專業(yè)度都要求較高。原因主要有以下3方面：
人工智能數(shù)據(jù)的獲取有安全合規(guī)要求，需授權(quán)主機廠合法的采集和訓(xùn)練權(quán)限，若濫用或通過非法手段獲取，易產(chǎn)生法務(wù)風(fēng)險。這里且不說在專業(yè)繪圖的地圖公司進(jìn)行相應(yīng)的數(shù)據(jù)采集繪圖也是需要專業(yè)資質(zhì)，即便是大型主機廠在做類似影子模式或道路測試標(biāo)定過程中，對于數(shù)據(jù)的采集也是受限的。
訓(xùn)練數(shù)據(jù)的質(zhì)量嚴(yán)重影響算法有效性，需要強有力的人員管理和質(zhì)檢手段，確保數(shù)據(jù)質(zhì)量一致性，有效保障數(shù)據(jù)質(zhì)量。
采集的數(shù)據(jù)需要整體科學(xué)的項目管理流程，建立合適的數(shù)據(jù)采集、標(biāo)注團(tuán)隊模式，且需要一套完整的工具和流程支撐，確保數(shù)據(jù)處理效率充分得到保障。
對于基于數(shù)據(jù)AI開發(fā)者數(shù)據(jù)平臺而言，包含缺陷挖掘、模型迭代、數(shù)據(jù)管理幾個部分，整個數(shù)據(jù)采集標(biāo)定過程由于計算資源龐大，一般可基于云端管理單元進(jìn)行計算和資源分配。
本文將系統(tǒng)的講解智能駕駛系統(tǒng)開發(fā)過程中的數(shù)據(jù)采集流程、標(biāo)注及如何應(yīng)用于仿真測評及性能提升。
數(shù)據(jù)采集標(biāo)注平臺從下至上包括基礎(chǔ)（數(shù)據(jù)）層、加工（工具）層、中間（流程）層、應(yīng)用層幾個層級，而整個過程通過數(shù)據(jù)管理和數(shù)據(jù)存儲可有效地應(yīng)用于場景重構(gòu)與數(shù)據(jù)訓(xùn)練模型。
數(shù)據(jù)采集處理的完成流程包括原始數(shù)據(jù)采集、特征數(shù)據(jù)標(biāo)注、場景數(shù)據(jù)分類、基礎(chǔ)數(shù)據(jù)管理、模型數(shù)據(jù)訓(xùn)練幾大部分。這里需要說明的是數(shù)據(jù)采集和需要標(biāo)注的數(shù)據(jù)需求主要來源于智能駕駛系統(tǒng)的場景感知能力需求。標(biāo)注的模型主要用于在測試匹配驗證階段進(jìn)行問題分析及原因追溯。標(biāo)注的方式通常采用視頻圖像框選進(jìn)行，可助力圖像識別模型訓(xùn)練，用于框選視頻圖像中的識別主體目標(biāo)，常見于對人臉、人體、障礙物、紅綠燈的框選。
智能駕駛中的數(shù)據(jù)采集分析軟件，需要首先支持將CAN、LIN、Ethernet 等總線數(shù)據(jù)同步匯集， 并加入視頻、GPS 以及各種傳感器等數(shù)據(jù)，以便支撐后續(xù)的場景分析、算法訓(xùn)練等。同時智能駕駛的算法開發(fā)驗證也需要大量的數(shù)據(jù)，數(shù)據(jù)采集硬件端需要提供開放的平臺接口及其所需的數(shù)據(jù)接口。這里的數(shù)據(jù)采集主要指基于攝像頭、Lidar、4D毫米波雷達(dá)的環(huán)境識別，采集流程包括需求分析、制定采集方案、獲取數(shù)據(jù)、數(shù)據(jù)加工、標(biāo)準(zhǔn)化數(shù)據(jù)輸出、可用數(shù)據(jù)驗收幾個大的方面。采集的數(shù)據(jù)類型通常包括語音、圖像、多模態(tài)數(shù)據(jù)。
數(shù)據(jù)采集設(shè)備通常包括工控機、車機、電腦及處理芯片。
工控機：
主要功能是進(jìn)行數(shù)據(jù)搜集，一般需要支持多路圖像（可自定義4-6路）和一路語音錄制；
車機/中央域控：
主要功能是進(jìn)行處理圖像的即時顯示，一般需要支持IR+RGB圖像及語音錄制，支持多路模態(tài)數(shù)據(jù)；
本地計算機：
主要是對采集回來的數(shù)據(jù)進(jìn)行線下標(biāo)注，一般需要支持對單路語音或圖像的時間戳對齊。
數(shù)據(jù)采集平臺需要采用靈活的主機選擇，從邊緣傳感器融合再到傳感器信號旁通，從中央數(shù)據(jù)采集到數(shù)據(jù)存儲陣列，不同的組合可以滿足開發(fā)過程中不同的應(yīng)用需求。
采集數(shù)據(jù)標(biāo)注過程分析
數(shù)據(jù)標(biāo)注涉及圖像、點云等各種不同輸入傳感器數(shù)據(jù)類型，標(biāo)注過程包括提起標(biāo)注需求、注入標(biāo)注方案，實際數(shù)據(jù)標(biāo)注（包括數(shù)據(jù)清洗、數(shù)據(jù)評估、數(shù)據(jù)提取、數(shù)據(jù)分析），最后通過數(shù)據(jù)審核，則生成相應(yīng)的數(shù)據(jù)標(biāo)注結(jié)果，可用于下載。其中，數(shù)據(jù)標(biāo)注過程需要滿足一定的要求和原則，包括如下：
對于在AI賦能下的自動駕駛的具體應(yīng)用主要有以下幾種：
1、2D框標(biāo)注，應(yīng)用于對車輛與行人的基礎(chǔ)識別，即標(biāo)注出騎行的人，步行的人，汽車等；
2、3D立方體標(biāo)注，對車輛進(jìn)行區(qū)域標(biāo)注及分類標(biāo)注，應(yīng)用于對車輛類型的識別，例如面包車、卡車、大客車、小轎車等，訓(xùn)練自動駕駛，在道上選擇性跟車或者變道操作；
3、點云標(biāo)注，對3D激光雷達(dá)點云進(jìn)行標(biāo)注；
4、多段線標(biāo)注，車道線標(biāo)注：一種對道路地面標(biāo)線進(jìn)行的綜合標(biāo)注，包括區(qū)域標(biāo)注、分類標(biāo)注及語義標(biāo)注，應(yīng)用于訓(xùn)練自動駕駛，根據(jù)車道規(guī)則進(jìn)行行駛。
針對如上的標(biāo)注方式，需要說明的是在自動駕駛設(shè)計過程中，我們更加關(guān)注對于3維目標(biāo)障礙物的識別，常用的檢測方式是采取激光雷達(dá)或4D毫米波雷達(dá)進(jìn)行目標(biāo)檢測。檢測結(jié)果通過如上2D或3D進(jìn)行點云標(biāo)注，其中3D點云標(biāo)注主要應(yīng)用于基于激光雷達(dá)或4D高分辨率毫米波雷達(dá)的訓(xùn)練，針對自動駕駛主要場景而言應(yīng)用先進(jìn)的標(biāo)注工具，可對3D障礙物進(jìn)行框選、對雷達(dá)圖進(jìn)行語義分割，對于環(huán)境中的三維模型或障礙物實現(xiàn)更好的識別分類。另一種標(biāo)注方式是進(jìn)行2D3D融合標(biāo)注，借助先進(jìn)的標(biāo)注工具，可對環(huán)境中的二維和三維數(shù)據(jù)參照是否具備明顯的深度信息，圖像的形狀模型信息同時確定進(jìn)行聯(lián)合標(biāo)注。幫助車輛實現(xiàn)視覺和雷達(dá)的感知，可應(yīng)用于自動駕駛場景的訓(xùn)練落地。
5、語義分割，對圖片中的不同區(qū)域進(jìn)行分割標(biāo)注：這些類可能是行人，車輛，建筑物，天空，植被等等。例如，語義分割可以幫助SDCs(自動駕駛車輛)識別一個圖片中的可行駛區(qū)域。
圖像語義分割是基于區(qū)域的多邊形標(biāo)注，對復(fù)雜不規(guī)則的圖片進(jìn)行區(qū)域劃分并標(biāo)注對應(yīng)屬性，助力圖像識別模型訓(xùn)練，多應(yīng)用于人體分割、場景分割和自動駕駛道路分割。
6、視頻跟蹤標(biāo)注，跟蹤標(biāo)注視頻中行駛的車輛，是將視覺數(shù)據(jù)按照圖片幀抓取進(jìn)行標(biāo)框標(biāo)注，標(biāo)注后的圖片幀按照順序重新組合成視頻數(shù)據(jù)訓(xùn)練自動駕駛。
視頻跟蹤標(biāo)注又稱為連續(xù)幀標(biāo)注，常用于自動駕駛及視頻圖像識別模型的訓(xùn)練，通常應(yīng)用于下一代自動駕駛圖像識別場景的幀率較高如果在識別分類過程中對每一幀圖像都進(jìn)行目標(biāo)物標(biāo)注，則會導(dǎo)致在模型訓(xùn)練中存在較大的計算量，常用的方法是通過對視頻進(jìn)行抽幀注，并抽取的每一幀圖片中的目標(biāo)物體進(jìn)行連續(xù)標(biāo)注，不僅可以大大降低運算量，又可以降低識別標(biāo)注的難度，增強標(biāo)注的效率。
此外，對于智能座艙內(nèi)部的駕駛員監(jiān)控平臺而言，要識別駕駛員的面部表情、神態(tài)、疲勞程度、注意力程度、人臉分析，就需要對駕駛員形態(tài)進(jìn)行精確識別，將人臉部分骨骼進(jìn)行打點分析，并基于所打點的部分進(jìn)行標(biāo)注，標(biāo)注后的圖像可很好的助力于圖像識別模型訓(xùn)練。
數(shù)據(jù)采集后端除開可進(jìn)行模型訓(xùn)練外，還可以進(jìn)行場景仿真。仿真的輸入包含基于自然采集數(shù)據(jù)統(tǒng)計參數(shù)范圍，通過open工具可大規(guī)模生成測試場景。在滿足上述場景測試需求的同時，隨著系統(tǒng)及場景復(fù)雜性要求，由于自動駕駛功能的設(shè)計缺陷及可合理預(yù)見的人員誤用導(dǎo)致產(chǎn)生預(yù)期功能安全問題愈發(fā)嚴(yán)重，針對預(yù)期功能安全設(shè)計場景庫已成為自動駕駛系統(tǒng)驗證的重中之重。最終從宏觀層面，保證測試場景的多源異構(gòu)，場景數(shù)據(jù)涉及不同城市、不同地域，并具體到不同自動駕駛功能ODD范圍。微觀層面，依托真實駕駛數(shù)據(jù)，確保場景內(nèi)元素取值的真實性與合理性。
通過采集的不同場景數(shù)據(jù)，基于場景提取原則，確定關(guān)鍵場景生成元素，建立場景生成及篩選機制，產(chǎn)生高效、合理且典型的場景，通過軟件匹配，可以確保由參數(shù)范圍生成測試場景的有效性。測試驗證自動駕駛功能在危險工況下的性能表現(xiàn)，旨在將危險場景通過自動駕駛功能的合理設(shè)計和迭代升級轉(zhuǎn)換成安全場景，降低事故發(fā)生率。同時，考慮數(shù)據(jù)采集管理階段充分考慮場景中的各元素，從海量測試場景中選取高質(zhì)量代表性場景，在算法調(diào)試和功能驗證階段節(jié)省測試時間，加速測試驗證過程。計算單個測試場景的復(fù)雜程度，選取代表性典型場景，剔除冗余和低質(zhì)量場景。通過數(shù)據(jù)驅(qū)動的方式，尋找采集場景數(shù)據(jù)中難以獲取的邊角場景，保證對自動駕駛系統(tǒng)驗證的全面性要求。以自然駕駛場景數(shù)據(jù)為基礎(chǔ)，通過統(tǒng)計學(xué)合理外推（例如：μ+3σ原則），尋找現(xiàn)實生活中難以發(fā)現(xiàn)的低概率場景。采用高維搜索與自延展學(xué)習(xí)理論，實現(xiàn)已知不安全場景庫的構(gòu)建，通過建立搜索約束和加速搜索邏輯擴大已知不安全場景庫，縮小未知不安全領(lǐng)域，確保自動駕駛系統(tǒng)的安全性要求。
目前自動駕駛的主流算法模型主要以有監(jiān)督的深度學(xué)習(xí)方式為主，需要大量的結(jié)構(gòu)化標(biāo)注數(shù)據(jù)對模型進(jìn)行訓(xùn)練和調(diào)優(yōu)。可見數(shù)據(jù)采集、標(biāo)注在其中扮演了極為重要的角色。本文重點介紹了數(shù)據(jù)采集、標(biāo)注的整個過程需求、方法、原則、類型要素及仿真場景重構(gòu)等。數(shù)據(jù)采集流程包收集三大主要流程，其中涉及需求收集階段進(jìn)行原始采集需求收集；數(shù)據(jù)獲取服務(wù)涉及數(shù)據(jù)獲取包含定制數(shù)據(jù)方案、人工數(shù)據(jù)采集、自動化數(shù)據(jù)采集、調(diào)研問卷收集幾大方面。數(shù)據(jù)加工服務(wù)涉及數(shù)據(jù)清洗、數(shù)據(jù)評估、數(shù)據(jù)提取、分析處理及標(biāo)準(zhǔn)化數(shù)據(jù)輸出。數(shù)據(jù)交付階段主要涉及將采集數(shù)據(jù)輸入至訓(xùn)練模型進(jìn)行智能學(xué)習(xí)過程。
在功能開發(fā)過程中，利用好數(shù)據(jù)采集、標(biāo)注方法可以很好的提升場景重構(gòu)、訓(xùn)練能力，提升前期軟件開發(fā)性能。
