智能駕駛傳感器的案例
英飛凌余辰杰：MCU 在智能駕駛傳感器和域控制器中的應用
前言：在整個智能駕駛解決方案中，MCU 的角色主要是配合感知芯片，根據車輛當前的運動狀況和感知目標，輸出的一些信息給底盤系統，因此，保證 MCU 在智能駕駛傳感器和域控制器應用中的安全至關重要。
為此，我們請到英飛凌大中華區智能駕駛產品經理余辰杰做來分享：MCU 在智能駕駛傳感器和域控制器中的應用。
分享實錄
余辰杰：我主要分享一下 MCU 在智能駕駛傳感器和域控制器中的應用。
除去執行器的控制，ADAS/AD 系統可以簡單分為兩大塊，傳感器和計算平臺。無論是在傳感器還是計算平臺上的SOC 的算力有多高，以現在的架構來看，MCU仍是不可或缺的。
我主要分享分幾部分：
1.簡單介紹英飛凌；
2.針對這一代英飛凌 TC3 系列單片機，做個系統性的介紹，同時提及TC4系列上的一些升級;
3.AURIX 在 ADAS中的應用;
4.英飛凌MCU如何配合 SOC 廠商在域控制器的應用;
5.在AI SOC 廠商越來越多的集成實時處理器的時候，是否還需要一顆高算力的 ASIL - D MCU。
一、英飛凌是一家頭部的汽車半導體公司，市面上絕大多數的汽車廠商的控制器里都或對或少運用著英飛凌的方案。
二、英飛凌的TC3 系列單片機。
英飛凌的單片機不只在 ADAS 中有應用，幾乎橫跨
了所有的領域，比如在強調功能安全的系統中，包括動力總成、新能源、發動機控制。同時也被廣泛應用于自動駕駛、車身控制、影音娛樂、儀表等應用中。
展開 ANSYS SPEOS & VRXPERIENCE-基于物理特性的智能駕駛傳感器高精度仿真
作為智能駕駛系統的重要組成部分，傳感器為感知系統提供原始數據，其性能對整個智能駕駛系統的功能和性能有直接且重要的影響。
為提高智能駕駛系統開發的效率和效果，會采用仿真的方式對方案進行驗證和優化，涉及全數字仿真、半實物仿真等。為使仿真結果盡可能真實地反映實際情況，需要對攝像頭、激光雷達、毫米波雷達等傳感器進行高精度的建模仿真。
針對此類應用，經緯恒潤聯合ANSYS公司，提供包括光學及視覺模擬軟件SPEOS和光學虛擬現實仿真軟件VRXPERIENCE的智能駕駛傳感器高精度仿真解決方案，依據對象的真實物理屬性進行傳感器和場景的高精度仿真。
產品介紹
ANSYS SPEOS & VRXPERIENCE解決方案在智能駕駛領域可應用于攝像頭、激光雷達、毫米波雷達傳感器的建模仿真，涉及像素網格投影、成像仿真、圖像后處理接口、機器視覺、ADAS部件級仿真、實時燈光仿真、動態前照燈性能評估、傳感器性能評估等。可以在智駕系統研制早期，基于真實物理屬性進行不同天氣、時間、路況、光學傳感器安裝位置、安裝數量、傳感器設計方案、材料設計方案、照明設計方案等條件下的仿真模擬，對不同設計方案進行驗證，節約樣件和測試成本，縮短研發周期。
? ANSYS SPEOS
ANSYS SPEOS與SpaceClaim、CATIA V5、UG、CREO等主流CAD軟件平臺相結合，能夠實現從結構設計到光學設計的無縫銜接，以OMS設備的光學屬性測量結果作為軟件的輸入，基于材料的真實物理屬性進行傳感器及現實場景仿真，模擬結果可直接與實物照片進行對比。
SPEOS可以通過數字化建模為攝像頭和激光雷達傳感器提供測試環境，快速直觀地將駕駛環境中攝像頭和激光雷達的成像結果模擬出來。
展開 經緯恒潤智能駕駛開發、測試評估平臺——傳感器對標評估系統
應用背景
智能駕駛汽車應用多種傳感器對目標物探測，如采用激光雷達、毫米波雷達、攝像頭等傳感器。在開發和測試智能駕駛汽車時，往往需要將不同種類的傳感器識別的目標物進行對比，或者對某種傳感器與真值傳感器（Ground Truth， GT）進行對標評估。
圖1 真值傳感器和測試傳感器識別目標物示意圖（資料圖）
傳感器對標評估系統
圖2 傳感器對標評估系統數據選擇和位置標定界面
為了實現兩種傳感器識別目標物對比，傳感器對標評估系統具備以下功能：
? 根據傳感器識別的目標點信息，自動匹配目標物的軌跡
? 計算測試傳感器的漏報、誤報情況
? 統計測試傳感器的識別目標物信息
圖3 真值傳感器和測試傳感器識別目標物軌跡
核心功能：軌跡對比算法
? 軌跡挑選
利用多幀數據，自動獲取目標物的軌跡曲線；目標物如果存活幀數過少或存活時間太短，無法形成有效軌跡，則被認為雜點忽略。
? 范圍限制
選取真值傳感器和對比傳感器的公共探測區域來對比，忽略公共區域以外的目標物。可以對近程（±45°，60m）、中程（±9°，120m）、遠程（±4°，180m）的軌跡進行選擇，或者根據自定義范圍篩選軌跡。
? 快速軌跡比對
采用軌跡非特征點抽希和動態時間規整等算法，能夠較好地比對真值和對比傳感器識別的目標物軌跡。如下圖所示，采用該算法匹配的真值傳感器（GT）和對比傳感器軌跡能夠和實車采集的數據吻合。
展開 經緯恒潤智能駕駛開發、測試評估平臺——智能駕駛全量數據感知及分析系統
上一期給大家介紹了平臺的總體方案，本期從“單車智能”開發及測試的角度，為各位看官帶來智能駕駛全量數據感知及分析系統。
智能駕駛全量感知數據實時可視化系統，可實時展示車端各類傳感器數據，可實現感知系統自動對標，并可感知端獲取各類極限場景。包括以下幾部分組成：
智能駕駛數據采集分析及可視化系統
提供一套智能駕駛傳感器全量數據采集及分析軟硬件系統，傳感器數據同步，可實時在可視化界面展示各傳感器數據。
? 全量數據采集
? 定制化傳感器接入
? 遠程事件監控/數據傳輸
? 數據同步
? 數據可視化
? 定制化場景提取
? ADAS功能/測試信號分析
真值系統
真值系統，通過量化真值系統和本車系統的感知結果差異可以評價標注過程，軟件和模型訓練過程。
展開 
技術探秘 | 自動駕駛汽車傳感器融合系統，及多傳感器數據融合算法淺析
在安裝空間不足的環境中，器件很難冷卻，并且其損壞的風險和所需的更換也很高（一次簡單的小事故有可能需要更換保險杠和所有相連的傳感器），這可能抵消具有多個傳感器模塊的分布式系統的優勢。
如果采用“傳統”傳感器模塊，則需進行自檢和故障報告，以實現整個系統的安全運轉，但是其還未達到智能傳感器模塊的程度。
雖然純粹的駕駛員信息系統可以在它們的功能受到損害時關閉并將其通報給駕駛員，但是高度自主駕駛功能就沒有那么自由了。想象一下一輛汽車正在執行緊急制動操作，然后又突然解除并松開制動器的情況。或者說，汽車在公路上行駛時，整個系統關閉，而此時駕駛員正在汽車“全自動駕駛”狀態下呼呼大睡（未來可能的一個場景）。在駕駛員能夠安全控制車輛之前，系統需要繼續保持工作一段時間，而這至少需要有幾秒到半分鐘。系統必須運行到何種程度，以及如何確保在故障情況下運轉，這些問題在業內似乎還未達成明確共識。具有自動駕駛功能的飛機通常情況下使用冗余系統。雖然我們一般情況下認為它們是安全的，不過它們造價昂貴并且占用大量空間。
傳感器融合將會是邁向自動駕駛及享受旅途時光和駕駛樂趣的關鍵一步。
多傳感器信息融合算法
智能汽車的顯著特點在于智能，意思就是說汽車自己能通過車載傳感系統感知道路環境，自動規劃行車路線并控制車輛到達預定目標。目前而言，車載感知模塊包括視覺感知模塊、毫米波雷達、超聲波雷達、360°環視系統等，多源傳感器的協同作用識別道路車道線、行人車輛等障礙物，為安全駕駛保駕護航。因此，感知信息也需要融合，感知信息也需要相互補充。
這里引出一個重要的概念：多傳感器信息融合（information fusion）。各種不同的傳感器，對應不同的工況環境和感知目標。比方說，毫米波雷達主要識別前向中遠距離障礙物（0.5米-150米），如路面車輛、行人、路障等。
展開 智能駕駛域控制器SoC選型
出品 | 大疆車載
隨著智能駕駛行業的發展，智能駕駛功能日益復雜，領航高速輔助、領航城區輔助、跨層記憶泊車等功能逐漸落地。智能駕駛系統對傳感器、算力需求日益旺盛。
智能駕駛系統既需要大量的算力，也需要多種類型的計算資源，典型的智能駕駛系統處理流程如下。
它接收并處理原始傳感器信號，對車周環境進行實時的在線感知，其中包括對道路結構、車道線等靜態元素，以及車輛、行人等動態障礙物的檢測識別。經過多傳感器和時序信息融合，轉化為環境的統一表示，然后經過運動預測和決策規劃模塊生成本車的行駛軌跡，并轉換成車輛控制信號輸出到車輛執行器，從而完成自主駕駛的行為。
整個系統處理過程通常需要涉及以下幾種類型的計算資源：
深度學習類: 環境感知模塊是深度學習算力使用的大戶，包括常見的各類圖像、激光點云檢測算法，比如物體檢測、車道線檢測、紅綠燈識別等，都會涉及大量的典型神經網絡（NN）的運算。此類模塊通常使用高度定制化的NN加速器來實現。
視覺處理類：此類屬于計算密集型，但并非深度學習類的算法模塊，比如圖像信號處理（ISP）、圖像金字塔（Pyramid）、畸變矯正（Rectify）、局部特征提取、光流跟蹤、圖像編解碼（Codec）等運算。此類模塊通常使用硬化的專用視覺加速器來實現低時延。
通用計算類：雖然定制化的深度學習、視覺處理加速器可以滿足大部分常見的成熟的計算密集型運算，但仍然無法覆蓋全部需求。隨著前沿技術的快速發展和自研技術的深入，往往還會產生相當一部分自定義的運算模塊。此類模塊通常也是計算密集型的操作，無法使用CPU高效實現，因此還需要通用的計算密集型處理單元（比如DSP、GPU）來實現。
邏輯運算類：此類模塊包含大量的邏輯運算，不適合使用計算密集型的處理器實現，一般使用通用的CPU處理器來實現。
展開 關于對自動駕駛傳感器的理解
來源 | 汽車ECU開發
知圈 | 進“域控制器群”請加微13636581676,備注域
自動駕駛集環境感知、規劃決策、運動控制、多級輔助駕駛等功能于一體，運用現代傳感器技術，集中使用視覺計算、通用計算、神經網絡計算于一體進行信息融合、同時輔以V2X通訊、人工智能來實現自動控制。自動駕駛的關鍵技術依次可以分為環境感知、行為決策、路徑規劃和運動控制四大部分。
環境感知是通過傳感器對周圍環境基本信息進行采集，也是自動駕駛的基礎。根據自動駕駛路線的不同，實現的自動駕駛等級不同，部署的傳感器種類也會有差異。下面來梳理一下各傳感器的原理以及優缺點。
01 攝像頭
攝像頭一般由鏡頭(Lens)，圖像傳感器(ImageSensor)，圖像信號處理器(ImageSignal Processor, ISP)，串行器發送(Serializer)組成。一般步驟是，鏡頭采集到物體的基本信息然后由Image Sensor進行一定處理后再交于ISP處理之后串行化傳輸。傳輸方式同樣可分為在同軸電纜或雙絞線上基于LVDS傳輸或者直接通過以太網傳輸。
對于布置來說，主要是視角對感知范圍的影響。在攝像頭感光元件大小確定的情況下，焦距越長，對應的視角越窄。但對應的分辨率也能大大提高——即看的清，但看的東西少。
因此在實際使用時利用不同焦距的攝像頭，來實現不同特定的功能，通常在L2級別以上基本會配置中程及長程攝像頭。高檔車輛會采用3前視攝像頭的配置。來做到全視野的信息采集。
展開 自動駕駛傳感器創新的困境
高階自動駕駛的量產落地需要一個技術體系的進步，感知、決策、控制，每一個環節的軟硬件都需要持續不斷創新，其中自動駕駛車輛的感知能力是后兩者能夠安全、準確實現的基礎。
因此，我們可以看到智能電動汽車關于感知傳感器的裝載，也在不斷增加和技術迭代。
從傳感器的形態和功能維度來看，可以分為幾個階段：
第一階段：以超聲波雷達為主的燃油車時代；
第二階段：以超聲波和毫米波雷達為主的高配置燃油車時代；
第三階段：超聲波、毫米波、攝像頭為主，實現的 L2/L2.5 級別輔助駕駛的智能電動車；
第四階段：在上述基礎上加入激光雷達，實現包含城市等更高級別的自動駕駛。
隨著高級別自動駕駛對感知傳感器需求的變高，傳感器本身的技術迭代和技術創新也在加速。
硬件競爭短期不會結束
在科技產品中硬件往往是基礎，為實現一些系統性的功能而存在的，在整個自動駕駛系統中「感知傳感器」就像是眼睛，讓車輛能夠豐富而更加精準的感知真實的環境。
從目前的技術路徑來看，除了特斯拉堅持純視覺感知以外，其他所有廠商都是走感知融合路線，也就是「視覺 + 雷達」方案，這樣的傳感器配置可以彌補單一傳感器之間的不足，以及無法達到安全冗余的需求。
如果我們把自動駕駛整個大系統拆分來看，感知本身就是一套小系統存在，它的組成包括：物理硬件、軟件算法、芯片。這三者之間的關系是，硬件識別到的數據，由感知算法解析，解析標定之后提交有用數據與其他傳感器數據比對，通過整個自動駕駛計算平臺計算得到答案后交給決策機構。
展開 自動駕駛傳感器的選擇與布置
國內主要高階自動駕駛車型傳感器方案
智能傳感器各有所長
作為最重要的信息獲取技術之一，傳感器技術受到高度重視，也得到了極大發展。隨著技術的不斷革新和突破，科學家們各顯神通陸續開發出了五花八門的傳感器，分別應用于日常生活、醫療護理等不同領域。下面，讓我們一起來看一些最新的傳感器小發明吧。
微型牙齒傳感器
想減肥，但邁不開腿，又管不住嘴?沒關系，微型牙齒傳感器可以幫你控制飲食。節食是現在年輕人最熱衷的減肥方法之一，但經常有人不但沒減肥成功，一不小心還落了個營養不良。節食減肥最難的部分不是控制自己吃什么，而是每樣東西該吃多少，食物的攝入量往往很難拿捏。
現在，減肥人士的福音來了!美國塔夫茨大學工程學院的研究人員新研發出一種微型牙齒傳感器，它又小又薄，貼在牙齒上人幾乎感覺不到它的存在。可別因為它的身形小就小瞧它，正是這么一個看似不起眼的東西，能全面監測你攝入營養素的種類和量，還能準確地將數據無線傳送到你的手機上。如此一來，想要減肥的人就能更準確地控制自己進食的量。此外，微型牙齒傳感器還可以通過監測應激激素等生化指標，來監測人的壓力水平和心理狀態。
這個微型傳感器是如何工作的呢?兩個方形金環的中間裝有一層“生物反應”層，它能掃描并識別某些化學物質。當你吃東西時，傳感器會根據食物中不同的化學成分，傳輸不同頻譜的射頻波，分別代表特定的信息。目前為止，成功通過實驗的有水、蘋果汁、帶鹽的湯、漱口水和酒精。研究人員表示，理論上他們可以修改傳感器的生物反應層，讓它識別更多其他的化學物質，而且傳感器在經過技術改良后，可以貼在牙齒以外的地方，還能動態讀取和傳輸收集到的信息。
減肥人士可以依靠微型牙齒傳感器監督自己的飲食，在它的幫助下養成一個營養均衡的飲食習慣。研究人員指出，傳感器目前仍處于完善階段，未來它不但能知道你吃了什么、吃了多少，還可以告訴你消耗了多少能量。
展開 自動駕駛系統的傳感器標定方法
來源 | 自動駕駛之心、計算機視覺life
導讀：傳感器標定是自動駕駛的基本需求，一個車上裝了多個/多種傳感器，而它們之間的坐標關系是需要確定的。灣區自動駕駛創業公司ZooX的co-founder和CTO是Sebastia Thrun的學生Jesse Levinson，他的博士論文就是傳感器標定。
這個工作可分成兩部分：內參標定和外參標定，內參是決定傳感器內部的映射關系，比如攝像頭的焦距，偏心和像素橫縱比（+畸變系數），而外參是決定傳感器和外部某個坐標系的轉換關系，比如姿態參數（旋轉和平移6自由度）。
攝像頭的標定曾經是計算機視覺中3-D重建的前提，張正友老師著名的的Zhang氏標定法，利用Absolute Conic不變性得到的平面標定算法簡化了控制場。
這里重點是，討論不同傳感器之間的外參標定，特別是激光雷達和攝像頭之間的標定。
另外在自動駕駛研發中，GPS/IMU和攝像頭或者激光雷達的標定，雷達和攝像頭之間的標定也是常見的。不同傳感器之間標定最大的問題是如何衡量最佳，因為獲取的數據類型不一樣：
攝像頭是RGB圖像的像素陣列；
激光雷達是3-D點云距離信息（有可能帶反射值的灰度值）；
GPS-IMU給的是車身位置姿態信息；
雷達是2-D反射圖。
這樣的話，實現標定誤差最小化的目標函數會因為不同傳感器配對而不同。
另外，標定方法分targetless和target兩種，前者在自然環境中進行，約束條件少，不需要用專門的target；后者則需要專門的控制場，有ground truth的target，比如典型的棋盤格平面板。
這里僅限于targetless方法的討論，依次給出標定的若干算法。
展開 
運動傳感器供應商矽立科技攜手海爾建立智控傳感聯合實驗室打造全新智能家電
小體積、低功耗的MEMS運動傳感器供應商mCube（矽立科技）與海爾家電產業集團共同宣布，雙方建立智控傳感聯合實驗室，面向全球家電市場共同開發智能傳感解決方案，為廣大消費者帶來真正的智能家電和家居生活體驗。
傳感器是產品的神經節點，處理器結合算法是大腦，兩者結合才是智能傳感器產品。mCube（矽立科技）作為世界上為數不多的既有傳感器設計制造能力又有應用傳感器生產終端產品的公司，與世界家電的引領者海爾為實現家電的智能化的目標而共同努力。
此次合作中，mCube（矽立科技）將提供整體傳感解決方案，包括傳感器產品、軟硬件設計、算法開發等，幫助海爾完成從可行性研究到量產的開發。
mCube（矽立科技）首席執行官李彬表示：“我們很高興與全球第一大家電品牌海爾展開合作。海爾在全球家電市場布局多年，深刻洞察市場需求。我們將共同研制全新的智能家電智能傳感器模組及其智能整體解決方案，滿足未來智慧家電對傳感器解決方案的迫切需求。相信我們的強強合作，將能推動全球智能家電市場的升級，讓廣大消費者體驗到智能家電帶來的更多生活便捷。”
海爾家電產業集團超前創新中心總工程師俞國新博士表示：“家電智能化的主要技術瓶頸在于傳感器。我們很高興能與mCube（矽立電子科技）共同建立智控傳感聯合實驗室。此舉將有助于我們解決家電智能化領域的技術難題，把智能家電的最新需求和最新的傳感器技術結合起來，進行傳感器的上游定制化開發，對推動智能家電的發展和傳感器技術在家電中的應用普及，都是一個開拓性的嘗試。”
據俞博士介紹，過去的傳感器主要應用在工業界，具有高精度、高成本、基于專業維護等特點。但家電智能化是近幾年發展起來的領域，家電對傳感器的要求是低成本、長期可靠性，一般需要在沒有維護的條件下，能夠達到十年以上的壽命。
展開 自動駕駛多模態傳感器融合的綜述
域偏差和數據分辨率與真實場景和傳感器高相關。這些缺陷阻礙了自動駕駛深度學習模型的大規模訓練和實施。
域偏差：在自主駕駛感知場景中，由不同傳感器提取的原始數據伴隨著域相關特征。不同的攝像頭系統有其光學特性，而激光雷達可能因機械激光雷達和固態激光雷達而不同。更重要的是，數據本身可能是有域偏差的，例如天氣、季節或地理位置。因此，檢測模型無法順利適應新的場景。由于泛化失敗，這些缺陷妨礙大規模數據集的收集和原始訓練數據可重用性。
分辨率沖突：來自不同模式的傳感器通常具有不同的分辨率。例如，激光雷達的空域密度明顯低于圖像的空域密度。無論采用何種投影方法，由于無法找到對應關系，一些信息被消除。這可能導致模型被一個特定模態的數據所主導，無論是特征向量的分辨率不同還是原始信息的不平衡。
展開 一文詳解無人駕駛中的各種感知傳感器
來源 | CV研習社
導讀：本文介紹無人駕駛中幾種主流的環境感知傳感器，包括視覺攝像機、毫米波雷達、超聲波雷達、激光雷達。通過分析對比每種傳感器的原理和優缺點，進一步理解不同場景下如何構建感知方案。
1、感知傳感器
在無人駕駛中，傳感器負責感知車輛行駛過程中周圍的環境信息，包括周圍的車輛、行人、交通信號燈、交通標志物、所處的場景等。為無人駕駛汽車的安全行駛提供及時、可靠的決策依據。目前常用的車載傳感器包括相機、毫米波雷達、超聲波雷達、激光雷達等。根據各個傳感器的特性，在實際應用中往往采用多種傳感器功能互補的方式進行環境感知。
2、視覺攝像機
傳感器原理
攝像頭屬于被動觸發式傳感器，被攝物體反射光線，傳播到鏡頭，經鏡頭聚焦到CCD/CMOS芯片上，CCD/CMOS根據光的強弱積聚相應的電荷，經周期性放電，產生表示一幅幅畫面的電信號，經過預中放電路放大、AGC自動增益控制，經模數轉換由圖像處理芯片處理成數字信號。
其中感光元器件一般分為CCD和CMOS兩種：CCD的靈敏度高，噪聲低，成像質量好，具有低功耗的特點，但是制作工藝復雜，成本高，應用在工業相機中居多；CMOS價格便宜，性價比很高，應用在消費電子中居多。
展開 用于無人駕駛汽車傳感器的研發
日本的電機和電子零部件巨頭相繼進入新一代傳感器業務領域。傳感器是高度自動駕駛中技術不可或缺的一部分，可以稱之為自動駕駛汽車的“眼睛”。夏普計劃在2020年代前半期將準確探測汽車與物體距離的傳感器推向實用化。京瓷將開發更高精度的攝像頭一體化傳感器。預計行駛在街道上的高度自動駕駛汽車將在2030年之后迅速增加。圍繞“眼睛”的競爭正式打響。
夏普將進軍在一般道路上行駛的自動駕駛汽車不可或缺的傳感器“激光雷達”業務領域。激光雷達通過反射汽車照射出的激光來正確探測汽車與物體的距離。最早將于2019年春季在廣島縣福山工廠啟動激光雷達的核心零部件——紅外線激光的試量產。
夏普基于CD讀取和監控攝像頭使用的紅外線傳感器技術，將輸出功率和精度提高至能夠應對自動駕駛的水平。
夏普于1992年在全球率先開始量產CD用的紅線激光，憑借多年經驗提高了精度。同時還將活用母公司臺灣鴻海精密工業的量產技術，提高成本競爭力。
據日本矢野經濟研究所預計，到2030年自動駕駛相關的傳感器市場規模將達到3.2755萬億日元，擴大至2017年的3.7倍左右。2017年激光雷達的市場規模僅為25億日元左右，預計到2030年將急劇擴大至約200倍，達到4959億日元。
由于在激光雷達開發領域可以發揮半導體等技術優勢，電機和電子零部件廠商相繼進軍這一領域。
松下力爭2020年代上半期將覆蓋范圍更廣的內置后視鏡型激光雷達推向實用化。東芝將在2020年之前推出探測距離達到200米的線路技術，較原來提升一倍。先鋒從9月開始正式供貨，爭取2020年之后實現量產。
京瓷正在開發識別精度更高的攝像頭一體化激光雷達。歐姆龍將開發新型的3D 激光雷達。探測距離提升1倍至150米，將于2020年度在愛知縣的工廠生產。
目前海外企業在激光雷達的開發方面領先一步。
展開 