來源 |  計算機視覺深度學習和自動駕駛

一、引言

自動駕駛系統（ADS）為汽車工業開辟了一個新的領域，并為未來的交通提供了新的可能性，具有更高的效率和舒適的體驗。然而，惡劣天氣條件下的自動駕駛一直是阻礙自動駕駛車輛（AVs）進入L4級或更高自動化級別的問題。

天氣現象對交通運輸有各種負面影響。平均而言，全球降雨發生率為11.0%。已經證明，在降雨條件下發生事故的風險比正常情況高70%。世界上77%的國家都有雪。以美國國家統計數據為例，每年有超過3萬起車輛碰撞事故發生在多雪或結冰的道路上，或在降雪或雨夾雪期間，因此雪的威脅是真實存在的。霧、霧霾、沙塵暴和強光等現象嚴重降低了可視性，給駕駛帶來的困難顯而易見。由天氣直接或間接引起的次要問題，如冷熱、污染或車輛硬件損壞，也會對載人和自動駕駛汽車產生不可預測或不良影響。

盡管在惡劣的天氣條件下進行了大量的自動駕駛研究和測試，但當擋風玻璃雨刮器在雨雪中連續運行時，車輛就會停止運行。比如：在愛沙尼亞的冬季，由于氣溫較低，自動控制的小型公共汽車無法在夜間正常充電，并且由于額外的取暖而耗電，不得不減少每天的運行時間。另一方面，芬蘭自動駕駛公共汽車并沒有因為下雪而停滯不前，而且已經開始在下雪天氣進行公開試駕。

目前知道的，L2級自動駕駛在雨雪條件下的性能幾乎不能滿足預期，比如車道保持功能在公路雪地打滑時汽車會轉向過度。特斯拉的Autopilot可以在正常的雨雪中導航，路標清晰可見，但在某些棘手的情況下，如暴雨或車道線出現遮蓋時候仍然難以駕駛。另一個典型的2級自動駕駛供應商，GM的super cruise，官方禁止在濕滑或其他不利條件下（包括雨、雨夾雪、霧、冰或雪）使用自動駕駛功能。顯然，惡劣的天氣條件限制了人類駕駛方向盤，AVs仍然不能完全相信它能獨自工作。因此，為了讓ADS繼續向前推進到下一個時代，自動駕駛汽車需要更多的時間來適應各種天氣。

作為車輛傳感器的信息源，環境狀態直接受到天氣條件的影響。這些變化增加了ADS用受損數據完成目標檢測、跟蹤和定位任務的難度，因此規劃和控制也將不同于正常情況。天氣也可能影響自車本身，并產生附加影響，如風和路面狀況。自車或周圍車輛狀態的變化所帶來的間接影響，反過來會導致環境狀態的變化，并形成一個循環。如圖所示是惡劣天氣下自動駕駛系統的信息流圖：

二、天氣對傳感器的影響

一段時間以來，天氣挑戰一直是ADS的瓶頸，為了解決這個問題，人們做了很多努力。事實上，氣象學會一直在研究惡劣天氣及其與道路安全的關系。當自動駕駛汽車還沒有引起市場的廣泛關注時，已經有人總結了濕滑路面和冰滑路面帶來的危害，還有高速公路上能見度下降對駕駛員決策過程的影響。

有一些關鍵因素，如測量范圍、測量精度和點密度，可能會受到天氣條件的干擾，從而影響AVs的正常運行。自該概念出現以來，無論是在人工環境（如霧室）、還是在現實世界（如雪地）、甚至是在模擬環境中，人們都在惡劣天氣條件下對激光雷達或整個AV設備進行測試和驗證。

1 激光雷達

雨

對小孔徑（aperture）激光雷達傳感器而言，最常見的天氣如降雨，不是特別極端時，對激光雷達和AV本身的影響并不大。由于激光束和雨滴之間的直接相互作用產生的散射造成的功率衰減幾乎可以忽略不計：在信號量保持在原始功率的90%以上，降雨造成的功率衰減百分比為兩個小數點，即使對于更嚴格的標準（99.5%），超過10%的信號功率損失也不太可能。發射器窗口淋濕的影響因水滴大小而異，水滴相對較小的最大衰減約為50%，水滴約為孔徑大小一半時最小衰減約為25%。雨水的直接影響似乎不會真正動搖激光雷達，但值得注意的是，當大氣溫度略低于出現露水的情況時，發射器上的凝結水滴使功率損失超過50%，這時候信號很難被視為可靠。此外，降雨對激光雷達的影響可能不僅僅取決于信號功率大小，還可能影響點云的準確性和完整性，這很難從數學模型或模擬中分辨出來。

當雨變得很大或無節制時，就會發生更嚴重的危害。降水率高且不均勻的降雨極有可能形成團狀霧，并讓激光雷達看成虛假障礙物。因此，在測量其影響時，可以將大雨視為濃霧或濃煙。

雪

與雨不同的是，雪由固體物和雪花組成，很容易形成更大的固體物，并成為障礙物，從而導致激光雷達的錯誤探測或阻擋有效檢測的視線。考慮到雪地（如霧室）不太容易接近，在雪地中行駛也明顯危險，很少進行雪效應試驗。

可以肯定地說，大氣中的雪或從地面卷起來的雪可能會導致激光雷達的點云出現異常，并縮短視距。更重要的是，這項工作用的像Velodyne VLP-16這樣的激光雷達，其設計最低工作溫度為?10?C、 在北半球并不罕見會出現的更冷環境，可能連生存機會都沒有。當溫度變化幅度較大時，如極冷(?20?C） 至極熱（+60?C） 環境，激光雷達測量的時間延遲將增加約6.8ns，使激光雷達測距值擴大1米多，降低了近場精度，更不用說光電探測器和測距的靈敏度這些問題。

波長

目前，大部分市場上部署的是905nm波長激光雷達。然而，激光雷達升級一直是研究界關注的焦點之一。2018年提出的1550 nm激光雷達，可以克服霧條件，能發射更高的光功率。在確定其可行性之前，有必要提出激光雷達選擇所要考慮的兩個關鍵設計因素：眼睛安全和周圍抑制（ambient suppression）。根據國際激光產品安全標準（IEC 60825-1:2014）1級所言，大多數民用或商用激光雷達用于人眼暴露的環境中，紅外激光不得超過規定的MPE（maximum permissible exposure）或造成對視網膜的任何損傷。因此，激光波長的選擇幾乎窄小為兩種選擇：800nm-1000nm和1300 nm-1600nm。這就是為什么目前為AVs制造的激光雷達選擇850nm、905nm和1550nm波長，并且都會落入低的太陽輻照（solar irradiance）窗內，這有助于抑制信噪較低的信號接收器中環境光。1550nm波長具有相對較大的去水系數（water extinction coefficient），并且可以在晶狀體或眼睛玻璃體中大量吸收，允許比905nm更多的能量，這對天氣中功率衰減困境來說是好事。

如圖是相對波長的激光雷達去水系數譜（Water extinction coefficient spectrum）：

其實實驗表明，在25毫米/小時的降雨率下，性能惡化方面，905納米達到1550納米的兩倍。1550nm的光傳播可能比較短波長的衰減小，有人說該規則僅適用于薄霧（能見度>2km），而在大霧（能見度<500m）中，衰減與波長無關，905nm的測距值仍比1550nm長60%。此外，與905nm相比，1550nm波在雪天的反射率大約差97%。較少的積雪干擾并不能彌補原有目標檢測工作的不足。

FMCW激光雷達制造商在固態下使用1550 nm波長。盡管1550nm波長在過濾強光和抗干擾方面具有明顯優勢，但在處理水方面的無效性已經被證明。一些宣傳文章可能認為FMCW激光雷達能夠很好地處理發射器的水滴（water droplets），并且能夠根據其速度探測能力輕松過濾掉雨滴（raindrops）或雪花（snowflakes），但是這里省略了波長本身帶來的大信號衰減，在惡劣天氣條件下幾乎找不到FMCW激光雷達的任何現場測試。盡管1550nm在固態激光雷達的進一步發展和CMOS（Complementary Metal Oxide Semiconductor）技術兼容性方面具有一定的潛力，但其不令人滿意的性能仍然無法贏得主流的青睞。就硬件性能而言，激光雷達的升級在短期內并不像預期的那樣有希望，但也沒有讓激光雷達束手無策。

類似地，超連續體（super-continuum）激光雷達的用戶之一Outsight也沒有解釋波長不是905nm和1550nm時的眼睛安全難題?？紤]到超連續體激光器通常工作在728-810 nm，其功率水平是否對眼睛有任何風險以及其現場試驗性能等具體信息并不完全清楚。與大多數FMCW激光雷達一樣，目前市場上用于AVs的能與傳統旋轉激光雷達競爭的固態激光雷達很少，其主要用于機器人，因為惡劣天氣條件下的性能很少測試過。盡管如此，新激光雷達的新技術，例如光譜掃描（spectrum-scan）技術，仍在期待中。

其他

還有更多的天氣現象會給交通帶來問題，比如沙塵暴和煙霧。盡管看起來很罕見，但對于一些地區如中東或沙漠地區，它們可能比雨雪更嚴重。然而，對連人都不能駕駛的情況大家關注度不高，其發展緩慢，這樣天氣下測試和研究的工作很難找到。激光雷達在沙塵暴或霾霧天氣中所涉及的工作超出了公路這個區域，比如航空或太空。CALIPSO高光譜分辨率激光雷達用于衛星監測地球大氣，可以透過煙霧和沙塵暴進行觀測。單光子激光雷達也經常用于機載激光雷達的三維地形測繪。盡管這種技術通常用于氣象學和海洋學，但已經有單光子雪崩二極管（single- photon avalanche diode ，SPAD）激光雷達用于汽車，其具有遠距探測能力（公里）、出色的深度圖分辨率（厘米）和低功耗（眼睛安全）激光源的優勢。

未來航空激光雷達和無人機將面臨更多的天氣挑戰，因為天空情況與地面情況不太一樣。大氣湍流（Atmosphere turbulence）可產生風擾且時變的折射梯度（refractive gradients），導致閃爍（scintillation）、束展開（beam spreading）和偏移（wander）。由于航空激光雷達和無人機尚未投入實際使用，還沒有系統地研究這些特別對抗條件對自主駕駛區域的影響，但可以肯定的是，只有克服這個問題，才能在未來的模糊和動蕩條件下為智能交通系統提供服務。

2 雷達

雷達在天氣條件下似乎更有彈性。如圖是不同降雨率下的電磁功率衰減（Electromagnetic power attenuation）：可以觀察到，在25 mm/hr的大雨中，77 GHz的雷達衰減為10 dB/km，而在0.5 km以下的能見度條件下，905nm激光雷達的衰減約為35 dB/km。

根據對較低大氣波動的非相干光雷達（non-coherent photonics radar）模擬，可以得出，線性調頻77GHz和1550nm連續波激光，在大霧中的探測范圍可達260米，在小霧中達460米，在信噪比閾值為20dB的大雨中達600米以上。

另外，更高的降雪率會產生更大的衰減，而雨雪（wet snow）由于更高的吸水率和更大的雪花顯示出更大的衰減?？紤]到10 mm/hr的降雪已經具有相當低的能見度（<0.1 km），說明77GHz雷達在10 mm/hr降雪中的具體衰減約為6 dB/km，這個對雨天數據而言似乎是可以接受的。

有研究對雨衰減和后向散射在毫米波雷達和接收機噪聲的影響，進行數學分析。模擬4種不同場景，在不同的降雨率水平下用雷達探測汽車或行人。結果表明，在暴雨條件下，當雷達橫截面小得像行人一樣時，后向散射效應會導致信干噪比下降。然而，在100毫米/小時的降雨率，惡化是個位數水平，這樣的模擬將測試變量擴展到400毫米/小時降雨率，在現實世界中基本上是不現實的，因為即使出現如此高的降雨率，駕駛條件也會非常困難。

毫無疑問，雷達在客觀上更好地適應潮濕天氣，但與激光雷達相比，雷達經常因空間分辨率低而在行人檢測和目標形狀和大小信息分類方面能力不足而受到批評。FMCW掃描雷達，其測量范圍可達100-200米，僅在黑夜、濃霧和大雪條件下可處理SLAM。因此，可以說雷達的用途具有更大的潛力。

3 攝像頭

雨

雨中攝像頭，無論分辨率有多高，都很容易被鏡頭上的一滴水滴破壞，如圖所示是雨天的攝像頭和激光雷達對比，圖像中的障礙和失真會立即使ADS失去數據的意義，無法正確處理。

霧

至于霧，根據密度，會在一定程度上造成近乎均勻的障礙，這是攝像頭信息的直接缺乏。有一種攝像頭在環（Camera-in-the-Loop）方法，用于評估不同天氣條件下目標檢測算法的性能：環境模型數據由一組攝像機采集，并通過目標分類算法進行處理，然后將結果反饋給決策者，決策者重新調用仿真環境，完成閉環。在夜間或霧中，誤檢率高達40%的結果非常符合人們普遍對攝像頭的估計，一定程度上說明單靠攝像頭很難戰勝天氣的困難。

雪

冬天天氣，如雪天，可能會以雨水類似的方式影響攝像頭，就像當雪花接觸鏡頭的視窗（optical window），立即融化成冰漿（ice-slurry）。更糟糕的是，這些冰水混合物可能在低溫下很快再次凍結，并在攝像頭的視線上形成不透明的障礙物。

大雪或冰雹會使圖像灰度波動，模糊圖像或視頻中某個目標的模式邊緣，導致檢測失敗。除了動態影響外，雪還可以擴展為靜態天氣現象。大多數情況下，雪對交通造成的問題并非速成，因為雪會積聚在地面，遮擋路標或車道線，甚至可能在道路上形成冰。這使人和AVs都在不確定性下行駛。特別當攝像頭數據源的采集受到影響時，整個自動駕駛過程一開始就被中斷。

光照條件

一種特殊的天氣現象，直接來自太陽的強光或人造光源，如摩天大樓的光污染，也可能給攝像機帶來嚴重的麻煩。即使是激光雷達在極端條件下也會受到強光的影響。過高的照明會使照相機的可見度降低到幾乎為零，并且各種光澤表面反射的眩光（glares）會使攝像頭曝光（exposure）選擇成為可能艱巨的任務。HDR（高動態范圍）攝像機專門用在惡劣的光線條件，將這種技術應用于AVs，對光線條件的突然變化（如隧道的入口和出口）導致的能見度下降問題，在很大程度上得到緩解；得益于更好的顏色保護，對直射陽光下駕駛，其AV導航性能也可以得到改善。

光引起的另一個相關問題是反射表面的反射。如果反射恰巧是理想的，它可能會使攝像頭變得糊涂而相信，從而傳送錯誤的信號。缺乏立體視覺意識是普通攝像頭的致命弱點。人類駕駛員經常會遇到擋風玻璃的反光問題，無論是白天或夜間，還有駕駛室內有照明，擋風玻璃上的反光會混淆視野，這正是為什么夜間巡航時不建議駕駛室打開照明的原因。同樣的問題也適用于安裝在擋風玻璃后面的攝像機。有時由于路面溫度較高，反光效果是弱的幻覺，如同汽車內部的鏡像。這種虛假信息很難在2D意義上被識別，而且光線條件對攝像機來說從來都不是100%友好的。如果沒有其他3-D深度傳感器的幫助，攝像頭就無法獨自承擔責任。從另一個角度看，這里攝像機的無效性意味著天氣條件下ADS的冗余在很大程度上受到損害，因此需要比僅僅克服惡劣天氣做得更好，以確保總體安全。

當談到攝像頭圖像失真時，腦海中浮現出一個熟悉場景，照片像熱浪一樣在火焰上燃燒。至于這種失真是否會影響ADS，有實驗表明，把500mm處棋盤格作為目標，測量的熱變形與理論熱變形之間的平均絕對誤差為11.85με。將相同的錯誤率應用到一個場景中，當ADS攝像機測量距離稍遠約1.5m高度目標時，得出絕對尺寸變化不會超過0.2 mm的水平，這個差別幾乎可以忽略，并且很難影響ADS對此類目標的識別和分類能力?；诖?，正常環境溫度升高引起的圖像失真不應成為攝像頭感知的問題。

4 其他

除了熟悉并可以預料的正常天氣之外，總會有一些意想不到的天氣或由天氣引起的現象讓人措手不及，這也是AV需要做好準備的事情。就像飛石撞擊汽車擋風玻璃一樣，像激光雷達發射器窗口外殼也可能受到飛行物、強風吹起的石頭或沙子、強對流天氣（convective weather）下的大塊冰雹（hailstones）以及普通碎片（debris）的直接撞擊。玻璃裂縫可能會影響信號的正常數據接收或破壞原始圖像，也可能會造成空氣或水分滲入的機會，阻礙電子設備，最壞的情況會導致斷裂。

風，作為一種著名的不可預測的現象，會帶來更多的麻煩。周圍環境中未知物質的污染，如被吹起的樹葉和垃圾，可能會突然阻擋ADS傳感器的視線。附著在發射器窗口外表面的道路灰塵顆粒可能會惡化激光雷達信號衰減現象。對近乎均勻分布在激光雷達掃描器表面的灰塵顆粒進行測試表明，激光雷達的最大測距減少了75%。雖然這些場景的一部分可以被視為罕見事件，但最好做好準備，因為ADS安全不接受任何的容忍。

超聲波是評估天氣影響時很少考慮的傳感器之一，但它確實顯示出一些特殊的特性。聲音在空氣中傳播的速度受氣壓、濕度和溫度的影響。由此引起的精度波動是自動駕駛的一個問題，除非借助算法根據周圍環境調整，這個產生額外成本。盡管如此，考慮到超聲波的基本功能幾乎不受惡劣天氣的影響，為了在ADS中保持開放的心態，超聲波確實有其優勢。不會因為目標顏色較深或反射率較低，超聲波的返回信號就降低。攝像機可能會在低能見度環境中工作，如立交橋下的高眩光或陰影區域，而超聲波在低能見度環境中更可靠。

此外，超聲波的近距離特性可用于分類路面狀況。瀝青、草地、礫石或土路可以從其后向散射超聲波信號中區分出來，因此不難想象道路上的雪、冰或泥漿可以被識別，也有助于AV天氣的分類。這里的底線是，當激光雷達和攝像頭等其他傳感器在某些惡劣環境中受損時，超聲波傳感器提供了另一層冗余，至少在保持其原有功能的同時它可以防止AV發生碰撞。

來自衛星導航系統（如GPS、伽利略和其他）的信號在穿過大氣和其他水體時會經歷一些衰減和反射。水是一種電介質和導體，由于水分子根據電場旋轉，電磁波將經歷衰減，從而導致能量損耗。此外，水體中移動的電荷將反射和折射波，這發生在空氣-水界面和水-空氣界面。

分析雨和風對GNSS反射譜（GNSS-R）的影響，可以對通路衰減、修正表面粗糙度和倒灌風（downdraft）等方面進行建模。結果表明，雨滴對L波段的衰減很小，對于降雨量在30毫米/小時以下的小雨，透射率約為96%；雖然L波段能夠穿透大雨，但風的影響往往會增加衰減。

GPS信號在通過1毫米水層時，顯著損失超過9.4分貝，但在通過4厘米厚雪層時僅為0.9分貝，在14厘米厚雪層時僅為1.7分貝。這項實驗表明，潮濕道路和水凹將進一步影響GNSS的信噪比。

三、融合

1 模塊

單憑傳統的激光雷達或攝像頭結構無法在惡劣天氣條件下安全導航。但是兩種力量結合在一起將是一個不同的故事，具有附加的強度。因此，世界各地的團隊通過添加雷達、紅外攝像機、門控攝像機（gated camera）、立體視覺攝像機、氣象站和其他天氣相關的傳感器，提出了各自的排列和組合。當然，融合模式需要標定，以確保所有參與傳感器的同步，從而獲得最佳性能。

梅賽德斯-奔馳公司提出了一種在未知惡劣天氣下的大型深度多模態傳感器融合。測試車輛配備了以下設備：一對面向前方的立體視覺RGB攝像機；近紅外（NIR）門控攝像機，其閃光激光脈沖（flash laser pulse）的可調延遲捕獲減少了不利天氣下粒子的后向散射；一種具有1? 分辨率的77G Hz雷達；兩個Velodyne激光雷達，即HDL64 S3D和VLP32C；遠紅外（FIR）熱照相機；能夠感應溫度、風速和風向、濕度、氣壓和露點（dew point）的氣象站；以及專用的道路摩擦傳感器，其用途未指定，可能用于分類。這些都是在慣性測量單元（IMU）的幫助下進行時間同步和自運動校正。自稱融合是熵-引導，即捕獲的低熵區域可以被衰減，而在特征提取中高熵區域被放大。外部感知傳感器收集的所有數據被連在一起用于熵估計過程，并且訓練僅用晴朗天氣數據進行，這表明了其很強的適應性。其結果表明，在霧天條件下，融合檢測性能明顯優于激光雷達或圖像。這種方式的缺陷在于傳感器數量超過了ADS系統的普通預期。更多的傳感器需要更多的電源和連接通道，這對車輛本身來說是一個負擔，專有的天氣傳感器并不完全符合成本效益。盡管這樣的算法仍然是實時處理的，但考慮到來自多個傳感器的大量數據，響應和反應（response & reaction）時間成為值得擔憂的問題。

2 機械式解決

防護和清洗

機械地解決問題，就像擰緊螺絲釘一樣，始終是人的第一本能，自動駕駛也是如此。天氣給AV帶來的所有問題無疑引起了各大汽車企業的關注，并努力地通過簡單、低成本的機械解決方案解決這些問題。例如，在斯堪的納維亞地區沃爾沃首先注意到，由領先汽車引起的雪漩渦，阻擋傳感器的視線，使其完全被覆蓋。將傳感器移動到汽車上的幾個位置做比較，沃爾沃最終決定將雷達和攝像機安置在擋風玻璃后面，使其永久免受積雪的困擾。然而，這與其說是一個真正的解決方案，不如說是一個折衷方案，因為在駕駛室內安裝這些傳感器并不真正符合當前市場的要求，因為人類司機仍然擁有駕駛座，一些傳感器如長波紅外（LWIR）熱成像設備，不能安裝在窗戶后面，因為它們的波長不能穿過玻璃。

在經歷擋風玻璃的重要性之后，大家自然會考慮為ADS傳感器安裝相同的機制，就像指定擋風玻璃一樣。Waymo和Uber是將ADS傳感器（主要是激光雷達和攝像頭）裝在外殼內，并在外殼上安裝一個小雨刷。與擋風玻璃和雨刮器類似，現在傳感器可以享受與駕駛室內幾乎相同的好處。我們談論的不僅僅是雨和霜，還有像鳥糞（bird droppings）和蟲子飛濺（bug splatters）這樣的污染，都是常見的，對人的感知是有害的。此外，外殼至少可以保護脆弱的傳感器免受來自飛石、冰雹、酸雨或融雪劑等腐蝕性物質的鈍器損傷（blunt traumas）。唯一的問題是擋風玻璃后面的傳感器或AV上的外殼需要自動雨刷來清除雨滴和污染物?，F代的汽車自動擋風玻璃雨刷系統中，光學或電子的雨水傳感器能夠完成這一任務，但污染檢測技術仍在發展中。

但當然，更多的機械部件意味著更多的運動組件和潛在的功能障礙或損壞風險。有些人可能更喜歡一個靜態的機制，比如作為雨刮器的替代品，加熱器。在冬季或寒冷的雨中駕駛時，傾向于打開后窗和后視鏡上的加熱器，以消除霧氣或霜凍，保持清晰的視野。因此，加熱器當然也有助于保持傳感器發射器或鏡頭的清潔。除了嵌入式耐熱（heat-resistance）導線外，最先進技術也已開發出來。Canatu公司創造了碳納米機器人（carbon nanobots），在不到6秒的時間內可以生成10?，將其放置在傳感器和前照燈的塑料蓋上。這種機制不僅提供了不結冰傳感器表面，而且對電動汽車（EV）至關重要的，幾乎不消耗任何能量。

在珠寶和眼鏡等行業中有一種廣泛使用的工藝，即超聲波清洗。這項技術利用壓電元件（piezo electronics，PZT）產生35 kHz的超聲波，并振動發射器表面，將污垢轉移到水或清洗液的薄膜中。然后液體從表面霧化，帶走污垢。這種機制是一個強大的工具庫，可防止飛濺物、污垢和道路碎片等，最重要的是，霧凝結的影響。

被動設備

除了主動機制之外，還有一些被動解決方案可以幫助緩解不利影響。疏水膜（Hydrophobic membrane）應用于汽車擋風玻璃已有幾十年的歷史，并被證明能夠提高視距并將最小視角降低近34%。研究還表明，這種改進大大有利于目標檢測和路標讀取，這對于ADS至關重要。因此，沒有理由拒絕AVs傳感器蓋上的疏水涂層（hydrophobic coatings），PPG（Pittsburgh Plate Glass）公司已經在汽車玻璃上開發了相關的防水產品。

除了先進技術，有時機械解決方案可以簡單到把一塊布放在儀表板上。一家KoPro日本公司開發了極低反射涂料（reflection paint），稱為Musou Black，并生產了一種植絨紙（flock sheet），由人造絲織物（rayon-base fabric）制成，在可見光和近紅外下的反射率小于0.5%。只需將植絨紙放在汽車儀表板上，而擋風玻璃上幾乎看不到汽車內部的反光；即使是晴天，駕駛室人眼的整體感知，也明顯增強，如圖所示：

這種攝像頭感知改善只需花費30美元左右，這可能是目前機械解決方案中最好的性價比。

集成和重標定

盡管有額外的機械部件，外殼不可避免的問題仍然是一樣的：作為外部世界和傳感器之間的最后一層保護層，外殼本身和擋風玻璃一樣需要一個警報系統。由于某些傳感器（如行車記錄儀）仍安裝在擋風玻璃后面，即使前排座椅沒有人，防護眼鏡的結構完整性仍然需要確保。盡管現在的擋風玻璃是用嵌有聚乙烯醇縮丁醛（polyvinyl butyral ）的防碎玻璃制成的，但不是牢不可破的。蘋果汽車已經申請了一項專利，在早期階段使用紅外檢測擋風玻璃上的碎片和裂縫，以防止裂紋擴大和成為碎片，這可以被視為蘋果為AV安全鋪平道路的一部分。

機械部件結構完整性預警是硬 幣的一面，而硬 幣另一面是重標定。AV傳感器受到壽命效應的顯著影響，并導致退化。目前流行的ADS傳 感器設置是：車頂支架上的激光雷達；車身周圍或擋風玻璃后面的攝像頭；雷達和超聲波部件隱藏在金屬網罩或前/后保險杠內。由于每個傳感器工作狀態的容忍度公差很小，因此任何機械部件發生的任何沖擊或狀態變化都可能使傳感器很容易偏離對齊。外殼弧線或普通位置的微小變化可能會導致攝像機失去聚焦；激光雷達或雷達支撐結構中肉眼看不到的變形可能會使其視野偏離設定的間隔；即使是重量或胎壓變化引起的汽車重心高度變化也可能導致傳感器的感知結果與以前不同。博世公司，用綠色激光發射可見的直線來幫助進行標定。

美國三大汽車公司，福特、通用、斯泰蘭蒂斯（以前的FCA），都要求對其巡航和車道保持系統進行動態重新標定，其中包括運行設計域（Operational Design Domain，ODD）的測試駕駛和速度要求。本田和梅賽德斯的一些車型需要在典型維修的基礎上進行靜態和動態重新標定，這可能很容易花費大筆資金。這些討論可能并不完全屬于天氣范疇，但不利條件肯定會對傳感器的壽命產生影響。因此，為了彌補AV重新標定成本的上升，AVs的機械部件需要更高的耐用性和魯棒性。

四、感知增強

1 雨

知道下雨是無法避免的，自然希望AV首先意識到下雨的存在。在氣象學中，雨是通過氣象雷達和固定的雨量計來觀察和測量的。汽車上安裝氣象站對于商業推廣來說并不實用，早期階段有基于車輛的二元（濕/干）下雨（precipitation）觀測，當時目的還不是為了自動駕駛。盡管這些方法成功地實現了實時現場下雨感知，但這些數據來源于模擬，并且僅根據氣象雷達而不是真實數據進行驗證。

從前面的上下文中，我們知道細雨（drizzling）和小雨幾乎不會影響主要ADS傳感器的性能，如激光雷達，但當降雨率上升時，確實要擔心。有研究在路邊放置一個固定的激光雷達，比較了距離檢測變化、信號強度變化以及幾個檢測區域（包括道路標志、建筑外墻和瀝青路面）的檢測點數量變化。問題在于，不僅測試場景是固定的，而且瀝青路面與雨水垂直，建筑立面與雨水平行這一事實也影響了量化標準的公正性。盡管如此，這是一個通過直接量化降雨引起的激光雷達性能變化來量化降雨的想法。按照這一思路，只要基準能夠精確且具有包容性，當需要采取某些措施來應對降雨影響時，可以設置降雨影響的閾值。比如兩個參數：降雨率（由降雨發散系數表示）和清晰條件下激光雷達傳感器包括90%反射目標的最大距離，成功生成降雨率和傳感器性能之間的定量方程。這里設計和驗證是在降雨率易于控制的模擬環境下進行的。即使沒有進行現場驗證，結合適當的降水感知模式，現在完全有可能知道，根據降雨率激光雷達性能何時下降到臨界水平。這一點，通過設置可量化的基準有助于大大簡化決策過程。

在除了1550nm波長的新激光雷達技術出現之前，攝像頭仍然是雨中感知增強的主要焦點，主要是在去雨技術方面，計算機視覺領域對此進行了深入研究。雨滴的檢測和清除，可分為下降雨滴和攝像機保護罩的附著雨滴。為了去雨，已經使用了幾種訓練和學習方法，包括Quasi-Sparsity-based training和持續學習等。

雖然已經使用各種訓練和學習方法對去雨進行了廣泛的研究，但大多數算法都遇到了附著雨滴的挑戰，并且在降雨率或場景動態性較高時表現不佳。考慮到假定的光學條件得到滿足，附著雨滴的檢測似乎很容易實現，但實時去除附著雨滴，不管性能如何，不可避免地會帶來處理延遲的權衡。PSNR和SSIM方法雖然得到了廣泛的應用和微弱的改進，但與深度學習和CNN相比，在雨滴檢測和去除方面似乎差多了。

2 霧

霧在惡劣天氣條件下的感知增強起著重要作用，主要原因有兩個。首先，霧室測試環境的快速發展，其次，各種天氣（包括潮濕天氣、薄霧和灰塵）的霧格式通用性，換句話說，都是相對均勻的方式降低能見度。

一種在霧和濃煙條件下對測距進行在線波形處理的想法如下：與傳統的TOF激光雷達不同，采用RIEGL VZ-1000激光器通過反射特性（反射率和方向性）、尺寸、形狀和相對于激光束的方向等特征來識別目標；這意味著，該回波數字化的激光雷達系統能夠記錄目標波形，從而通過其波形來識別被檢測目標性質，即霧和濃煙；此外，由于霧引起的振幅衰減速率與霧的密度有關，因此對能見度距離分類，過濾掉不屬于該范圍的假目標。

盡管該實驗被限制在一個非常近的范圍內（30米），但為恢復隱藏在霧和煙霧中的目標鋪平了道路，只要信號功率保持在指定的水平以上，不管衰減和散射效應如何。能見度太低的話，比如低于10米，幾乎完全不能檢測。最重要的是，波形識別的概念將多回波技術引入商業激光雷達的市場。

SICK AG公司開發了一種HDDM+（High Definition Distance Measurement Plus）技術，該技術以極高的重復率接收多個回波；其MRS1000 3D激光雷達能夠識別霧、雨、塵、雪、樹葉和柵欄的波唯一性，并且在很大程度上保證了目標檢測和測量的準確性。其還能夠設置感興趣區域（ROI），其邊界基于最大-最小信號以及最大-最小檢測距離建立。這種技術為解決暴雨和其他極低能見度條件下的成塊霧問題提供了非常有希望的解決方案。

無論如何，波形識別和多回波處理是目前激光雷達感知增強的主要指導思想，如果半導體技術能夠跟上市場需求的步伐，它應該能夠表現出更大的潛力。

毫無疑問，激光雷達和雷達的結合也可以解決霧的情況。比如一種以激光雷達和雷達為特征的Multimodal Vehicle Detection Network（MVDNet）：它首先從兩個傳感器提取特征并生成提議，然后多模式融合處理區域特征，改進檢測；基于Oxford Radar Robotcar創建了訓練數據集，評估結果顯示，在霧天條件下，其性能比單獨使用激光雷達要好得多。

還有一種思路是，在檢測后從3D點云中消除霧：使用強度和幾何分布分離cluster，并定向和移除。其中的限制是，實驗環境是室內實驗室，算法設計用于建造工作條件能見度太低的搜索/救援機器人，無法適應在遠區存在光束發散和反射的室外駕駛場景。但這也提醒人們去噪方法，即在霧天條件下的去霧技術。

由于圖像采集傳感器對外部環境的敏感性，特別是在有霧的天氣下，戶外圖像將經歷嚴重退化，如模糊、低對比度和顏色失真。這一點對特征提取沒有幫助，對后續分析有負面影響。因此，圖像去霧（de-hazing）技術受到了廣泛的關注。

圖像去霧的目的是消除惡劣天氣的影響，增強圖像的對比度和飽和度，恢復有用的特征?？傊?，從霧的輸入估計干凈的圖像。目前，現有的方法可分為兩類：一種是基于圖像處理的非模型增強方法（直方圖均衡、負相關、同態濾波器、Retinex等），另一種是基于大氣散射模型的圖像恢復方法（對比度恢復、人機交互、在線地理模型、偏振濾波等）。前者雖然可以提高對比度，突出紋理細節，但沒有考慮霧圖像的內在機制。因此，場景深度信息得不到有效利用，會導致嚴重的顏色失真。后者根據大氣散射的物理模型，從輸入中推斷出相應的無霧圖像。一般來說，模型本身是一個不適定問題，這意味著其求解涉及許多未知參數（如場景深度、大氣光等）。因此，許多去霧方法將首先嘗試在某些物理約束下計算未知參數中的一兩個，然后將其組合到恢復模型中，以獲得無霧圖像，如圖所示：

最近基于物理先驗的單一圖像去霧算法仍然是焦點。通常先對模型參數的約束、先驗或假設進行預先定義，然后在大氣散射模型的框架下恢復干凈圖像，如對比度先驗和光線假設。然而，推斷這些物理先驗知識需要專業知識，并且在應用于不同場景時并不總是有效。隨著深度學習理論的發展，越來越多的研究者將這種數據驅動的方法引入該領域。

盡管該領域已經接近成熟，主流方法仍然使用合成數據來訓練模型。因為收集一對有霧和無霧的真實圖像需要捕獲具有相同場景亮度的兩幅圖像，這在真實道路場景中幾乎是不可能的。不可避免地，現有的去霧質量標準僅限于非參考圖像質量標準（NRIQA）。最近的工作開始使用專業的haze/fog generator收集霧數據集，該發生器模擬霧場景的真實條件，或多個天氣疊加結構，該結構通過添加、交換和組合組件生成具有不同天氣條件的圖像。希望這一新趨勢能帶來更有效的指標，并推動現有算法在ADS上的部署。

3 雪

雪天感知分為兩個分支：一是降雪造成的信號或圖像清晰度下降，就像雨滴一樣，降雪速度較慢，但體積較大；另一個是由于積雪導致的尋路問題，這在早期階段就已經引起了自主機器人的注意。

由于雪的白色與路面相比非常明顯，因此簡單的思路可以通過不同的RGB元素值來區分可駕駛和不可駕駛路徑，然后應用基于對雨天或雪天捕獲的圖像灰度值建模的濾波算法來實現去除。雖然在路邊積雪的情況下相當簡單，但這也為在雪天條件下處理同樣的問題打下了良好的基礎。

降雪應對方法再次回歸到去噪技術，即使對激光雷達點云也是如此。

攝像頭的除雪技術與除霧技術類似，比如一種用于除雪的deep dense multi-scale network（DDMSNet）：雪首先由一個粗清除網絡進行處理，該網絡包括三個模塊：預處理模塊、核心模塊和后處理模塊，每個模塊包含dense block和convolution block的不同組合；輸出是一個粗略的結果，其中降雪的負面影響被初步消除，并被饋送到另一個網絡以獲取語義和地理測量標簽；DDMSNet通過自注意從語義和幾何先驗中學習，生成無雪的干凈圖像。有趣的是，Photoshop可以從城市景觀和KITTI數據集中創建大規模的雪景圖像來進行評估。

要生成雪，可分三步來做：首先，OpenGL用深度信息重建3D真實場景；然后根據物理和氣象原理將雪花分布到場景中，包括來自風、重力或車輛位移速度的運動模糊；最后，OpenGL在真實圖像中渲染雪花。深度信息對于重建場景至關重要，因此圖像要么從立體視覺攝像機或現實世界的其他傳感器（如上述兩個數據集）采集，要么從深度信息完全可量化的模擬器（如Vires VTD或CARLA）采集。雪花有兩種形式：2-D的扁平晶體（flat crystal）和3-D的三對垂直四邊形（perpendicular quads）構成的厚聚合雪花，這確保了合成的雪看起來盡可能接近真實。毫無疑問，利用合成的雪和霧圖像去噪可以幫助機器學習，并在惡劣天氣條件下大大增強攝像頭的感知能力。

4 光有關的因素

盡管強光和眩光對AV有嚴重影響，但專門針對光有關問題的解決方案非常有限。通常的想法是依靠某些融合模式的冗余和魯棒性，配備了與強光無關的傳感器，這使眩光檢測或強光感知成為這樣的工作。

在自主駕駛中一個陽光眩光數據集，稱為Woodscape，包括天空的直射陽光或干燥道路的陽光眩光、潮濕道路被陽光眩光抹去的路標、反射表面的陽光眩光；眩光是通過圖像處理算法檢測，有幾個處理模塊，包括顏色轉換、自適應閾值、幾何濾波器和斑點檢測，并用CNN網絡進行訓練。

眩光和強光可能不容易去除，但在計算機視覺領域，借助吸收效應（absorption effect）、無反射閃光線索和照片曝光校正技術，類似條件下的反射相對還是可去除的。該原理遵循反射對齊和傳輸恢復，可以很好地消除圖像的多義性，特別是ADS中常用的全景圖像中。它僅限于可識別的反射，在極強光線下會失效，因為無法獲得圖像內容知識。同樣的原理也適用于陰影條件，其中原始圖像元素完好無損，某些區域的亮度稍低。這種圖像處理使用與前類似的計算機視覺技術，也可以先生成陰影，然后去除陰影。Retinex算法也可用于弱光條件下的圖像增強。

至于高溫道路上的幻景效應，它有一個弱點：道路上的高溫區域是固定的，并且符合地平線的特征。由于激光雷達和雷達的存在，反射和陰影條件不會威脅到成熟的ADS。

5 污染

污染嚴重影響ADS傳感器的感知，就像侵入傳感器視線一樣。例如，備用攝像機的污染效應如圖所示：

因此，污染讓系統的魯棒性和適應性面臨著嚴峻的考驗。Valeo公司有團隊創建了一個名為SoilingNet的數據集，該數據集同時具有不透明和透明污漬，并開發了一種基于GAN的數據增強技術，用于自動駕駛的攝像頭鏡頭污漬檢測。與雨或雪不同，一般土壤通常被認為是不透明或半透明的，因此互補傳感方法可能無法在足夠的精度下執行。Valeo團隊再次從人工污漬圖像生成開始，因為在實際駕駛條件下無法同時獲取污漬圖像和相同的干凈圖像。CycleGAN網絡將生成具有隨機污漬的圖像，該圖像提供從語義分割網絡獲得的模糊掩碼，該語義分割網絡對生成的污漬圖像應用高斯平滑濾波器，最后，污染圖像的合成版本由原始圖像和通過掩碼估計的污染圖案組成。唯一的問題是，CycleGAN不受污染圖像設計區域的限制，而是對整個圖像進行變換，因此他們僅對掩碼區域施加限制，并將網絡修改為新的模型DirtyGAN。此外，該DirtyGAN根據數據集Woodscape生成了一個Dirty數據集，并且基于城市景觀數據集的退化評估進行驗證?？梢哉f，一旦ADS能夠檢測到污染，就可以啟動雨刷或噴霧器等機械設備去除了。

SICK 傳感器公司的microScan 3安全激光掃描器可以抵抗嚴重污染。此近距離安全監視器用845nm激光器掃描275? 角度，在室外天氣條件下可用前面提到的HDDM+進行工作。該傳感器的亮點在于，即使鋸末（sawdust）等污染附在發射器遮蓋窗口情況下，仍然可以檢測到附近存在的目標，而不會出現假警報，這得益于其難以置信的寬掃描角度和以0.1? 角分辨率發射多個脈沖的能力。當污染在極端惡劣的條件下打敗了幾乎所有傳感器時，這種傳感器有潛力成為為AV和障礙物之間的最終屏障。

五、分類和評估

1 天氣分類

天氣分類是指在單個圖像上區分清晰與否等幾類天氣分類。進一步的機器學習技術，如核學習，實現了晴天、雨、霧和靜態雪等多類天氣分類。這一階段分類任務是通過設置具有各種天氣獨特特征的分類器來實現的。陽光特征來自圖片的晴空區域，形成高多維特征向量；當天空元素未包含在圖片中時，具有可靠邊界的強陰影區域成為晴朗條件的指示器。雨天痕跡在圖像中很難被捕獲，因此從圖像中提取特征作為雨特征向量。降雪被視為噪聲，具有特定灰度的像素被定義為雪花。霧由暗通道確定，其中一些像素在至少一個顏色通道（即暗通道）中具有非常低的強度。隨著人工智能技術的發展，機器學習神經網絡（如深度CNN）被采用，增強特征提取和學習性能。

注：配備V2X或V2I設施的傳感器，完成天氣分類的工作方式相同，但需要額外的數據傳輸步驟。

2 能見度分類

能見度定義最初是作為人類觀察者的主觀估計。為了測量meteorological quantity，或者說大氣透明度，它客觀地定義meteorological optical range （MOR）。在自動駕駛的情況下，當能見度被量化為特定數字時，通常意味著MOR。例如，Foggy Cityscapes數據集中的霧場景，其每個不同版本都有一個恒定的MOR。由于天氣條件往往會導致不同程度能見度下降，因此有助于提高ADS能見度下降的意識，檢測錯誤和提前避免碰撞。目前，能見度分類很大程度依賴于基于攝像機的神經網絡方法，并按幾十米間隔的距離分類，而不是精確值。考慮到攝像機在ADS的低成本和不可替代的地位，這個問題也得到了很好的研究。

事實上，在氣候學天氣和能見度之間存在著相關性，幾十年前就有人對駕駛員能看到的距離與降水率之間的對應關系進行了研究。這種類型的一對一對應關系圖在相當長的范圍內工作，因為大多數預處理不會將道路能見度降低到1km以下，遠離當前AV的視覺關心點。能見度危機主要來自雨天的水幕和薄霧，有時這不僅僅取決于降雨量。似乎只有能見度通常低于幾百米的濃霧/污染煙霧或沙塵暴，才以這種直接方式考慮。

3 風險評估

無論人工駕駛還是AV，有一個重要的定義，稱為Stopping Sight Distance（SSD）。根據美國國家公路運輸協會（AASHTO）定義，SSD是反應距離（假設人的反應時間為2.5 s）和制動距離（減速率為3.4 m/s2）的總和。作為參考，設計SSD在60 km/h的速度下通常為85 m?？紤]到機器的響應速度應比人類快，有假設AV的反應時間為0.5 s（至少15個圖像幀，或5個激光雷達幀，或20個雷達幀），這意味著AV的SSD要短得多，安全挑戰也要大得多。Mobileye提出了AV安全的RSS模型，其最重要的規則是“不要撞到前面汽車”的縱向距離控制。

當惡劣天氣來襲時，有兩種可能會對這些基本安全規則構成威脅：（1）受損的傳感器，如臟攝像頭，會失去部分能見度或失去視線上的周圍部分環境，（2）惡劣天氣條件，如細水霧（mist）或濃霧，會將能見度降低到低于SSD的臨界水平。

這種情景大大增加了輸入變量的不確定性，破壞了預設的安全標準和閾值。與復雜的道路場景類似，當AV很難檢測或預測行人或自行車時，在可疑位置提供如激光雷達點云足夠密集的信息，以便根據能見度提前調查風險水平，這是有意義的。風險評估或可靠性分析模塊應納入與能見度相關的所有決策和控制過程，以確保在任何可能和不可預測的條件下AV的最大安全性。

六、制圖和定位

1 SLAM

SLAM方法廣泛應用于機器人和室內環境，在室外不會經常面臨潮濕天氣的挑戰。然而，不同季節特征描述子的變化在一定程度上影響了SLAM的準確性。除了季節變化外，氣候引起的影響，包括樹木落葉和生長以及地面被雪覆蓋也是部分原因。

為了解決SLAM的魯棒性問題，SeqSLAM可以識別連貫導航序列而不是匹配單個圖像，這算是SLAM在光線、天氣和季節變化條件下的早期改進。SeqSLAM在不同運行中假設良好對齊，這是一個弱點，可能導致未cropped圖像或不同幀率序列的性能較差。更進一步的改進，首先用深度卷積神經網絡（DCNN）從兩個給定序列中提取全局圖像特征描述子，然后利用一個相似矩陣的序列信息，最后計算序列之間的匹配假設，實現不同季節數據集的閉環檢測。

盡管視覺SLAM可能已經變得非常強大，但地圖在必要信息方面的不足（與表觀變化無關）仍然是SLAM的主要問題之一。隨著時間推移，定位漂移以及地圖在各種駕駛條件下的耐用性不足也阻礙了SLAM進行長距離導航，與自主駕駛中基于預建地圖的定位相比，顯得缺乏競爭力。

2 先驗地圖

用于比較和匹配、用于定位目的的在線讀取的、參考預建地圖稱為先驗地圖，這是目前ADS定位的主要力量。保證基于先驗地圖點云匹配精度的一個關鍵方法是地標搜索?，F在AV駕駛最直接的方法是讓AV像人類一樣思考和行為。人如何處理低確定性定位的一個典型例子，是日本北海道的雪柱“Yabane”（雪柱上的向下箭頭），如圖所示：箭頭指向道路邊緣，并且在夜間閃爍或反光，因此駕駛員可以大致了解其在道路上的相對位置，并防止其偏離和離開路邊。

在自動駕駛的早期階段，radio frequency identification（RFID）技術被用于機器人在受控環境中和ODD的定位。當機器人到達一米或兩米范圍內時，天線可以讀取路線檢查點嵌入RFID標簽的地理信息。工廠或倉庫中的AGV（Automatic Guided Vehicles）仍在使用此類方法。有了V2I通信，AVs可以享受相同的定位特權。鑒于標記的存在被認為是固定的，AV定位的標記搜索基本思想應運而生。

像福特這樣的企業與主要從事詳細3D先驗地圖的公司密切合作，他們的自動Fusion轎車將用攝像頭或激光雷達在路邊尋找停車標志或其他標志桿等標記，并通過計算其與先驗地圖中這些標記的相對距離來感知其自位置。雖然聽起來很簡單，但這仍然使福特能夠在不增加硬件成本的情況下，以厘米為單位準確定位AV。然而，潛在的成本和困難在于不斷更新和維護先驗地圖，這也是地圖公司正在努力的方向，以實現更智能、更高效的系統。

3 傳感器解決方案

ADS中所有參與的傳感器，激光雷達、雷達和攝像頭，都有機會在惡劣條件下進行定位，而多傳感器位置識別被證明更為穩健。Oxford Robotcar數據集的雷達擴展部分僅使用Navtech雷達在雨雪中完成地圖構建和定位，這要歸功于雷達在惡劣天氣下的特殊性。出現一種用多分辨率高斯混合圖的魯棒激光雷達定位方法：其將點云離散為二維網格，并在z軸上擴展高斯混合分布；這有助于將點云壓縮為具有參數化表示的壓縮2.5D圖；該方法，在各種道路紋理條件下（包括建筑）以及在惡劣天氣（如下雪）下，具備導航的能力；測試表明，與傳統的基于反射率的定位（不算是一個問題）相比，正常市區條件下的均方根（RSM）誤差略有增加，這樣下雪條件下橫向和縱向的RSM誤差率降低了80%左右。

4 橫向定位

除了沿道路行駛方向外，車輛在垂直于行駛運動的橫向定位也同樣重要，因為巡航時保持在車道內是一項重要的交通規則，也是安全駕駛的保證之一。在惡劣天氣條件下，橫向定位面臨的挑戰是，用于正常定位的許多元素，如車道線、路緣、路障和其他地標，以及感知傳感器，目前可能不可用或受到影響。在一些寒冷的地方，即使在晴天，道路也可能被積雪覆蓋；雨雪天氣下，激光雷達或攝像機接收到的噪音或干擾，可能會阻塞重要的參考車道標記；因此，在這種情況下，AV很難在正確的車道上轉彎或通過十字路口。

路邊的積雪為激光雷達創造了具有不規則分布的尖銳灰度峰值，而雪雨天氣產生的濕元素在道路上留下了低反射率的線條。老路的磨損和樹枝伸入道路空間的植被有時也會造成反?，F象。這些會使激光雷達對車道線的實際位置和道路區域的邊界產生混淆，從而導致錯誤的橫向移動。

七、規劃和控制

1 規劃

天氣對全球路線規劃的影響可能還沒有進入人們的視野，因為需要長距離的實地測試，不可預測天氣達到的條件難以滿足。但是，想象一下，颶風或洪水等極端天氣造成的氣象災害或地質災害，道路損壞或對戶外活動構成威脅，全球路徑規劃模塊必須調整其原始路線并在受影響區域周圍讓AV導航。與智能手機上的導航功能類似，地圖應用程序可以在途中提醒客戶發生事故或道路作業，并在預計時間因情況而延長時自動去優化路線。CERI（The Civil Engineering Research Institute of Cold Region）冰雪研究團隊在日本北部地區開發一項廣域信息提供服務，該地區積雪普遍存在，可以向司機的手機發送有關當前降雪、能見度和預測信息的警報或電子郵件，并提供暴風雪周圍的繞道選擇。對AVs，這種功能依賴于互聯網連接設備和海量數據挖掘，因此，在天氣條件下，像這樣的任務，需要物聯網或至少車-車（V2V）聯網，就像洪水警報系統一樣。

值得一提的是，冬季駕駛模式和道路磨損預防，是當地路線規劃中的一個關注問題，因為自主駕駛是一個不斷完善的過程：如果穿梭服務AV反復駕駛同一條路線，且其駕駛路線沒有任何變化，隨著時間的推移，其行駛路線的精度將接近厘米，道路將面臨磨損的凹槽，或在冬季面臨危險的滑道。

2 控制

毫無疑問，惡劣天氣條件下的車輛控制或決策模式不會為了適應而保持不變。一個典型的例子是：AV在道路上遭遇雷雨，能見度驟降（plummeting）；AV必須進行調整以應對不利條件，包括減速、針對低能見度和潮濕路面激活應對策略等。眾所周知，當路面潮濕或結冰時，制動距離會更長，追尾碰撞的風險會大大增加。根據對車速為80 km/h時車輛制動距離的研究，雨、雪和結冰路面條件下的道路摩擦系數分別為0.4、0.28和0.18，而平均干燥路面摩擦系數約為0.7?？紤]到公共汽車或卡車自身的高慣性，雨天條件下的制動距離變化不大，但轎車的制動距離增加了10米；在下雪條件下，制動距離增加28%，在結冰條件下，制動距離大幅增加71%，普通轎車可達180米，卡車和公共汽車可達300米。這一驚人的數據在提醒大家，在惡劣條件下，尤其是路面潮濕或結冰時，AV的行為需要進行某些調整。大量延長的制動距離需要更長的跟車距離，必要時可能需要更低的巡航速度。

當路況發生變化時，可能還需要為某些類型的車輛切換牽引模式。因此，對AVs造成的天氣影響直接產生了行為調整需求。

在大風（gale）天氣或在大面積水域的橋梁上行駛時，車輛承受與車輛行駛方向垂直的巨大作用力。這稱為側滑（side-slip），通常由側風（crosswind）引起。側風穩定（Crosswind stabilization），通常是ESC（electronic stability control ）系統的任務，它穩定車輛的橫向運動，以防止打滑。然而，當車輛開始打滑時，作為冗余，ESC系統被延遲啟動，使用制動器糾正對yaw reference model的偏差。對于ADS，最好采用比人工駕駛更具判斷力的主動式轉向控制模式。

除了算法模型，業界更關注AV控制的實際性能。風險評估是運動規劃和控制的主要基礎，而天氣條件會幾何增加風險指數和控制難度。上述打滑和牽引力損失導致的輪速計與實際車輛運動不匹配不僅對自車的定位構成威脅，而且對AV控制的成功執行也構成威脅。自主駕駛技術提供商Sensible4公司采用多個傳感器監控車輪的控制堆棧。實際加速度、車輪轉速和車輪角度信息，對于控制模塊進行正確修改和保持精確控制，至關重要。至少可以說，這是L4級或更高級車輛的遙控器，沒有安全駕駛員。工作人員將坐在遠程控制中心監控AV的運動和數據，并在必要時接管。

最后，有一點并非最不重要，當乘客舒適度在很大程度上取決于AV的控制算法時，ADS不應忽視這一點。應避免不必要的加速和突然制動，以獲得乘客的最佳駕駛體驗，但這還不是全部。如果有任何不利的駕駛條件，對AV行為的不信任和缺乏信心，擾亂了人們的神經。因此，為了確保消費者的安全，安裝信息顯示系統，如HUD（heads-up displays），特別是在低能見度條件下，提示AV即將出現的運動，這仍然可以被視為技術公司和制造商的良好選擇。

八、輔助方法

1 路面檢測

最初，路面檢測旨在對瀝青、草、礫石、砂等道路類型進行分類，以更好地提供牽引能力。另一方面，路面狀況的變化是天氣狀況，特別是潮濕天氣的直接結果，因此，將路面檢測視為天氣分類的輔助手段是很自然的。雖然由于高溫，幻覺效應也會發生在道路表面，但它更多的是與光有關的情況，而不是道路的物理變化。

濕滑路面對交通安全構成實際威脅。道路狀況的信息可能與汽車的天氣狀況一樣重要。除了道路摩擦或環境傳感器外，還可以通過多種方式確定干燥或潮濕條件。一個基于視覺的DNN可以估計道路摩擦系數，因為使摩擦減小的干燥、光滑、泥濘和結冰表面，基本上可以被識別為晴朗、雨雪和冰凍天氣。

路面檢測也可以以我們意想不到的方式執行：音頻。在不同路況或不同濕度條件下，車速、輪胎表面相互作用和噪音的聲音可能是獨特的，因此有理由訓練一個深度學習網絡。存在一個問題，即車輛類型或輪胎類型可能會影響這種方法的通用性，以及在AVs上安裝聲音收集裝置的不確定性難度。

2 航空視圖

早在引入自動駕駛之前，激光雷達技術就被廣泛應用于地理測繪和氣象監測。地質、水文、林業和植被覆蓋率可以通過安裝在飛機甚至衛星的激光雷達進行測量。航視優點是視野覆蓋范圍非常大，障礙物比從地面看的要少。隨著UAV（Unmanned Aerial Vehicles ）等無人機技術的快速發展，俯視圖交通感知變得越來越現實，俯視圖可以看到地面上看不到的東西。例如，在交叉口，AV只能根據其領車而不是超出可見范圍的東西進行操作，然而，UAV可以看到領車的領車，并預見遠離AV的風險，提前避免事故。航空激光雷達使AV自感知進入宏觀視角。

目前阻礙航空激光雷達部署到ADS中的最大問題是傳輸和通信。如果沒有先進的無線信道，很難從一定距離將無人機的數據或決策實時傳輸到AV，更不用說，鳥瞰圖不足以覆蓋隧道和高架道路常見的現代城市環境。因此，盡管航空圖像分割和目標檢測的研究正在進行，但目前的主要用途是靜態任務，如結構檢查。

3 路邊裝置 （RSU）

路邊激光雷達與汽車頂部不同的角度，已經開始參與自動駕駛。與鳥瞰裝置類似，安裝在桿上的路邊裝置（RSU）激光雷達也具有廣視角，并且在下雨天不會受到水幕的影響，也不會受到周圍車輛在下雪天氣造成的卷雪影響。稍微向下的角度也可以避開一些直接的陽光。如果有可用的連接系統，AV可以利用路邊激光雷達捕獲的數據，并進行更好的規劃。有時，當天氣條件太惡劣，任何傳感器都無法在濃霧等狀態下可靠工作，路邊激光雷達提供的數據可以作為冗余，配合ADS在AV上做出的決策，減少重要位置的事故。

通過連接車輛系統或V2X系統，路邊激光雷達至少可以從其自身位置向附近車輛提供天氣分類信息和感知數據，這已經比單獨工作的AV要好。世界上的幾個城市，如密歇根州的安娜堡、西班牙巴塞羅那、中國廣州，已經啟動了他們的智能城市項目，數千個路邊激光雷達和傳感器將安裝在城市基礎設施上，并形成一個巨大的本地連接系統?？梢韵胂?，如果路邊有先進的天氣感知傳感器，那么惡劣的天氣難題將更容易解決。

4 V2X

V2X系統是智能交通系統（ITS）和ADS發展中不可忽視的一部分。無論經驗豐富的駕駛員熟練程度如何，由于駕駛員之間道路信息不對稱和反應時間短，事故仍然會發生。V2X系統將信息收集范圍從一輛車的感知擴展到道路上幾乎所有元素感知。這里的“一切”或X可以指其他車輛、路邊基礎設施、甚至行人。要將行人納入V2X或進一步的物聯網（IoT）系統，需要先進的可穿戴設備或通用智能手機技術支持。一般V2X，主要是車對車（V2V）和車對基礎設施（V2I）的惡劣天氣解決方案。

V2V的核心是連接車輛（CV）之間的信息共享，這從根本上消除了信息不對稱問題。在正常情況下，由于地形或交叉口的原因，車輛前方的卡車或視線以外的車輛等視覺障礙，是發生事故的高風險。通過V2V技術，自車能夠從另一輛車上獲取感知數據和位置信息，而另一輛車的視野目前無法到達，因此駕駛員或自車可以通過附加信息做出正確決策和調整行為來避免事故。在惡劣天氣方面，首次體驗或感知到天氣狀況或路面狀況變化的車輛可以在其他車輛到達該位置之前進行天氣評估，然后將感知數據或評估結果轉發給其他車輛，以提醒他們注意危險。

如果不利條件導致交通堵塞或事故，后面的車輛可以根據實時收集的信息規劃新路線，以提高交叉口和建筑工作區的效率和安全性。有了V2V技術，卡車在公路或碼頭區域的車隊安排（platooning）將成為ADS的第一個成熟應用。近90%的駕駛員發現，前方碰撞警告和改道功能非常有用，因為其改進了路況信息。因此，可以肯定地說，V2V可以給ADS帶來的改進是毋庸置疑的，不過其關鍵技術在于同步、定位和協同。

另一方面，V2I不如V2V流暢，但在智能傳輸方面仍有很大潛力。如圖所示即V2I布置。

除了天氣信息服務或具有自己的天氣感知能力時在特定路段提供警報外，V2I還提供了基于多圖像的去風化（de-weathering）的可能性。通過在晴朗天氣下拍攝特定場景的圖像并將其預先存儲在基礎設施中，可以輕松重建不受天氣（雨、霧、雪等）干擾的3-D模型，并將其提供給附近的車輛，幫助在低能見度和不完整的道路信息下安全導航。當然，這樣的功能需要在基礎設施和車輛之間進行實時視頻（快速圖像）共享。這就需要對大容量激光雷達點云數據進行壓縮以進行V2X傳輸，也是電信界致力于V2X通信方法實現更高帶寬和更低延遲的原因，如第五代無線技術，即5G從服務器訪問此類視覺數據并在車輛之間傳輸。

與感知方法一樣，V2X的架構也在不斷改進，以更好地應對天氣條件。有一個有趣的平臺叫OpenXC，是一個API，結合了開源軟件和硬件，用定制的應用程序和模塊擴展車輛。大多數應用程序都基于Android，可以讀取和翻譯汽車指標，最重要的是，它們已準備好連接服務集成。舉兩個與惡劣條件相關的例子：Night Vision項目，Nighttime Forward Collision Warning，使用標準USB網絡攝像頭捕捉目標的邊緣進行目標檢測，并幫助避免動物或障礙物碰撞。Brake Distance Tracking項目裝有SICK DMT-2激光雷達傳感器測量車輛之間的距離，并在駕駛員接近其他動量過大的車輛時發出警告。這些設置看起來很簡單，但它們都運行在Android平臺上，比如可以訪問傳感器數據和實時車輛數據的平板電腦。這意味著，只需再多走一步，就能形成一個連接這些安卓設備和中央連接的CV網絡。憑借其開放的兼容性和集成靈活性，OpenXC是簡化的方式探索V2X的一個很好候選。目前，物聯網作為智能領域的全球平臺，正在一次一個地為ADS中的安全問題服務，因此毫無疑問，憑借豐富的天氣和道路數據，物聯網系統的可靠性和多功能性將使自動駕駛成為現實。

5 其他

惡劣的天氣條件給人類駕駛員帶來了挑戰和影響。因此，一些設計用于增強人類駕駛員的解決方案仍然可以用于AV。下雨或下雪時能見度會下降，尤其是在晚上的時候。當數字圖像中的雨雪條紋在計算機視覺中成為一種趨勢時，有人研究一種智能汽車前照燈，通過禁用與雨滴或雪花顆粒相交的光線來穿透雨雪。在光吞吐量損失很少的情況下，跟蹤并避免在雨滴上的照明，成功地實現了明顯的能見度改善。鑒于車載攝像頭現在看到的與當時人類駕駛者看到的沒有太大區別，這種智能頭燈也應該能夠提高ADS的能見度。

隨著近年來人工智能技術的快速發展，在ADS應用中不可能繞過機器學習的新方法，包括惡劣天氣解決方案。例如，NVIDIA DRIVE對DNN的主動學習。主動學習從標記數據上經過訓練的DNN開始，然后對未標記的數據進行排序，并選擇它無法識別的幀，然后將幀發送給人工標注，并添加到訓練池中完成學習循環。在夜間場景中，雨滴模糊了鏡頭，很難檢測到帶雨傘和騎自行車的行人。事實證明，主動學習的準確度要高出3倍以上，并且能夠避免誤報檢測。其他新興的機器學習方法，如遷移學習和聯邦學習，在強健的人工智能基礎設施上也非常有效。

九、工具

1 數據集

自主駕駛研究離不開數據集。目標檢測任務中使用的許多特征需要從數據集中提取，幾乎所有算法都需要在數據集中進行測試和驗證。為了更好地應對自動駕駛中的不利天氣條件，必須在數據集中有足夠的多樣條件覆蓋各種天氣。不幸的是，大多數常用于訓練的數據集并不包含太多與晴朗天氣不同的條件。在熱帶地區收集的一些著名數據集，如nuScenes包含新加坡的一些降雨條件，A*3D包含夜間降雨條件，ApolloScape包含一些強光和陰影條件。

研究人員收集了他們生活領域中常見的天氣數據，或者使用模擬仿真建立自己的天氣數據集。密歇根大學在早期階段使用Segway機器人收集了四季的激光雷達數據。第一個專門關注雪況的AV數據集，是CADC（Canadian adverse driving conditions）數據集。加拿大滑鐵盧大學的8臺攝像機、激光雷達和GNSS+INS收集了冬季的變化。他們的激光雷達也通過去噪方法進行了修正。大量的雪存在使研究人員能夠在各種雪況下測試目標檢測、定位和地圖，這在人工環境中很難實現。Oxford RobotCar是早期的數據集之一，該數據集對不利條件（包括大雨、大雪、陽光直射和夜間，甚至道路和建筑工程）進行了加權。有團隊對Cityscape 數據集應用霧合成，生成了具有20000多幅清晰天氣圖像的Foggy Cityscapes，廣泛用于除霧任務。同一團隊后來引入了ACDC，這是一個不利條件數據集，具有相應的密度，用于訓練和測試不利視覺條件下的語義分割方法。它涵蓋了視覺領域，包含高質量的精細像素級語義注釋霧、夜間、雨和雪圖像。

2 仿真器和實驗設備

自動駕駛的快速發展，特別是在惡劣天氣條件下，得益于模擬平臺和實驗設施（如霧室或測試道路）的可用性。如圖所示，著名的Carla模擬器等虛擬平臺使研究人員能夠構建定制設計的復雜道路環境和具有無限場景的非自車參與者，而這些場景在實際現場實驗中極其困難且成本高昂。

此外，對于天氣條件，各種天氣的出現，特別是與季節相關或極端氣候相關的天氣，并非隨時能出現。例如，熱帶地區不可能有機會進行降雪測試；而自然降雨的時間可能不足以收集實驗數據。最重要的是，不利條件通常對駕駛是危險的，受試者在正?，F場測試中總是面臨安全威脅，而絕對零風險是模擬器可以保證的。模擬器為惡劣天氣條件下自主駕駛的研究提供了一個很好的平臺。近年來，各種模擬平臺，包括開源和不開源軟件，已經開發出可調節的天氣條件和“time of day”插件。因此，ADS可以在路上實車測試之前，在模擬器中先進行，以對抗雨、雪、不同降水率的霧和強光。

另一方面，實驗室環境也可以用控制場代替實際現場做測試?？紤]到試驗場地的限制和對周圍人員或設施的安全危害，帶有雨（雪）制造的內室或者封閉式人工軌道，可提供幾乎相同的環境條件，具有可控降雨和低風險的優勢。至少可以說，即使有足夠的資源和適合研究人員需要的完美天氣條件，現行立法機構也很難支持在不利條件和惡劣天氣下做等于或大于4級的自動駕駛測試。

十、總結

隨著先進的測試儀器和激光雷達體系結構中的新技術的發展，在普通潮濕天氣下自動駕駛的性能已經取得了很大的進步。近年來，隨著計算機視覺的發展，雨霧天氣的呃呃處理似乎越來越好，但激光雷達仍有一些改進空間。另一方面，雪，仍處于數據集擴展階段，針對?雪的感知增強還有一些工作要做。

影響的兩個主要來源，強光和污染，在研究和解決方案方面仍然不豐富。無論如何，在對抗惡劣天氣條件方面，具有獨特優勢的各種傳感器如熱像儀和雷達，正積極部署在各種傳感器融合模式中，為導航任務提供強大的強化工具。希望通過大家的共同努力，可以提高ADS的穩健性和可靠性，將自主駕駛研究提升到下一個自動化水平。

參考文獻

1. “Autonomous Driving in Adverse Weather Conditions: A Survey“， arXiv 2112.08936，December，2021
2. “Is it Safe to Drive? An Overview of Factors, Metrics, and Datasets for Driveability Assessment in Autonomous Driving”. IEEE T-ITS，2020.
3. “The impact of adverse weather conditions on autonomous vehicles: how rain, snow, fog, and hail affect the performance of a self-driving car”. IEEE VT magazine，2019.
4. “The perception system of intelligent ground vehicles in all weather conditions: A systematic literature review”. Sensors，2020.
5. “Automated driving recognition technologies for adverse weather conditions”. IATSS research，2019.