視覺攝像機
關(guān)注創(chuàng)建者：匿名 創(chuàng)建時間：2021-09-14
視覺攝像機的實例教程
紅外相機：
利用普通CCD攝像機可以感受紅外光的光譜特性，配合紅外燈作為照明源達(dá)到夜視成像的效果，通常在芯片表面加濾光涂層或在鏡頭中加濾光片濾掉人眼不可見的光以恢復(fù)原來色彩，具有夜視效果。近紅外線的繞射能力雖然可以穿透煙霧、墨漬、滌綸絲綢之類的材料，但是并不能穿透所有絲織物，所以紅外相機是做不到對人體的透視功能的~~~。
除了上述幾種攝像機，其實還有事件攝像機，結(jié)構(gòu)光攝像機，全景攝像機等，在無人駕駛的感知中目前涉及較少。
傳感器特性
視覺攝像機能夠得到豐富的紋理，特征信息，相比毫米波、激光雷達(dá)，采用圖像數(shù)據(jù)能夠?qū)崿F(xiàn)車道線檢測，交通標(biāo)識符檢測，freespace等功能。
展開 無人機導(dǎo)航可以看作是機器人對如何安全、快速地到達(dá)目標(biāo)位置進(jìn)行規(guī)劃的過程，它主要依賴于當(dāng)前的環(huán)境和位置。為了順利完成預(yù)定任務(wù)，無人機必須充分了解其狀態(tài)，包括位置、導(dǎo)航速度、航向以及出發(fā)點和目標(biāo)位置。
到目前為止，已經(jīng)提出了各種導(dǎo)航方法，主要分為三類：慣性導(dǎo)航、衛(wèi)星導(dǎo)航和基于視覺的導(dǎo)航。然而，這些方法都不是完美的；因此，根據(jù)無人機的具體任務(wù)，采用合適的無人機導(dǎo)航系統(tǒng)是至關(guān)重要的。
隨著計算機視覺技術(shù)的飛速發(fā)展，基于視覺的導(dǎo)航成為自主導(dǎo)航的一個主要研究方向。首先，視覺傳感器能夠提供豐富的環(huán)境在線信息；第二，視覺傳感器高度敏感抗干擾能力強，適合感知動態(tài)環(huán)境；第三，大多數(shù)視覺傳感器是被動傳感器，這也阻止了傳感系統(tǒng)被檢測到。基于視覺的無人機導(dǎo)航完整示意圖如圖1所示。
圖1 基于視覺的無人機導(dǎo)航
視覺導(dǎo)航使用視覺傳感器。與GPS、激光閃電、超聲波傳感器等傳統(tǒng)傳感器相比，視覺傳感器可以獲取豐富的環(huán)境信息，包括顏色、紋理等視覺信息。
同時，它們更便宜、更易于部署，因此基于視覺的導(dǎo)航已成為研究領(lǐng)域的熱點。如圖2所示，視覺傳感器通常包括以下幾種：
(a) 單目相機
(b) 立體相機
(c) RGB-D 相機
(d) 魚眼相機
圖2 典型的視覺傳感器。(a) 單目相機，(b) 立體相機，(c) RGB-D 相機，(d) 魚眼相機。
展開 視覺導(dǎo)航系統(tǒng)可以實現(xiàn)無人機在不同光照條件下的自主定位。
SLAM的全稱（Simultaneous Localization And Mapping）即（同時定位與地圖構(gòu)建）是無人機在未知環(huán)境中定位的一種解決方案，對無人機自主飛行的實現(xiàn)具有重要意義。SLAM就是當(dāng)無人機身處一個對于自己來說十分陌生的環(huán)境，并從環(huán)境中未知地點開始運動，運動過程中通過傳感器感知周圍環(huán)境的特征，結(jié)合自身運動狀態(tài)和從環(huán)境中的觀測量恢復(fù)出環(huán)境的3D結(jié)構(gòu)，進(jìn)而到構(gòu)建未知環(huán)境地圖的目的。通過該技術(shù)無人機可以在不依靠GPS信號的基礎(chǔ)之上，根據(jù)周圍的環(huán)境地圖進(jìn)行自主定位。
目前用于SLAM的傳感器主要分為激光雷達(dá)及視覺傳感器兩種，其中激光雷達(dá)常用于地面端，視覺傳感器常用于空中端設(shè)備。本文所描述的是視覺傳感器。
VIO的全稱是Visual-Inertial Odometry，中文名為視覺慣性里程計。對無人機的定位來說，實時性是一個重要的條件，視覺里程計常常要在計算代價和精確度之間做權(quán)衡。VIO可以在同樣的條件下，獲得更好的效果。同時價格成本也是重要的指標(biāo)，相比于昂貴的激光雷達(dá)，攝像機和IMU是低價普適的傳感器。
在《AI視覺無人機這些事兒》中，我們提到了團(tuán)隊關(guān)于這塊的技術(shù)路線及DEMO。以下是相關(guān)進(jìn)展。
技術(shù)路線圖
產(chǎn)品圖片
不受地形高度差限制飛行
高階軌跡飛行
精準(zhǔn)避障穿越小樹林
香港科技大學(xué)的沈老師(Prof. Shaojie Shen) 團(tuán)隊發(fā)布了一個令人振奮的VIO示例，并開源了全部代碼。
展開 AI技術(shù)在無人機的應(yīng)用研究是目前比較熱點的研究方向，像搜索和救援等場景中，無人機利用AI技術(shù)在各種復(fù)雜具有挑戰(zhàn)性的環(huán)境中進(jìn)行目標(biāo)檢索、定位搜救等任務(wù)。
此外，無人機執(zhí)行任務(wù)的飛行環(huán)境也變得越來越復(fù)雜，無人機經(jīng)常需要在橋梁、樓群、室內(nèi)、山林等GPS信號差、存在各種障礙物的環(huán)境中完成目標(biāo)的檢測與定位任務(wù)，這對無人機的導(dǎo)航功能提出了更高的要求。
同時，目標(biāo)物周圍的地形地貌等信息是采取救援等措施的基礎(chǔ)，稠密地圖構(gòu)建也是后續(xù)增援進(jìn)行路徑規(guī)劃的重要前提，在無人機救援等場景中具有重要作用。無人機平臺作為AI的載體，利用機器感知，在高速目標(biāo)識別與定位將會發(fā)揮更加重要的作用。
【關(guān)于Skydio2】
得益于SLAM與人工智能相關(guān)技術(shù)快速發(fā)展，視覺導(dǎo)航相關(guān)技術(shù)在機器人、自動駕駛、小型無人機領(lǐng)域得到了廣泛研究，技術(shù)日趨成熟。
美國Skydio公司分別于2017年和2019年兩度推出具有卓越視覺導(dǎo)航、建圖、規(guī)劃、目標(biāo)跟蹤功能的消費級無人機。
2020年，該公司獲得1億美元融資，并推出了具有視覺自主飛行能力的工業(yè)級無人機Skydio2。
展開 
視覺攝像機的相關(guān)專題、標(biāo)簽、搜索
視覺攝像機的最新內(nèi)容
在現(xiàn)代制造業(yè)中，多品種小批量生產(chǎn)模式正逐漸成為主流，企業(yè)面臨著頻繁換型、空間限制和效率瓶頸等多重挑戰(zhàn)。傳統(tǒng)上料設(shè)備往往占地面積大、調(diào)試周期長，且難以適應(yīng)快速變化的生產(chǎn)需求，導(dǎo)致企業(yè)隱性成本不斷攀升。米思米推出的小型SCARA視覺上料機模塊（https://www.misumi.com.cn/pr/me/seo/shangliaoji202508/），正是針對這些痛點而設(shè)計的創(chuàng)新解決方案。它通過高度集成化的設(shè)計
攝像機，攝像機種類繁多，它的品牌攝像機，它的基本原理都是一樣的：把光學(xué)圖像信號轉(zhuǎn)變?yōu)殡娦盘枺员阌诖鎯蛘邆鬏敗．?dāng)我們拍攝一個物體時，此物體上反射的光被攝像機鏡頭收集，使其聚焦在攝像器件的受光面（例如攝像管的靶面）上，再通過攝像器件把光轉(zhuǎn)變?yōu)殡娔埽吹玫搅恕耙曨l信號”。光電信號很微弱，需通過預(yù)放電路進(jìn)行放大，再經(jīng)過各種電路進(jìn)行處理和調(diào)整，然后得到的標(biāo)準(zhǔn)信號可以送到錄像機等記錄媒介上記錄下來，或通過傳播系統(tǒng)傳播或送到監(jiān)視器上顯示出來
IPC：其實叫“網(wǎng)絡(luò)攝像機”，是IP Camera的簡稱。它是在前一代模擬攝像機的基礎(chǔ)上，集成了編碼模塊后的攝像機。它和模擬攝像機的區(qū)別，就是在新增的“編碼模塊”上。模擬攝像機，顧名思義，輸出的是模擬視頻信號。這個新增的編碼模塊就出現(xiàn)了，就是為了把原來模擬視頻編碼壓縮后，變?yōu)閿?shù)字視頻，為了方便在網(wǎng)絡(luò)上傳輸，把數(shù)字視頻封裝為網(wǎng)絡(luò)格式的，以適合在以太網(wǎng)上傳輸。我們就叫這新的攝像機為“網(wǎng)絡(luò)攝像機”，簡稱
傾斜攝影建模應(yīng)用越來越廣泛，例如
- 城市三維建模： 使用傾斜攝影技術(shù)可以獲取建筑物、道路等城市環(huán)境的高精度三維模型，為城市規(guī)劃、地理信息系統(tǒng)（GIS）等領(lǐng)域提供支持。
- 土地管理和規(guī)劃： 通過傾斜攝影，可以獲取大范圍土地的高分辨率影像，用于土地利用規(guī)劃、土地管理和監(jiān)測。
- 基礎(chǔ)設(shè)施監(jiān)測： 對于基礎(chǔ)設(shè)施如橋梁、管道、電力線路等的監(jiān)測和維護(hù)，傾斜攝影提供了高分辨率
第一次著陸將在白天進(jìn)行，因此導(dǎo)航和著陸只需要視覺攝像機即可；該公司將為未來可能進(jìn)行的夜間著陸增加激光雷達(dá)傳感器。在月球上的14天里，航天器將在NOVA-C進(jìn)入月球黑夜之前進(jìn)行各種實驗，因為月球表面的溫度在夜晚會降至極低水平，以至于飛行器的電子設(shè)備與電池可能無法工作。
科學(xué)家估計，地球上95%以上的海洋從未被觀測到過，這意味著我們看到的海洋比我們看到的月球背面或火星表面還少。
將水下攝像機固定在科考船上或派船為其充電，為其提供長時間動力的高昂成本，是一個嚴(yán)峻的挑戰(zhàn)，阻礙了廣泛的海底探索。
麻省理工學(xué)院的研究人員在克服這一問題上邁出了重要一步，他們開發(fā)了一種無需電池的無線水下相機，它的能源效率是其他水下相機的
“根據(jù)CINNO Research月度數(shù)據(jù)顯示，2022年4月國內(nèi)智能機市場中攝像頭總搭載量縮減至6,500萬顆，同比下降約27%，環(huán)比下降約14.5%。” 國內(nèi)疫情反復(fù)，對終端消費市場的沖擊持續(xù)深化，國內(nèi)智能機銷量進(jìn)一步走低，智能機攝像頭搭載總量相應(yīng)出現(xiàn)萎縮，根據(jù)CINNO Research月度數(shù)據(jù)顯示，2022年4月國內(nèi)智能機市場中攝像頭總搭載量縮減至6,500萬顆，同比下降約27%，環(huán)比下降
因此，世界各地的團(tuán)隊通過添加雷達(dá)、紅外攝像機、門控攝像機（gated camera）、立體視覺攝像機、氣象站和其他天氣相關(guān)的傳感器，提出了各自的排列和組合。當(dāng)然，融合模式需要標(biāo)定，以確保所有參與傳感器的同步，從而獲得最佳性能。
梅賽德斯-奔馳公司提出了一種在未知惡劣天氣下的大型深度多模態(tài)傳感器融合。
隨著計算機視覺和人工智能技術(shù)的飛速發(fā)展，出現(xiàn)了一種新的導(dǎo)航方法：視覺導(dǎo)航。視覺導(dǎo)航具有自主性好、可靠性高、成本低等優(yōu)點。近年來，隨著視覺導(dǎo)航概念、理論和方法的不斷更新和完善，視覺導(dǎo)航已成為無人機自主導(dǎo)航的重要研究領(lǐng)域之一。
視覺導(dǎo)航的研究最初受到巡航導(dǎo)彈中地形輪廓匹配制導(dǎo)系統(tǒng)的啟發(fā)。但是，無人機的飛行環(huán)境不一定是光照充足的理想環(huán)境。無人機在陰天或夜間飛行時，由于光線減少，相機會捕捉到低光圖像，
隨著計算機視覺和人工智能技術(shù)的飛速發(fā)展，出現(xiàn)了一種新的導(dǎo)航方法：視覺導(dǎo)航。視覺導(dǎo)航具有自主性好、可靠性高、成本低等優(yōu)點。近年來，隨著視覺導(dǎo)航概念、理論和方法的不斷更新和完善，視覺導(dǎo)航已成為無人機自主導(dǎo)航的重要研究領(lǐng)域之一。
視覺導(dǎo)航的研究最初受到巡航導(dǎo)彈中地形輪廓匹配制導(dǎo)系統(tǒng)的啟發(fā)。但是，無人機的飛行環(huán)境不一定是光照充足的理想環(huán)境
