視覺(jué)輔助定位的案例
機(jī)器視覺(jué)定位之零部件尺寸檢測(cè)技術(shù)
隨著機(jī)器視覺(jué)的應(yīng)用，我們不難發(fā)現(xiàn)，機(jī)器視覺(jué)的應(yīng)用大大的提高了產(chǎn)品的質(zhì)量、降低了人口紅利并能在一定程度上降低生產(chǎn)成本，帶動(dòng)生產(chǎn)加工業(yè)走向自動(dòng)化、智能化的道路。在機(jī)器視覺(jué)的應(yīng)用中，物體特征的提取和尺寸的精確定位及測(cè)量是生產(chǎn)線上不可替代的環(huán)節(jié)。
end
計(jì)算機(jī)視覺(jué)四大基本任務(wù)(分類、定位、檢測(cè)、分割)
本文是該系列文章中的第二篇，旨在介紹深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域四大基本任務(wù)中的應(yīng)用，包括分類(圖a)、定位、檢測(cè)(圖b)、語(yǔ)義分割(圖c)、和實(shí)例分割(圖d)。后續(xù)文章將關(guān)注深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域的其他任務(wù)的應(yīng)用，以及自然語(yǔ)言處理和語(yǔ)音識(shí)別。
計(jì)算機(jī)視覺(jué)(computer vision)簡(jiǎn)介
計(jì)算機(jī)視覺(jué)旨在識(shí)別和理解圖像/視頻中的內(nèi)容。其誕生于1966年MIT AI Group的"the summer vision project"。當(dāng)時(shí)，人工智能其他分支的研究已經(jīng)有一些初步成果。由于人類可以很輕易地進(jìn)行視覺(jué)認(rèn)知，MIT的教授們希望通過(guò)一個(gè)暑期項(xiàng)目解決計(jì)算機(jī)視覺(jué)問(wèn)題。當(dāng)然，計(jì)算機(jī)視覺(jué)沒(méi)有被一個(gè)暑期內(nèi)解決，但計(jì)算機(jī)視覺(jué)經(jīng)過(guò)50余年發(fā)展已成為一個(gè)十分活躍的研究領(lǐng)域。如今，互聯(lián)網(wǎng)上超過(guò)70%的數(shù)據(jù)是圖像/視頻，全世界的監(jiān)控?cái)z像頭數(shù)目已超過(guò)人口數(shù)，每天有超過(guò)八億小時(shí)的監(jiān)控視頻數(shù)據(jù)生成。如此大的數(shù)據(jù)量亟待自動(dòng)化的視覺(jué)理解與分析技術(shù)。
計(jì)算機(jī)視覺(jué)的難點(diǎn)在于語(yǔ)義鴻溝。這個(gè)現(xiàn)象不僅出現(xiàn)在計(jì)算機(jī)視覺(jué)領(lǐng)域，Moravec悖論發(fā)現(xiàn)，高級(jí)的推理只需要非常少的計(jì)算資源，而低級(jí)的對(duì)外界的感知卻需要極大的計(jì)算資源。要讓計(jì)算機(jī)如成人般地下棋是相對(duì)容易的，但是要讓電腦有如一歲小孩般的感知和行動(dòng)能力卻是相當(dāng)困難甚至是不可能的。
語(yǔ)義鴻溝(semantic gap) 人類可以輕松地從圖像中識(shí)別出目標(biāo)，而計(jì)算機(jī)看到的圖像只是一組0到255之間的整數(shù)。
計(jì)算機(jī)視覺(jué)任務(wù)的其他困難 拍攝視角變化、目標(biāo)占據(jù)圖像的比例變化、光照變化、背景融合、目標(biāo)形變、遮擋等。
計(jì)算機(jī)視覺(jué)的頂級(jí)會(huì)議和期刊 頂級(jí)會(huì)議有CVPR、ICCV、和ECCV，此外ICLR也有不少計(jì)算機(jī)視覺(jué)論文。頂級(jí)期刊有IJCV和TPAMI。
展開(kāi) RoadMap:一種用于自動(dòng)駕駛視覺(jué)定位的輕質(zhì)語(yǔ)義地圖（ICRA2021）
Localization Accuracy
對(duì)于自主駕駛?cè)蝿?wù)，我們重點(diǎn)關(guān)注X、Y方向和偏航（航向）角度的定位精度。與激光雷達(dá)比較的詳細(xì)結(jié)果如下。可以看出，所提出的基于視覺(jué)的定位比基于激光雷達(dá)的解決方案更好。
Conclusion & Future work
在本文中，我們提出了一個(gè)新穎的語(yǔ)義定位系統(tǒng)，它充分利用了傳感器豐富的車(chē)輛（如機(jī)器人出租車(chē)），使低成本的生產(chǎn)汽車(chē)受益。整個(gè)框架由車(chē)上建圖、云上更新和用戶端定位程序組成。我們強(qiáng)調(diào)，這是一個(gè)可靠而實(shí)用的自主駕駛定位解決方案。
建議的系統(tǒng)利用了路面上的標(biāo)記。事實(shí)上，三維空間中更多的交通元素可用于定位，如交通燈、交通標(biāo)志和電線桿。在未來(lái)，我們將把更多的三維語(yǔ)義特征擴(kuò)展到地圖中。
展開(kāi) CMRNet++：在激光雷達(dá)地圖中與地圖和相機(jī)無(wú)關(guān)的單目視覺(jué)定位
摘要
定位是自主機(jī)器人的一個(gè)關(guān)鍵要素.雖然深度學(xué)習(xí)在許多計(jì)算機(jī)視覺(jué)任務(wù)中取得了較大進(jìn)步,但它仍然沒(méi)有較大改進(jìn)提高度量視覺(jué)定位.主要障礙之一是現(xiàn)有的基于卷積神經(jīng)網(wǎng)絡(luò)的姿態(tài)回歸方法不能推廣到以前看不到的地方,我們最近推出的CMRNet通過(guò)在激光雷達(dá)地圖中啟用地圖獨(dú)立單目定位有效地解決了這一限制.在本文中,我們現(xiàn)在通過(guò)引入CMRNet++.
CMRNet++是一個(gè)顯著更魯棒的模型,它不僅有效地推廣到新的地方,而且獨(dú)立于相機(jī)參數(shù).我們通過(guò)將深度學(xué)習(xí)與幾何技術(shù)相結(jié)合,并將度量推理移出學(xué)習(xí)過(guò)程來(lái)實(shí)現(xiàn)這一能力.這樣網(wǎng)絡(luò)的權(quán)重就不會(huì)綁定到特定的攝像頭.在三個(gè)具有挑戰(zhàn)性的自主駕駛數(shù)據(jù)集(即KITTI、Argoverse和Lyft5)上對(duì)CMRNet++進(jìn)行的廣泛評(píng)估表明,CMRNet++的性能遠(yuǎn)遠(yuǎn)優(yōu)于CMRNet以及其他系統(tǒng).更重要的是,我們首次展示了深度學(xué)習(xí)方法的能力,無(wú)需在全新的環(huán)境中進(jìn)行任何再訓(xùn)練或微調(diào),就能準(zhǔn)確定位,并且不受攝像機(jī)參數(shù)的影響.
介紹
自動(dòng)移動(dòng)機(jī)器人，如自動(dòng)駕駛汽車(chē)，需要精確定位才能安全導(dǎo)航。雖然全球?qū)Ш叫l(wèi)星系統(tǒng)提供全球定位，但其精度和可靠性不足以用于機(jī)器人導(dǎo)航。
展開(kāi) 
基于圖優(yōu)化的GNSS/慣性/視覺(jué)/激光雷達(dá)多源融合導(dǎo)航定位
來(lái)源 |
衛(wèi)星導(dǎo)航國(guó)際期刊
通過(guò)消失點(diǎn)輔助激光雷達(dá)視覺(jué)慣性估計(jì)器（ICRA2021）
Contribution
1.提出了第一種消失點(diǎn)輔助激光雷達(dá)視覺(jué)慣性估計(jì)器，它利用激光深度和消失點(diǎn)信息在視覺(jué)和幾何退化環(huán)境中實(shí)現(xiàn)魯棒姿態(tài)估計(jì)
2.提出了一種新的基于體素圖的特征深度關(guān)聯(lián)模塊，可以有效地將深度信息分配給視覺(jué)特征
3.提出了一種新穎的消失點(diǎn)檢測(cè)流程，該流程能夠可靠、高效地檢測(cè)出消失點(diǎn)
Content
1.系統(tǒng)框圖
如下圖，主要分成三步處理流程，先是IMU輔助下的滅點(diǎn)檢測(cè)，然后進(jìn)行特征深度關(guān)聯(lián)，最后進(jìn)行VIO，VIO主要優(yōu)化重投影誤差，IMU預(yù)積分誤差和滅點(diǎn)約束誤差。
2. IMU輔助的滅點(diǎn)檢測(cè)
先是通過(guò)稀疏光流法和角點(diǎn)檢測(cè)來(lái)跟蹤特征，然后用LSD找到線段(記錄端點(diǎn)長(zhǎng)度和角度)，因?yàn)樗骄€段檢測(cè)的精度很大程度上和相機(jī)的旋轉(zhuǎn)相關(guān)，并且如果水平線檢測(cè)不準(zhǔn)確，那么滅點(diǎn)生成就很差，基于這個(gè)出發(fā)點(diǎn)，采用基于重力的垂直線檢測(cè)來(lái)優(yōu)化IMU旋轉(zhuǎn)。具體過(guò)程如下圖:首先根據(jù)相機(jī)方向，在每個(gè)線段的重點(diǎn)得到二維投影向量Z, 然后根據(jù)線段和它的投影向量的角度對(duì)線段進(jìn)行分類，角度小于一定的閾值視為垂直，在理想情況下，這些垂直線段會(huì)穿過(guò)滅點(diǎn)在Z軸的投影，根據(jù)這個(gè)進(jìn)行進(jìn)一步的優(yōu)化，最終的滅點(diǎn)的z軸上的單位向量可以表示為:
然后根據(jù)下面的公式獲得光流的旋轉(zhuǎn)角度:
并且水平線可以表示為:
在計(jì)算出水平線后，可以得出在X和Y方向上的滅點(diǎn)假設(shè)，使用1-line RANSAC來(lái)選擇地平線，然后將其與水平線相交得出滅點(diǎn)在X的假設(shè):
最終的基于滅點(diǎn)的代價(jià)函數(shù)可以表示如下:
3.
展開(kāi) 全球最火兩款VR一體機(jī)拆解：Neo 3 和 Quest 2誰(shuí)是VR一哥？
整體外觀
電池后置是趨勢(shì)
Pico Neo3 和 Oculus Quest2 整體都是由頭戴主機(jī)和兩只手柄組成，定位方案也是攝像頭捕捉手柄的追蹤光環(huán)。頭戴主機(jī)包括輸入設(shè)備（攝像頭、麥克風(fēng)）、輸出設(shè)備（屏幕、鏡片、麥克風(fēng)）、內(nèi)部運(yùn)算、蓄電鋰電池等。
手柄包括追蹤光環(huán)、遙桿（方向）、按鍵（功能）、 扳 機(jī)（確認(rèn)）、側(cè)按鍵（抓取），手柄內(nèi)有干電池倉(cāng)。
Pico Neo3前蓋相比Quest2額外增加了一個(gè)散熱口幫助散熱，同時(shí)電池后置也是兩者在外觀上的明顯差異。
▲Quest2（右）&Pico Neo3（左）外觀對(duì)比
Pico Neo 3的面罩設(shè)計(jì)更加寬大，配搭舒適度 更高。和Quest 2相比上端凹口更寬、更淺。
▲Pico Neo3（上）與Quest2（下）面罩外觀對(duì)比
▲Pico Neo3（上）與Quest2（下）面罩外觀對(duì)比
Pico Neo3將電池移出主機(jī)，通過(guò)連接線置于腦后位置，因此雖然整體重量與Quest2接近，但正面主機(jī)重量只有440g（官方395g），后部220g，腦后重量的平衡，能顯著降低面部和鼻部壓力。外移后的電池包減重需求弱，Pico Neo3配備5300mAh電池，相比Quest2的3640mAh多出近50%。
手柄方面，Pico Neo3手柄由面板上的搖桿、兩個(gè)功能按鍵，側(cè)按鍵和正面板機(jī)組成。手柄追蹤光環(huán)環(huán)繞手柄換裝部分外側(cè)，使用時(shí)可發(fā)出難以觀測(cè)的弱光，暫時(shí)是一種通用的識(shí)別方案。手柄內(nèi)部具有陀螺儀傳感器，輔助視覺(jué)定位方案。
▲Pico Neo3手柄拆解俯視、右側(cè)、左側(cè)、正面視圖
后置電池方案顯著提高佩戴舒適度，實(shí)際佩戴時(shí)，Quest2所采用的前置電池的方案導(dǎo)致主機(jī)有明顯的下墜，產(chǎn)生視覺(jué)效果不清晰，眼部、額頭承受壓力的不良體驗(yàn)。同時(shí)減少一體機(jī)的減重要求，為更大的電池容量提供設(shè)計(jì)上的基礎(chǔ)。
展開(kāi) 無(wú)人機(jī)輸電線路智能巡檢技術(shù)綜述
巡檢數(shù)據(jù)智能處理是當(dāng)前電力無(wú)人機(jī)巡檢工作中較為急迫的需求，也是無(wú)人機(jī)全自主巡檢的關(guān)鍵技術(shù)，如機(jī)器視覺(jué)輔助定位的巡檢圖像采集、融合機(jī)器視覺(jué)或激光雷達(dá)的多傳感無(wú)人機(jī)定位導(dǎo)航等.得益于近年來(lái)人工智能技術(shù)的崛起，機(jī)器視覺(jué)，特別是圖像處理領(lǐng)域發(fā)展迅速，電力無(wú)人機(jī)巡檢圖像數(shù)據(jù)處理領(lǐng)域取得了一定的研究成果，數(shù)次技術(shù)驗(yàn)證工作展示了其廣闊的應(yīng)用前景.但一些基礎(chǔ)建設(shè)工作，如巡檢數(shù)據(jù)庫(kù)建設(shè)、相關(guān)規(guī)范與標(biāo)準(zhǔn)制定等尚未完成，巡檢現(xiàn)場(chǎng)試驗(yàn)結(jié)果不甚理想，距離實(shí)際應(yīng)用還有相當(dāng)長(zhǎng)的一段路要走.
自主導(dǎo)航技術(shù)是實(shí)現(xiàn)電力無(wú)人機(jī)智能自主巡檢的核心技術(shù)，目前在RTK高精度定位的幫助下，能實(shí)現(xiàn)一定程度自動(dòng)巡檢，即沿預(yù)設(shè)路線飛行并采集數(shù)據(jù)，但這一方式仍需要大量的人工預(yù)操作，且對(duì)RTK基站或網(wǎng)絡(luò)覆蓋有較高要求.機(jī)器視覺(jué)是目前該領(lǐng)域研究的主流方法，大量的研究致力于電力線的識(shí)別與跟蹤，甚少有研究涉及近塔區(qū)域的定位與導(dǎo)航，僅有少數(shù)團(tuán)隊(duì)提出相對(duì)完整的自主導(dǎo)航框架.此外，磁傳感導(dǎo)航和激光雷達(dá)導(dǎo)航技術(shù)亦是值得關(guān)注的領(lǐng)域.
續(xù)航是當(dāng)前制約無(wú)人機(jī)巡檢效率的主要問(wèn)題之一，也是實(shí)現(xiàn)自主巡檢所必須解決的關(guān)鍵問(wèn)題.移動(dòng)式機(jī)巢的提出一定程度上減輕了旋翼無(wú)人機(jī)續(xù)航能力弱對(duì)巡檢造成的不利影響，但并未從根本上解決問(wèn)題.固定式機(jī)巢作為無(wú)人機(jī)的固定充能站點(diǎn)，還能兼具數(shù)據(jù)的初步處理、回傳等功能，高度契合蛙跳式自主巡檢的構(gòu)想，但依然需要解決其自身的供能問(wèn)題.從目前的結(jié)果來(lái)看，單純的光伏供能難以同時(shí)滿足設(shè)備輕量化與供能功率的要求，基于電磁原理從輸電線路上獲取能源是一條潛在的技術(shù)路線，雖然吸引了諸多關(guān)注，但該領(lǐng)域尚未有可以投入應(yīng)用的研究成果.從長(zhǎng)遠(yuǎn)來(lái)看，基于電磁原理的無(wú)人機(jī)飛行過(guò)程動(dòng)態(tài)充電是一個(gè)非常有吸引力的解決方案，可以在不增加電池容量的情況下極大提高無(wú)人機(jī)的續(xù)航能力，解除其掛載設(shè)備功耗限制，但目前相關(guān)研究非常少，依然處于理論論證階段.
展開(kāi) 自動(dòng)泊車(chē)技術(shù)分析
為此開(kāi)發(fā)了泊車(chē)軌跡動(dòng)態(tài)規(guī)劃技術(shù)，可實(shí)現(xiàn)泊車(chē)過(guò)程中的軌跡實(shí)時(shí)修正甚至軌跡重規(guī)劃，如圖15所示：
圖15
室內(nèi)定位技術(shù)如圖16所示，通過(guò)采用視覺(jué)SLAM+標(biāo)簽輔助定位方式，解決地下停車(chē)場(chǎng)無(wú)GPS的問(wèn)題，同時(shí)通過(guò)多源信息融合，提升定位精度。
圖16
基于視覺(jué)的停車(chē)場(chǎng)車(chē)位狀態(tài)檢測(cè)技術(shù)如圖17所示，通過(guò)停車(chē)場(chǎng)安裝的監(jiān)控?cái)z像頭，基于深度學(xué)習(xí)算法，實(shí)現(xiàn)車(chē)位占用狀態(tài)的實(shí)時(shí)檢測(cè)，并將此信息上傳至停車(chē)場(chǎng)車(chē)位管理后臺(tái)服務(wù)器，為自主泊車(chē)車(chē)輛提供可泊車(chē)位信息。
圖17
全局與局部路徑規(guī)劃技術(shù)如圖18所示，基于A*算法實(shí)現(xiàn)任意兩點(diǎn)間的全局路徑規(guī)劃，支持路徑規(guī)劃重置、選路以及速度規(guī)劃功能，同時(shí)結(jié)合實(shí)時(shí)環(huán)境感知狀態(tài)，進(jìn)行局部路徑規(guī)劃，實(shí)現(xiàn)緊急制動(dòng)、 跟車(chē)巡航以及換道避讓、 換道超車(chē)等自主決策。
圖18
展開(kāi) 低速自動(dòng)駕駛技術(shù)：APA
為此開(kāi)發(fā)了泊車(chē)軌跡動(dòng)態(tài)規(guī)劃技術(shù)，可實(shí)現(xiàn)泊車(chē)過(guò)程中的軌跡實(shí)時(shí)修正甚至軌跡重規(guī)劃，如圖15所示：
圖15
▲室內(nèi)定位技術(shù)
如圖16所示，通過(guò)采用視覺(jué)SLAM+標(biāo)簽輔助定位方式，解決地下停車(chē)場(chǎng)無(wú)GPS的問(wèn)題，同時(shí)通過(guò)多源信息融合，提升定位精度。（劃重點(diǎn)，做筆記。）
圖16
▲基于視覺(jué)的停車(chē)場(chǎng)車(chē)位狀態(tài)檢測(cè)技術(shù)
如圖17所示，通過(guò)停車(chē)場(chǎng)安裝的監(jiān)控?cái)z像頭，基于深度學(xué)習(xí)算法，實(shí)現(xiàn)車(chē)位占用狀態(tài)的實(shí)時(shí)檢測(cè)，并將此信息上傳至停車(chē)場(chǎng)車(chē)位管理后臺(tái)服務(wù)器，為自主泊車(chē)車(chē)輛提供可泊車(chē)位信息。
圖17
▲全局與局部路徑規(guī)劃技術(shù)
如圖18所示，基于A*算法實(shí)現(xiàn)任意兩點(diǎn)間的全局路徑規(guī)劃，支持路徑規(guī)劃重置、選路以及速度規(guī)劃功能，同時(shí)結(jié)合實(shí)時(shí)環(huán)境感知狀態(tài)，進(jìn)行局部路徑規(guī)劃，實(shí)現(xiàn)緊急制動(dòng)、 跟車(chē)巡航以及換道避讓、 換道超車(chē)等自主決策。
展開(kāi) 