光流估計的案例
光流估計：從傳統方法到深度學習
光流估計是計算機視覺研究中的一個重要方向，然而，因為其不容易在應用中“顯式”地呈現，而未被大眾熟知。隨著計算機視覺學界從圖像理解轉向視頻理解，互聯網用戶從發布圖片朋友圈轉向發布短視頻，人們對視頻的研究和應用的關注不斷增強。光流估計作為視頻理解的隱形戰士，等著我們去尋找其蹤跡。本文首先介紹了什么是視頻光流估計；再介紹光流估計的算法原理，包括最為經典的Lucas-Kanade算法和深度學習時代光流估計算法代表FlowNet/FlowNet2；最后，介紹了視頻光流估計的若干應用。希望對光流估計的算法和應用有個較為全面的介紹。
2.介紹
光流，顧名思義，光的流動。比如人眼感受到的夜空中劃過的流星。在計算機視覺中，定義圖像中對象的移動，這個移動可以是相機移動或者物體移動引起的。具體是指，視頻圖像的一幀中的代表同一對象(物體)像素點移動到下一幀的移動量，使用二維向量表示。如圖2-1。
圖2-1 光流示意圖
根據是否選取圖像稀疏點進行光流估計，可以將光流估計分為稀疏光流和稠密光流，如圖2，左圖選取了一些特征明顯（梯度較大）的點進行光流估計和跟蹤，右圖為連續幀稠密光流示意圖。
圖2-2 左圖 稀疏點光流，右圖 稠密光流
稠密光流描述圖像每個像素向下一幀運動的光流，為了方便表示，使用不同的顏色和亮度表示光流的大小和方向，如圖2-2右圖的不同顏色。圖2-3展示了一種光流和顏色的映射關系，使用顏色表示光流的方向，亮度表示光流的大小。
展開 收藏 | 深度學習在計算機視覺領域的應用總結
后來，隨機概率和貝葉斯估計大行其事，約束條件變成了先驗知識（prior），計算機視覺圈里寫文章要是沒有 P (Probability) 和 B (Bayes)，都不好意思發。像SVM， Boosting，Graphical Model，Random Forest，BP（Belief Propagation），CRF（Conditional Random Field），Mixture of Gaussians，MCMC，Sparse Coding都曾經是計算機視覺的寵兒，現在輪到CNN出彩：）。
可以說深度學習是相當“暴力”的，以前分析的什么約束呀，先驗知識呀在這里統統扔一邊，只要有圖像數據就可以和傳統機器學習方法拼一把。
1 運動/光流估計
傳統的方法包括局部法和全局法，這里CNN取代的就是全局法。
這里是一個光流估計的模型：
2 視差/深度圖估計
深度圖估計和運動估計是類似問題，唯一不同的是單目可以估計深度圖，而運動不行。
這里是一個雙目估計深度圖的模型：
而這個是單目估計深度圖的模型：巧妙的是這里利用雙目數據做深度圖估計的非監督學習
另外一個單目深度估計的模型：也是利用雙目的幾何約束做非監督的學習
3 視頻去隔行/內插幀
Deinterlacing和Framerate upconversion視頻處理的經典問題，當年Sony和Samsung這些電視生產商這方面下了很大功夫，著名的NXP（從Philips公司spin-off）當年有個牛逼的算法在這個模塊掙了不少錢。
基本傳統方法都是采用運動估計和補償的方法，俗稱MEMC，所以我把它歸類為2.5-D。
展開 傳感器融合-數據篇（自動駕駛）
如果把稀疏深度圖看成一個需要填補的問題，那么就屬于另外一個話題：image-guided depth inpainting/completion，這方面的技術基本都是全局法，比如“Depth Image Inpainting: Improving Low Rank Matrix Completion with Low Gradient Regularization“：
有一類方法，將激光雷達點云投影到圖像平面的點作為prior或者"seed"，去修正圖像的深度估計過程，這就好比一個由激光雷達點云投影到圖像上的稀疏點構成的網格（grid），去指導/約束雙目圖像匹配。
下面這個方法將Disparity Space Image (DSI)的視差范圍縮小：
如圖方法結合激光雷達點云的投影和立體匹配構成新的prior：
下面介紹深度學習的方法。
深度學習方法
從2017年開始，這個方面的應用深度學習的論文開始多起來了，一是自動駕駛對傳感器融合的重視提供了motivation，二是深度學習在深度圖估計/分割/光流估計等領域的推廣應用讓研究人員開始布局著手多傳感器融合的深度學習解法。
筆者看到的這方面公開的第一篇論文應該是2017年9月MIT博士生Fangchang Ma作為第一作寫的，“Sparse-to-Dense: Depth Prediction from Sparse Depth Samples and a Single Image“。其實第一篇公開的論文是在2017年8月，來自德國Andreas Geiger研究組的論文在International Conference on 3D Vision (3DV)發表，“Sparsity Invariant CNN”。
展開 視覺傳感器：2D感知算法
來源 | 巫婆塔里的工程師@知乎
1 前言
自動駕駛中的視覺感知模塊通過圖像或視頻數據來了解車輛周圍環境，具體的任務包括物體檢測和跟蹤(2D或3D物體)，語義分割(2D或3D場景)，深度估計，光流估計等。
這篇文章里我們先介紹一下基于圖像或視頻的2D物體檢測和跟蹤，以及2D場景的語義分割。這幾個任務在自動駕駛中應用的非常廣泛，各種綜述文章也已經非常多了，所以這里我只選擇介紹一些經典的算法，以脈絡和方向的梳理為主。
深度學習自從2012年在圖像分類任務上取得突破以來，就迅速的占領了圖像感知的各個領域，所以下面的介紹也以基于深度學習的算法為主。
2 物體檢測
2.1 兩階段檢測
傳統的圖像物體檢測算法大多是滑動窗口，特征提取和分類器的組合，比如Haar特征+AdaBoost分類器，HOG特征+SVM分類器。這類方法的一個主要問題在于針對不同的物體檢測任務，需要手工設計不同的特征。因此，在深度學習興起之前，特征設計是物體檢測領域的主要增長點。
R-CNN[1]作為深度學習在物體檢測領域的開創性工作，其思路還是有著很多傳統方法的影子。首先，選擇性搜索(Selective Search)代替了滑動窗口，以減少窗口的數量。其次，也是最重要的一點改變，采用卷積神經網絡（CNN）提取每個窗口的圖像特征，以代替手工特征設計。這里的CNN在ImageNet上進行預訓練，對于通用圖像特征的提取非常有效。最后，每個窗口的特征采用SVM進行分類，以完成物體檢測的任務。
展開 
從數據到模型：實現自動駕駛高效感知
解決方案是利用從相機圖像中提取的光流來提供跨傳感器正則化。如下圖所示，這種設計形成了一個統一的學習框架，包括激光雷達和配對相機之間的交互：
（1）點云有助于將自車運動（Ego-Motion）導致的運動從光流中分解出來；
（2）光流為點云中的體柱運動學習提供了輔助正則化；
（3）反投影（Back-Projected）光流形成的概率運動掩膜（Probabilistic Motion Masking）提升了點云結構的一致性。
另外，因為與相機相關的模塊僅用于訓練，在推理階段不會被使用，因此，在運行時不會對相機相關的模塊引入額外的計算。
用于點云體柱運動估計的自監督學習框架
概率運動掩膜說明，
左：投影點在前向相機圖像上的光流（已將自車運動分解）。
右：點云的一部分，顏色表示非空體柱的靜態概率。
與其他SOTA方法的比較
這項工作發表于 CVPR 2021，代碼和模型均已開放：
論文鏈接：
https://arxiv.org/pdf/2104.08683.pdf
項目鏈接：
https://github.com/qcraftai/pillar-motion
無需人工標注，效果又快又好！這項工作可說是自監督學習成功的典范了！
展開 基于雙目視覺的自動駕駛技術
PatchMatch是一個加速圖像模版匹配的算法，被用在光流計算和視差估計上。之前微軟研究院曾經做過一個基于單目手機相機3-D重建的項目，仿造以前成功的基于RGB-D算法KinectFusion，名字也類似MonoFusion，其中深度圖估計就是采用一個修正的PatchMatch方法。
再說在線標定。
這是一個利用路上標志線（斑馬線）的標定方法：已知斑馬線的平行線模式，計算Homography將模式和路面實現匹配。
這個流程圖比較復雜，采用SLAM做在線標定，不適合高頻率操作：
和單目方法類似，采用車道線平行和路平面這個假設可以快速完成在線標定，即消失點（vanishing point）理論：跟初始化的消失點（與線下標定相關）比較可以算出雙目外參數的漂移量。
下面介紹幾個典型的雙目自動駕駛系統。
Berta Benz采用的障礙物檢測算法Stixel基于以下假設：場景中的目標描述為列，重心的原因目標是站立在地面上，每個目標上的上部比下部的深度大。下圖(a-d) 介紹了SGM視差結果如何生成Stixel分割結果：
這是他們加上深度學習做視差融合之后再做Stixel的框圖和新結果：
介紹一個早期雙目障礙物的算法，Generic Obstacle and Lane Detection system (GOLD)。基于IPM（Inverse Perspective Mapping），檢測車道線，根據左右圖像的差計算路上障礙物：
(a) Left view. (b) Right view. (c) Remapped left view. (d) Remapped right view.
展開 