圖像融合的案例
2-1基于matlab的拉普拉斯金字塔圖像融合算法
圖像融合
拉普拉斯金字塔圖像融合 ￥12.2
基于matlab的拉普拉斯金字塔圖像融合算法，可以使部分圖像模糊的圖片清楚，也可以使圖像增強(qiáng)。程序已調(diào)通，可直接運(yùn)行。
2-3 基于matlab的NSCT-PCNN融合和創(chuàng)新算法（NSCT-ML-PCNN ）圖像融合 ￥12.2
基于matlab的NSCT-PCNN融合和創(chuàng)新算法（NSCT-ML-PCNN ）圖像融合。NSSCTest.m文件：用于查看利用NSSC算法分解出的圖像并保存。其中的nlevel可調(diào)test.m文件：用于產(chǎn)生融合結(jié)果，其中一個(gè)參數(shù)需要設(shè)置：Low_Coeffs_Rule：NSCT-PCNN進(jìn)行圖像融合時(shí)：Low_Coeffs_Rule選擇PCNN；High_Coeffs_Rule選擇PCNN創(chuàng)新算法的圖像融合時(shí)：Low_Coeffs_Rule選擇ML-PCNN；High_Coeffs_Rule。可直接運(yùn)行。
展開(kāi) 204基于matlab的圖像融合 ￥12.9
基于matlab的圖像融合，包括三種方式，加權(quán)、PCA、IHS變換。比較三者融合后的圖像差異。程序已調(diào)通，可直接運(yùn)行。
自動(dòng)駕駛之點(diǎn)云與圖像融合綜述
特征融合：
最直觀的就是將點(diǎn)云投影到圖像上，然后利用圖像處理方法進(jìn)行特征提取，但輸出也是圖像級(jí)，對(duì)于3D空間的定位不是很準(zhǔn)確。如DepthRCNN就是一種基于RCNN的二維對(duì)象檢測(cè)、實(shí)例和語(yǔ)義分割架構(gòu)。《Cross modal distillation for supervision transfer》則是在圖像數(shù)據(jù)和深度圖像之間做遷移，當(dāng)然還有其他，這一塊后續(xù)會(huì)專(zhuān)門(mén)介紹。
多級(jí)融合，
這個(gè)其實(shí)是結(jié)果級(jí)融合與特征級(jí)融合的結(jié)合，主要工作可以歸結(jié)為點(diǎn)融合（Pointfusion），
點(diǎn)融合首先利用現(xiàn)有的2D檢測(cè)模型生成2D bbox，然后用于通過(guò)向圖像平面的投影點(diǎn)來(lái)定位通過(guò)方框的點(diǎn)，最后采用一個(gè)ResNet和一個(gè)PointNet結(jié)合的網(wǎng)絡(luò)將點(diǎn)云與圖像特征結(jié)合來(lái)估計(jì)3D目標(biāo)。類(lèi)似的方案還很多，如SIFRNet、Pointsift。
5B）基于3D的模型
略（個(gè)人對(duì)這一塊很感興趣，會(huì)專(zhuān)門(mén)對(duì)提到的文章進(jìn)行閱讀，見(jiàn)諒）。
Stationary Road Object Detection
靜止物體檢測(cè)，其實(shí)對(duì)在線校準(zhǔn)起到很大的作用。固定的道路物體包括路面、道路標(biāo)記、交通標(biāo)識(shí)牌等。
道路/車(chē)道檢測(cè)，有很多方法，
這里專(zhuān)門(mén)介紹一下基于深度學(xué)習(xí)的融合策略。
可以分為基于BEV的方法或者基于前視圖的方法。《Deep multi-sensor lane detection》利用CNN從點(diǎn)云中預(yù)測(cè)密集的BEV高度估計(jì)，然后與BEV圖像融合，以進(jìn)行精確的車(chē)道檢測(cè)，但這種方法無(wú)法區(qū)分不同的車(chē)道類(lèi)型。
展開(kāi) 
毫米波雷達(dá)和「圖像數(shù)據(jù)」的融合｜技術(shù)解讀篇
更復(fù)雜一些的方法會(huì)先將點(diǎn)云轉(zhuǎn)換成 BEV 坐標(biāo)下的圖像，采用基于 CNN 的物體檢測(cè)網(wǎng)絡(luò)生成 Proposal，與直接由點(diǎn)云生成 Proposal 相比，基于 BEV 圖像的方法增加了計(jì)算量，但一般來(lái)說(shuō)生成的 Proposal 質(zhì)量會(huì)高很多，畢竟 CNN 可以從點(diǎn)云中抽取更為豐富的物體和場(chǎng)景信息。
也有人提出通過(guò)雷達(dá) BEV 數(shù)據(jù)和相機(jī)圖像數(shù)據(jù)同時(shí)生成 Proposall。來(lái)自?xún)煞N數(shù)據(jù)的 Proposal 通過(guò)幾何映射可以進(jìn)行對(duì)應(yīng)，然后再將各自的特征進(jìn)行融合，用全連接網(wǎng)絡(luò)進(jìn)行分類(lèi)。這里的幾何映射指的是BEV和圖像坐標(biāo)之間的映射，可以由雷達(dá)和相機(jī)的標(biāo)定數(shù)據(jù)計(jì)算得到。
基于 Proposal 的數(shù)據(jù)層融合
特征層融合
與數(shù)據(jù)層融合相比，特征層的融合更加底層一些，也更有利于神經(jīng)網(wǎng)絡(luò)也學(xué)習(xí)不同傳感器之間的互補(bǔ)性，但是算法設(shè)計(jì)的復(fù)雜程度也相對(duì)較高。一般的做法是將點(diǎn)云數(shù)據(jù)映射到圖像坐標(biāo)系下，形成一個(gè)類(lèi)似于相機(jī)圖像的「點(diǎn)云圖像」。
比如在下圖中的例子中，第一行是相機(jī)圖像，第二、三行是對(duì)應(yīng) Range 和 Doppler 數(shù)據(jù)的點(diǎn)云圖像，分別反映了場(chǎng)景內(nèi)物體的距離和運(yùn)動(dòng)信息。點(diǎn)云圖像和相機(jī)圖像處于相同的坐標(biāo)系下，因此，可以很容易的通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行融合。
相機(jī)圖像和點(diǎn)云圖像示例
也可以將包含 Range 和 Doppler 的點(diǎn)云圖像作為額外的輸入數(shù)據(jù)，用 ResNet 進(jìn)行特征提取后與相機(jī) RGB 圖像進(jìn)行融合。
展開(kāi) 毫米波雷達(dá)和「圖像數(shù)據(jù)」的融合｜技術(shù)解讀篇
更復(fù)雜一些的方法會(huì)先將點(diǎn)云轉(zhuǎn)換成 BEV 坐標(biāo)下的圖像，采用基于 CNN 的物體檢測(cè)網(wǎng)絡(luò)生成 Proposal，與直接由點(diǎn)云生成 Proposal 相比，基于 BEV 圖像的方法增加了計(jì)算量，但一般來(lái)說(shuō)生成的 Proposal 質(zhì)量會(huì)高很多，畢竟 CNN 可以從點(diǎn)云中抽取更為豐富的物體和場(chǎng)景信息。
也有人提出通過(guò)雷達(dá) BEV 數(shù)據(jù)和相機(jī)圖像數(shù)據(jù)同時(shí)生成 Proposall。來(lái)自?xún)煞N數(shù)據(jù)的 Proposal 通過(guò)幾何映射可以進(jìn)行對(duì)應(yīng)，然后再將各自的特征進(jìn)行融合，用全連接網(wǎng)絡(luò)進(jìn)行分類(lèi)。這里的幾何映射指的是BEV和圖像坐標(biāo)之間的映射，可以由雷達(dá)和相機(jī)的標(biāo)定數(shù)據(jù)計(jì)算得到。
基于 Proposal 的數(shù)據(jù)層融合
特征層融合
與數(shù)據(jù)層融合相比，特征層的融合更加底層一些，也更有利于神經(jīng)網(wǎng)絡(luò)也學(xué)習(xí)不同傳感器之間的互補(bǔ)性，但是算法設(shè)計(jì)的復(fù)雜程度也相對(duì)較高。一般的做法是將點(diǎn)云數(shù)據(jù)映射到圖像坐標(biāo)系下，形成一個(gè)類(lèi)似于相機(jī)圖像的「點(diǎn)云圖像」。
比如在下圖中的例子中，第一行是相機(jī)圖像，第二、三行是對(duì)應(yīng) Range 和 Doppler 數(shù)據(jù)的點(diǎn)云圖像，分別反映了場(chǎng)景內(nèi)物體的距離和運(yùn)動(dòng)信息。點(diǎn)云圖像和相機(jī)圖像處于相同的坐標(biāo)系下，因此，可以很容易的通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行融合。
相機(jī)圖像和點(diǎn)云圖像示例
也可以將包含 Range 和 Doppler 的點(diǎn)云圖像作為額外的輸入數(shù)據(jù)，用 ResNet 進(jìn)行特征提取后與相機(jī) RGB 圖像進(jìn)行融合。
展開(kāi) 基于改進(jìn)條件擴(kuò)散模型的電阻抗成像圖像重建與敏感度先驗(yàn)融合
本文面向兩條互補(bǔ)技術(shù)路線：一是條件擴(kuò)散重建（CDEIT），直接以邊界電壓為條件，在端到端擴(kuò)散反演中迭代生成電導(dǎo)率圖像；二是無(wú)監(jiān)督敏感度先驗(yàn)融合（SPfusion），在物理模型驅(qū)動(dòng)解算中引入由擴(kuò)散模型生成的非均勻敏感度先驗(yàn)，以增強(qiáng)結(jié)構(gòu)細(xì)節(jié)與穩(wěn)健性。我們給出統(tǒng)一問(wèn)題表述、網(wǎng)絡(luò)結(jié)構(gòu)要點(diǎn)（Transformer-U-Net、多尺度/窗口注意力、時(shí)間步嵌入、EIM電壓映射）、快速采樣（DDIM）與電壓/電流歸一化的域泛化方案；并基于16電極、鄰近激勵(lì)/測(cè)量協(xié)議，覆蓋多相夾雜、肺形體模及實(shí)際測(cè)量，報(bào)告在PSNR/SSIM/RMSE等指標(biāo)上的優(yōu)于多種基線（如DHU-Net、FISTA-Net、CD-EIT）的結(jié)果與可視化對(duì)比。方法論證表明，直接條件生成與物理先驗(yàn)融合兩類(lèi)擴(kuò)散框架可分別從數(shù)據(jù)驅(qū)動(dòng)和模型驅(qū)動(dòng)側(cè)提升EIT重建的分辨率與魯棒性，并可與實(shí)時(shí)成像和臨床任務(wù)（如呼吸功能監(jiān)測(cè)）進(jìn)一步耦合。
關(guān)鍵詞：電阻抗成像（EIT）；擴(kuò)散模型；條件擴(kuò)散；敏感度先驗(yàn)；Transformer；DDPM/DDIM；模型驅(qū)動(dòng)與數(shù)據(jù)驅(qū)動(dòng)融合；域泛化
引言
EIT通過(guò)測(cè)量電極邊界電壓來(lái)反演目標(biāo)區(qū)域的電導(dǎo)率分布。傳統(tǒng)線性化或迭代優(yōu)化方法雖能引入正則項(xiàng)緩解病態(tài)，但在實(shí)時(shí)性、結(jié)構(gòu)邊界銳度與對(duì)噪聲/失配的魯棒性方面仍受限。深度學(xué)習(xí)方法將電壓到電導(dǎo)率的映射視作回歸問(wèn)題，取得顯著提升，但存在對(duì)特定數(shù)據(jù)分布過(guò)擬合、泛化性弱等問(wèn)題。近年興起的擴(kuò)散生成模型以多階段去噪的方式逐步細(xì)化空間細(xì)節(jié)，具備更強(qiáng)的先驗(yàn)學(xué)習(xí)與抗噪能力。本文聚焦兩類(lèi)代表性思路：（i）CDEIT：以邊界電壓作為條件直接生成電導(dǎo)率圖像；（ii）SPfusion：以擴(kuò)散模型生成非均勻敏感度先驗(yàn)并與模型驅(qū)動(dòng)解算融合，以彌補(bǔ)線性敏感度的高階信息缺失。
展開(kāi) 手持便攜式聲學(xué)相機(jī)漢航NTS.LAB ACP系統(tǒng)介紹
系統(tǒng)的總體架構(gòu)如圖6所示，在規(guī)劃時(shí)分為兩大部分，即聲源定位算法的實(shí)現(xiàn)和聲源定位結(jié)果可視化圖像處理的實(shí)現(xiàn)。
圖6 便攜式聲源定位系統(tǒng)總體架構(gòu)圖
第一部分為聲源定位算法的實(shí)現(xiàn)，以波束形成算法為例，該部分可以分為聲陣列信號(hào)采集、延時(shí)求和波束形成算法實(shí)現(xiàn)、以太網(wǎng)數(shù)據(jù)傳輸。首先通過(guò)數(shù)值仿真選取合適的陣列布局，然后實(shí)現(xiàn)MEMS傳聲器與FPGA的通信，進(jìn)而完成傳聲器陣列聲信號(hào)采集；接著搭建延時(shí)求和算法實(shí)現(xiàn)模塊，對(duì)傳聲器陣列采集到的聲信號(hào)進(jìn)行波束形成算法處理；最后編寫(xiě)以太網(wǎng)傳輸模塊，該模塊可以與聲信號(hào)采集模塊、延時(shí)求和算法實(shí)現(xiàn)模塊進(jìn)行交互，將采集到的聲信號(hào)和波束形成計(jì)算結(jié)果傳輸?shù)酵獠吭O(shè)備，方便后續(xù)處理和使用。
第二部分為聲源定位結(jié)果可視化圖像處理的實(shí)現(xiàn)，該部分可以分為聲學(xué)圖像處理、可見(jiàn)光圖像采集與緩存、聲光圖像融合與顯示。首先將第一部分處理得到的波束形成計(jì)算結(jié)果進(jìn)行灰度量化、偽彩圖變換和圖像縮放處理，形成分辨率合適的聲學(xué)云圖，完成聲學(xué)圖像的處理；與此同時(shí)，對(duì)攝像頭進(jìn)行初始化配置并接收其發(fā)送的圖像數(shù)據(jù)，然后將接收到的圖像輸入SDRAM進(jìn)行緩存；最后將SDRAM中存儲(chǔ)的可見(jiàn)光圖像讀出，與處理好的聲學(xué)圖像進(jìn)行疊加融合，在顯示屏上展示出聲光融合圖像。
3.2系統(tǒng)各模塊設(shè)計(jì)方案
（1）傳聲器陣列陣型設(shè)計(jì)
聲源定位效果除了被后處理算法限制，很大程度也受到傳聲器陣列結(jié)構(gòu)的影響。按照陣列的幾何分布形式劃分，常用的傳聲器陣列形式有十字陣列、網(wǎng)格陣列、環(huán)形陣列、螺旋形陣列等。為分析不同陣型的傳聲器陣列對(duì)聲源定位效果的影響，對(duì)上述幾種常用陣列進(jìn)行延時(shí)求和波束形成算法的數(shù)值仿真。陣列形式如圖7所示。為了便于對(duì)比分析，統(tǒng)一設(shè)置測(cè)量距離為0.1m，陣列孔徑為0.32m，陣元最小間距為0.04m，聲源分析頻率為3500Hz。
展開(kāi) 紅外成像與微光成像的區(qū)別
紅外熱成像系統(tǒng)不像微光夜視儀那樣借助自然光，而是靠目標(biāo)與背景的輻射產(chǎn)生景物圖像，因此紅外熱成像系統(tǒng)能24小時(shí)全天候工作。即使在白天也能通過(guò)熱成像進(jìn)行監(jiān)控。
紅外成像技術(shù)的缺點(diǎn)
紅外技術(shù)的缺點(diǎn)在于紅外圖像只敏感于目標(biāo)場(chǎng)景的輻射，而對(duì)場(chǎng)景的亮度變化不敏感。該技術(shù)必須借助于紅外燈發(fā)射的紅外線，熱成像則要求物體的溫度和紅外線的強(qiáng)度，無(wú)法適應(yīng)不同環(huán)境下的監(jiān)控要求。且熱成像成像不清，對(duì)周邊環(huán)境的感應(yīng)不強(qiáng)。紅外燈容易損壞、需要維護(hù)更換。
總結(jié)：
從科學(xué)和技術(shù)發(fā)展的角度看，紅外技術(shù)有一定優(yōu)勢(shì)。可見(jiàn)光的存在是有條件的，而任何物體都是紅外源，都在不停地輻射紅外線，所以紅外技術(shù)的應(yīng)用將無(wú)處不在。目前，在近距離夜視方面，由于微光夜視儀價(jià)格低廉，圖像質(zhì)量也較好，仍然占據(jù)主要地位。
隨著微光與紅外成像技術(shù)的發(fā)展，綜合和發(fā)掘微光與紅外圖像的特征信息，使其融合成更全面的圖像已發(fā)展成為一種有效的技術(shù)手段。夜視圖像融合能增強(qiáng)場(chǎng)景理解、突出目標(biāo)，有利于在隱藏、偽裝和迷惑的軍用背景下更快更精確地探測(cè)目標(biāo)。將融合圖像顯示成適合人眼觀察的自然形式，可明顯改善人眼的識(shí)別性能，減小操作者的疲勞感。
展開(kāi) 基于matlab求解二維非穩(wěn)態(tài)對(duì)流擴(kuò)散反應(yīng)問(wèn)題
?? 代碼獲取關(guān)注我
??部分理論引用網(wǎng)絡(luò)文獻(xiàn)，若有侵權(quán)聯(lián)系博主刪除
?? 關(guān)注我領(lǐng)取海量matlab電子書(shū)和數(shù)學(xué)建模資料
?? 仿真咨詢(xún)
1 各類(lèi)智能優(yōu)化算法改進(jìn)及應(yīng)用
生產(chǎn)調(diào)度、經(jīng)濟(jì)調(diào)度、裝配線調(diào)度、充電優(yōu)化、車(chē)間調(diào)度、發(fā)車(chē)優(yōu)化、水庫(kù)調(diào)度、三維裝箱、物流選址、貨位優(yōu)化、公交排班優(yōu)化、充電樁布局優(yōu)化、車(chē)間布局優(yōu)化、集裝箱船配載優(yōu)化、水泵組合優(yōu)化、解醫(yī)療資源分配優(yōu)化、設(shè)施布局優(yōu)化、可視域基站和無(wú)人機(jī)選址優(yōu)化
2 機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方面
卷積神經(jīng)網(wǎng)絡(luò)（CNN）、LSTM、支持向量機(jī)（SVM）、最小二乘支持向量機(jī)（LSSVM）、極限學(xué)習(xí)機(jī)（ELM）、核極限學(xué)習(xí)機(jī)（KELM）、BP、RBF、寬度學(xué)習(xí)、DBN、RF、RBF、DELM、XGBOOST、TCN實(shí)現(xiàn)風(fēng)電預(yù)測(cè)、光伏預(yù)測(cè)、電池壽命預(yù)測(cè)、輻射源識(shí)別、交通流預(yù)測(cè)、負(fù)荷預(yù)測(cè)、股價(jià)預(yù)測(cè)、PM2.5濃度預(yù)測(cè)、電池健康狀態(tài)預(yù)測(cè)、水體光學(xué)參數(shù)反演、NLOS信號(hào)識(shí)別、地鐵停車(chē)精準(zhǔn)預(yù)測(cè)、變壓器故障診斷
2.圖像處理方面
圖像識(shí)別、圖像分割、圖像檢測(cè)、圖像隱藏、圖像配準(zhǔn)、圖像拼接、圖像融合、圖像增強(qiáng)、圖像壓縮感知
3 路徑規(guī)劃方面
旅行商問(wèn)題（TSP）、車(chē)輛路徑問(wèn)題（VRP、MVRP、CVRP、VRPTW等）、無(wú)人機(jī)三維路徑規(guī)劃、無(wú)人機(jī)協(xié)同、無(wú)人機(jī)編隊(duì)、機(jī)器人路徑規(guī)劃、柵格地圖路徑規(guī)劃、多式聯(lián)運(yùn)運(yùn)輸問(wèn)題、車(chē)輛協(xié)同無(wú)人機(jī)路徑規(guī)劃、天線線性陣列分布優(yōu)化、車(chē)間布局優(yōu)化
4 無(wú)人機(jī)應(yīng)用方面
無(wú)人機(jī)路徑規(guī)劃、無(wú)人機(jī)控制、無(wú)人機(jī)編隊(duì)、無(wú)人機(jī)協(xié)同、無(wú)人機(jī)任務(wù)分配
、無(wú)人機(jī)安全通信軌跡在線優(yōu)化
5 無(wú)線傳感器定位及布局方面
傳感器部署優(yōu)化、通信協(xié)議優(yōu)化、路由優(yōu)化、目標(biāo)定位優(yōu)化、Dv-Hop定位優(yōu)化、Leach協(xié)議優(yōu)化、WSN覆蓋優(yōu)化、組播優(yōu)化、RSSI定位優(yōu)化
6 信號(hào)處理方面
展開(kāi) 【渦流檢測(cè)技術(shù)】
(2) 信息融合技術(shù)
信息融合是對(duì)來(lái)自不同信息源檢測(cè)、關(guān)聯(lián)、相關(guān)、估計(jì)和綜合等多級(jí)處理，得到被測(cè)對(duì)象的統(tǒng)一最佳估計(jì)。
渦流掃描圖像的融合，將圖像分解為多子帶圖像，并在轉(zhuǎn)換區(qū)內(nèi)采用融合算法實(shí)現(xiàn)圖像融合。Ka Bartels等采用信噪比最優(yōu)方法合并渦流信號(hào)，并用空間頻率補(bǔ)償方法使合并前高頻信號(hào)變得模糊而低頻信號(hào)變得清晰。Z Liu等利用最大值準(zhǔn)則選擇不同信號(hào)的離散小波變換系數(shù)，選取待融合系數(shù)的最大絕對(duì)值作為合并轉(zhuǎn)換系數(shù)。因此融合信號(hào)可基于這些系數(shù)，利用逆小波變換來(lái)重構(gòu)。小波變換可按不同比例有效提取顯著特征。在融合信號(hào)過(guò)程中，所有信號(hào)的有用特征都被保存下來(lái)，因此內(nèi)部和表面缺陷信息得到增強(qiáng)。
3、渦流逆問(wèn)題求解
換能器檢測(cè)到的信號(hào)隱含缺陷位置、形狀、大小及媒質(zhì)性質(zhì)等信息，由已知信號(hào)反推媒質(zhì)參數(shù)(電導(dǎo)率)或形狀(缺陷)，屬于電磁場(chǎng)理論中的逆問(wèn)題。
為求解渦流逆問(wèn)題，先要建立缺陷識(shí)別的數(shù)學(xué)模型，有形狀規(guī)則的人工缺陷、邊界復(fù)雜的自然缺陷、單缺陷和多缺陷等模型；在媒質(zhì)類(lèi)型方面，有復(fù)合材料和被測(cè)件表面磁導(dǎo)率變化等模型。
隨著計(jì)算機(jī)技術(shù)發(fā)展，缺陷模型各種數(shù)值解法也獲得進(jìn)展。出現(xiàn)有限元法、矩量法和邊界元法等。
展開(kāi) 
機(jī)器學(xué)習(xí)實(shí)踐指南:案例應(yīng)用解析(第二版)PDF高清文檔下載
全網(wǎng)最全Python必讀書(shū)藉合集（PDF文檔免費(fèi)下載）
目錄
推薦序
前言
第一部分 準(zhǔn)備篇
第1章 機(jī)器學(xué)習(xí)發(fā)展及應(yīng)用前景 2
1.1 機(jī)器學(xué)習(xí)概述 2
1.1.1 什么是機(jī)器學(xué)習(xí) 3
1.1.2 機(jī)器學(xué)習(xí)的發(fā)展 3
1.1.3 機(jī)器學(xué)習(xí)的未來(lái) 4
1.2 機(jī)器學(xué)習(xí)應(yīng)用前景 5
1.2.1 數(shù)據(jù)分析與挖掘 5
1.2.2 模式識(shí)別 6
1.2.3 更廣闊的領(lǐng)域 6
1.3 小結(jié) 7
第2章 科學(xué)計(jì)算平臺(tái) 8
2.1 科學(xué)計(jì)算軟件平臺(tái)概述 9
2.1.1 常用的科學(xué)計(jì)算軟件 9
2.1.2 本書(shū)使用的工程計(jì)算平臺(tái) 10
2.2 計(jì)算平臺(tái)的配置 11
2.2.1 Numpy等Python科學(xué)計(jì)算包的安裝與配置 11
2.2.2 OpenCV 安裝與配置 14
2.2.3 mlpy 安裝與配置 14
2.2.4 BeautifulSoup安裝與配置 15
2.2.5 Neurolab安裝與配置 15
2.2.6 R安裝與配置 16
2.3 小結(jié) 16
第二部分 基礎(chǔ)篇
第3章 計(jì)算平臺(tái)應(yīng)用實(shí)例 18
3.1 Python計(jì)算平臺(tái)簡(jiǎn)介及應(yīng)用實(shí)例 18
3.1.1 Python語(yǔ)言基礎(chǔ) 18
3.1.2 Numpy庫(kù) 29
3.1.3 pylab、matplotlib繪圖 36
3.1.4 圖像基礎(chǔ) 38
3.1.5 圖像融合與圖像鏡像 46
3.1.6 圖像灰度化與圖像加噪 48
3.1.7 聲音基礎(chǔ) 51
3.1.8 聲音音量調(diào)節(jié) 53
3.1.9 圖像信息隱藏 58
3.1.10 聲音信息隱藏 62
3.2 R語(yǔ)言基礎(chǔ) 68
3.2.1 基本操作 69
3.2.2 向量 71
3.2.3 對(duì)象集屬性 77
3.2.4 因子和有序因子 78
3.2.5 循環(huán)語(yǔ)句 79
3.2.6 條件語(yǔ)句 79
3.3 R語(yǔ)言科學(xué)計(jì)算 80
3.3.1 分類(lèi)（組）統(tǒng)計(jì) 80
3.3.2
展開(kāi) 淺析自動(dòng)駕駛域控制器發(fā)展趨勢(shì)
通過(guò)對(duì)攝像頭、超聲波雷達(dá)、毫米波雷達(dá)、激光雷達(dá)等傳感器信號(hào)的融合處理，結(jié)合高精地圖和導(dǎo)航等信息，做出自動(dòng)駕駛決策，并輸出整車(chē)控制指令。奧迪 zFAS 引領(lǐng)行業(yè)變革，強(qiáng)大運(yùn)算核心支持首個(gè)“域集成”控制器。奧迪是全球首個(gè)實(shí)現(xiàn)“域集成”控制器架構(gòu)的廠商，2018 年推出的奧迪 A8，將所有的駕駛輔助 ADAS系統(tǒng)中相互分離的 ECU，如自動(dòng)泊車(chē)、車(chē)道保持、自適應(yīng)巡航功能等均融合進(jìn)入自動(dòng)駕駛域控制器 zFAS。其由四塊芯片構(gòu)成，分別是 Mobileye 的 EyeQ3（外界圖像感知）、英特爾的 Cyclone V（傳感器數(shù)據(jù)融合）、英飛凌的 Aurix TC297T（主控通信處理）、英偉達(dá)的 Tegra K1（全景圖像融合），四塊芯片各有側(cè)重，由德?tīng)柛Ｌ峁┯布桑琓TTech提供軟件開(kāi)發(fā)。zFAS 實(shí)現(xiàn)自動(dòng)駕駛域集成，其余底盤(pán)+安全、動(dòng)力、車(chē)身、娛樂(lè)四大域仍然采用分布式架構(gòu)。
奧迪 A8 采用多種傳感器
zFAS 控制器
自動(dòng)駕駛域控制器對(duì)于 AI 芯片的算力要求很高，目前一線供應(yīng)商為英偉達(dá)、Mobileye、華為；二線供應(yīng)商包括高通、地平線等。國(guó)際 Tier 1 開(kāi)始加速推出自動(dòng)駕駛域控制器，如安波福、偉世通、大陸等。國(guó)內(nèi)自主企業(yè)也開(kāi)始推出自身的域控制器產(chǎn)品，較為典型包括德賽西威采用英偉達(dá) Xavier 芯片方案，給小鵬 P7 車(chē)型提供 IPU03 自動(dòng)駕駛域控制器，以及華為北汽極狐 αS Hi 版提供 MDC 810 自動(dòng)駕駛域控制器。
自動(dòng)駕駛域控制器裝車(chē)跟蹤
智能座艙域控制器，不涉及行車(chē)安全，集成先行
汽車(chē)座艙升級(jí)分為幾個(gè)階段。
展開(kāi) 骨骼掃描數(shù)據(jù)成像與有限元網(wǎng)格輸出
Simpleware軟件是英國(guó)的Simpleware Ltd公司推出的一套集成逆向工程、材料工程、生物力學(xué)工程、有限元分析等多工業(yè)、多學(xué)科領(lǐng)域的統(tǒng)一解決方案的專(zhuān)業(yè)軟件，它通過(guò)對(duì)三維體圖或二維平面序列圖像（CT/MRI/Microscopy）進(jìn)行提取、分割、合并等操作，生成表面重建后的三維圖像，并將其輸出到第三方軟件進(jìn)行快速成型制造；同時(shí)提供多種體網(wǎng)格生成技術(shù)，直接生成多種有限元軟件或計(jì)算流體力學(xué)軟件的網(wǎng)格文件，并支持導(dǎo)出NURBS曲面描述的 CAD模型。
Simpleware軟件為骨科醫(yī)生進(jìn)行數(shù)字骨科實(shí)踐提供了理想的平臺(tái)
Simpleware股骨建模、植入物定位與有限元網(wǎng)格生成
使用Simpleware中的ScanIP模塊，將CT等掃描的股骨數(shù)據(jù)圖像文件，生成三維股骨模型。
中仿高級(jí)工程師Sean，與某大型醫(yī)院骨科王醫(yī)生密切配合，將生成的三維股骨，通過(guò)Simpleware 3D編輯工具修改模型，去除股骨頭，使用+CAD模塊導(dǎo)入和定位手術(shù)中的植入物CAD模型，從而模擬外科手術(shù)；使用+FE模塊，可以生成用戶(hù)需要的表面網(wǎng)格模型和體網(wǎng)格模型。
基于三重周期性隱函數(shù)，Simpleware為構(gòu)造立方體格子結(jié)構(gòu)，提供多種內(nèi)置單元，并能與醫(yī)學(xué)圖像完美融合，將修復(fù)區(qū)域替換為功能梯度材料。Simpleware強(qiáng)大易用的功能以及中仿的技術(shù)實(shí)施能力，都得到了王醫(yī)生的高度肯定。
文章來(lái)源：中仿科技
展開(kāi) 自動(dòng)駕駛傳感器融合：激光雷達(dá)+攝像頭
利用連續(xù)卷積將圖像特征投影到BEV視圖
PointPainting[8]把點(diǎn)云投影到圖像語(yǔ)義分割的結(jié)果中，這與IPOD中的做法類(lèi)似。但是，PointPainting沒(méi)有利用語(yǔ)義分割的結(jié)果來(lái)分離前景點(diǎn)，而是直接將語(yǔ)義分割的信息附加到點(diǎn)云上。這樣做的好處是，融合之后的數(shù)據(jù)還是點(diǎn)云（但是具有更為豐富的語(yǔ)義信息），可以采用任何點(diǎn)云物體檢測(cè)網(wǎng)絡(luò)來(lái)處理，比如PointRCNN，VoxelNet，PointPillar等等。
PointPainting的融合流程圖
PointPainting中附加給點(diǎn)云的是2D圖像的語(yǔ)義信息，這已經(jīng)是高度抽象之后的信息，而原始的圖像特征則被丟棄了。從融合的角度來(lái)看，底層特征的融合可以更大程度的保留信息，利用不同特征之間的互補(bǔ)性，理論上說(shuō)也就更有可能提升融合的效果。MVX-Net[9]利用一個(gè)實(shí)現(xiàn)訓(xùn)練好的2D卷積網(wǎng)絡(luò)來(lái)提取圖像特征，然后通過(guò)點(diǎn)云和圖像之間的映射關(guān)系將圖像特征附加到每個(gè)點(diǎn)上。之后再采用VoxelNet來(lái)處理融合后的點(diǎn)特征。除了這種點(diǎn)融合策略，MVX-Net還提出了在voxel層次上融合，其主要的不同就在于將voxel而不是point投影到圖像空間，因此圖像特征是被附加在voxel之上。從實(shí)驗(yàn)結(jié)果來(lái)看，point融合比voxel融合結(jié)果略好，這也進(jìn)一步說(shuō)明了較低的融合層次可能會(huì)帶來(lái)更好的效果。
MVX-Net中的Point融合方法
語(yǔ)義分割任務(wù)中的融合一般都是在特征層上進(jìn)行，之前介紹的特征融合方法理論上來(lái)說(shuō)可以用來(lái)進(jìn)行語(yǔ)義分割。
展開(kāi) 