我跟幾位BATJ現(xiàn)職的CV算法工程師聊了聊學(xué)習(xí)路徑的話題——

• 學(xué)習(xí)CV要具備哪些基礎(chǔ)？

• CV算法工程師應(yīng)當(dāng)掌握哪些技能？

0 1

學(xué)習(xí)CV要具備哪些基礎(chǔ)

01 編程與數(shù)理基礎(chǔ)

掌握Python基礎(chǔ)理論知識、了解第三方數(shù)據(jù)科學(xué)庫，能夠使用Python語言進行初級機器學(xué)習(xí)編程。掌握線性代數(shù)、微積分、概率論、最優(yōu)化的相關(guān)知識。

02 機器學(xué)習(xí)基礎(chǔ)

了解線性回歸、邏輯回歸、決策樹等機器學(xué)習(xí)經(jīng)典模型、能夠基于Python語言上手機器學(xué)習(xí)算法實踐。

03 深度學(xué)習(xí)基礎(chǔ)

熟練卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)、了解簡單的Pytorch使用。

04 計算機視覺基礎(chǔ)

以O(shè)penCV為基礎(chǔ)，掌握圖像基礎(chǔ)知識、基本處理等CV方向的基礎(chǔ)理論。

0 2

算法模型——讀這些論文

01 圖像分類

vgg、inception、resnet、mobilenet、SENet。

02 圖像分割

unet、deeplab系列、FCN、SegNet、BiSeNet。

03 目標(biāo)檢測

SSD、FPN、RetinaNet、Faster rcnn、AnchorFree、基于Transformer和CNN的端到端檢測。

04 GAN

GAN、DCGAN、Pix2Pix。

0 3

項目學(xué)習(xí)——理論結(jié)合實戰(zhàn)

01 圖像分類

圖像分類是計算機視覺領(lǐng)域最基礎(chǔ)也是最核心的任務(wù)，雖然最近涌現(xiàn)出大量優(yōu)秀的CNN模型可直接用于圖像分類，簡化了傳統(tǒng)圖像分類人工設(shè)計特征的流程，但是真正的企業(yè)級應(yīng)用中遠不止使用CNN網(wǎng)絡(luò)模型那么簡單。實際項目算法開發(fā)過程中，除了模型使用還需要考慮數(shù)據(jù)分布、類別均衡、數(shù)據(jù)增強、損失函數(shù)等trick的應(yīng)用。

推薦項目：花朵分類&不均衡Cifar分類

熟悉訓(xùn)練技巧，掌握獨立完成項目級圖像分類模型訓(xùn)練的能力。

02 圖像分割

圖像分割是CV主要方向之一，在自動駕駛、人像摳圖、醫(yī)學(xué)圖像分析和工業(yè)質(zhì)檢均有廣泛應(yīng)用。能掌握經(jīng)典圖像分割算法，熟悉代碼開發(fā)流程，獨立完成圖像分割項目是算法工程師必備的能力。

推薦項目：自動駕駛語義分割&人像分割及照片制作

用代碼實現(xiàn)數(shù)據(jù)集讀取、圖像分割模型訓(xùn)練、訓(xùn)練分析、模型推理、線上部署。完整地做一次圖像分割項目實戰(zhàn)。

03 目標(biāo)檢測

目標(biāo)檢測是CV領(lǐng)域的重要方向之一，在自動駕駛、衛(wèi)星遙感、機器人、智慧工廠、智能交通等領(lǐng)域中應(yīng)用廣泛。掌握經(jīng)典的目標(biāo)檢測算法，學(xué)會檢測器性能提升方法和模型輕量化的方法，了解模型部署的流程，是計算機視覺工程師的必備技能，也是進入各大廠和創(chuàng)業(yè)公司的必要條件。

推薦項目：基于YOLOX構(gòu)建高性能目標(biāo)檢測器&輕量級目標(biāo)檢測器

掌握構(gòu)建baseline檢測器的方法，掌握目標(biāo)檢測器性能優(yōu)化和輕量化的技巧，了解工程實踐中目標(biāo)檢測任務(wù)開發(fā)的一般流程。

04 GAN

生成式對抗網(wǎng)絡(luò)模型被譽為“下一代深度學(xué)習(xí)框架”，是目前最強大的生成式模型，已在圖像視頻生成、增強、編輯等應(yīng)用領(lǐng)域廣泛落地。每隔一段時間網(wǎng)絡(luò)上就會出現(xiàn)關(guān)于其神奇效果的相關(guān)報道，比如換臉、繪畫、讓人物跳舞、老片修復(fù)、以及讓照片人臉動起來等等。這其中，圖像增強可謂是GAN落地最成熟的一個方向。此外，數(shù)據(jù)爬取、數(shù)據(jù)分析篩選、模型批量調(diào)參、模型快速部署等算法工程師必備技能也是本項目的重點。

推薦項目：圖像增強經(jīng)典超分辨率任務(wù)均衡Cifar分類項目

學(xué)習(xí)和探索GAN技術(shù)是如何在企業(yè)中一步步落地，解決客戶的實際需求。