遷移學習
關注創建者：宅家達人 創建時間：2022-07-21
遷移學習的實例教程
二、深度學習簡介與經典網絡結構介紹
1.神經網絡簡介
2.神經網絡組件簡介
3.神經網絡訓練方法
4.卷積神經網絡介紹
5.經典網絡結構介紹
目標：深入了解神經網絡的組成、訓練和實現，掌握深度空間特征分布等關鍵概念，為深度遷移學習奠定知識基礎。
三、遷移學習基礎
1.遷移學習緒論
2.基于樣本的遷移學習
3.基于特征的遷移學習
4.基于分類器適配的遷移學習
目標：掌握遷移學習的思想與基本形式，了解傳統遷移學習的基本方法，對比各種方法的優缺點，掌握遷移學習的適用范圍。
四、深度遷移學習介紹
1.深度遷移學習概述
2.基于距離函數的深度遷移學習
3.基于對抗網絡的深度遷移學習
4.深度異構遷移學習方法介紹
5.深度領域泛化學習介紹
目標：掌握深度遷移學習的思想與組成模塊，學習深度遷移學習的各種方法，對比各種方法的優缺點，掌握深度遷移學習的適用范圍。
五、遷移學習前沿方法介紹
1.深度遷移網絡結構設計
2.深度遷移學習目標函數設計
3.全新場景下的遷移學習
目標：掌握深度遷移學習的網絡結構設計、目標函數設計的前沿方法，了解遷移學習在PDA、Source-Free DA上的應用。
六、遷移學習前沿應用
1.遷移學習在語義分割中的應用
2.遷移學習在目標檢測中的應用
3.遷移學習在行人重識別中的應用
4.圖片與視頻風格遷移
目標：掌握深度遷移學習在語義分割、目標檢測、行人重識別等任務中的應用，學習圖像/視頻風格遷移方法，了解風格遷移在實際生活中的應用。
展開 “深度學習一點也不難！”
通常情況下，機器學習尤其是深度學習的使用往往需要具備相當的有利條件，包括一個大型的數據集，設計有效的模型，而且還需要訓練的方法——但現在，利用遷移學習就可以消除掉這些瓶頸。
作者 | Caleb Kaiser
以下為譯文：
在不久之前，為了有效地使用深度學習，數據科學團隊需要：
· 一種新穎的模型架構，很可能需要自己設計；
· 大型數據集，很可能需要自己收集；
· 大規模訓練模型的硬件或資金。
這些條件和設施成為了限制深度學習的瓶頸，只有少數滿足這些條件項目才能應用深度學習。
然而，在過去的幾年中，情況發生了變化。
我們看到用戶開始試用基于深度學習的新一代產品，而且與以往不同的是，這些產品使用的是以前沒有出現過的任何一種模型架構。
這種增長背后的驅動力是遷移學習（transfer learning）。
什么是遷移學習？
從廣義上講，遷移學習的思想是專注于存儲已有問題的解決模型（例如識別照片中的花朵），并將其利用在其他不同但相關問題上（例如識別皮膚中的黑素瘤）。
遷移學習有多種方法，但其中一種方法——微調法（finetuning）得到了廣泛采用。
在這種方法中，團隊采用預先訓練好的模型，然后通過刪除或重新訓練模型的最后一層，將其用于新的相關任務。例如，AI Dungeon是一款開放世界的文字冒險游戲，因其AI生成的生動形象的故事而廣為傳播：
注意，AI Dungeon不是Google研究實驗室開發的項目，只是一名工程師構建的黑客馬拉松項目。
AI Dungeon的創建者Nick Walton并沒有從零開始設計模型，而是采用了最新的NLP模型（OpenAI GPT-2），然后對其進行微調來設置自己的冒險文字。
展開 表3 遷移學習的類型
Table 3 Types of transfer learning
對于深度學習而言，遷移學習的過程為利用相關領域的知識通過深度神經網絡進行目標域中模型的訓練。按照學習的方法不同可將深度遷移學習分為3類：基于實例的遷移學習、基于特征的遷移學習和基于模型的遷移學習。
基于實例的遷移學習通過調整權重來增加目標域有用樣本的權重，以此補充目標域訓練數據，這種方法目前使用較少；基于特征的遷移學習通過挖掘源域數據中可以覆蓋目標域數據的部分，實現不同特征空間之間的知識遷移，在目標檢測任務比較常見的是特征提取器的遷移；基于模型的遷移學習需要找到源域和目標域模型之間可以共享的參數或知識。
遷移學習在目標檢測領域取得了一些不錯的成果。Pan等[38]提出了一種基于遷移學習和幾何特征約束的級聯CNN網絡模型，在較少的遙感圖像樣本下實現了高精度的檢測；Yuan等[39]在大中小3種規模的數據集之間使用兩次遷移學習，實現了較高精度的夜間航拍車輛檢測；Wang等[40]使用深度遷移學習的方法成功地將在規模的仿真SAR圖像數據集上學習到的知識遷移到實測SAR圖像上，提高了數據稀缺下目標識別的準確率。但遷移學習的順利進行是有條件限制的，需要保證源域和目標域之間具有共同點，具有一定的相似性和關聯性[41-42]。
2.3 無人機目標檢測算法
計算機視覺領域中基于深度學習的目標檢測方法在自然場景領域取得了巨大的成功，這對于無人機目標檢測任務是值得借鑒和參考的，很多國內外研究提出了效果顯著的改進算法。本文從無人機影像的4個特點出發，分析比較了一些具有代表性的方法，表4給出了部分算法在DOTA數據集上的實驗結果，表5為不同算法的優缺點對比。
展開 主要特點：
使用強化學習自動設計架構。
高精度和高效的性能。
應用：通用圖像分類和遷移學習。
8. Xception （極限盜夢空間）
概述：Xception 由 Google 開發，是 Inception 架構的擴展，具有深度可分離卷積。
主要特點：
完全卷積架構。
用于提高性能的深度可分離卷積。
應用：通用圖像分類和遷移學習。
9. 亞歷克斯網
概述：AlexNet 由 Alex Krizhevsky 開發，是最早普及 CNN 在圖像分類中的使用的深度學習模型之一。
主要特點：
具有 8 層的簡單架構。
ReLU 激活函數和 dropout 正則化。
應用：通用圖像分類和歷史基準。
10. 視覺變形金剛 （ViT）
概述：Vision Transformers 由 Google 開發，將最初為 NLP 設計的 Transformer 架構應用于圖像分類。
主要特點：
Transformer 編碼器架構。
使用大型數據集和計算資源進行良好擴展。
應用：一般圖像分類和大規模視覺任務。
用于圖像分類的預訓練模型的優勢
減少訓練時間：預訓練模型顯著縮短了訓練時間。由于它們已經在大型數據集上進行了訓練，因此只需要針對特定任務進行微調。這種效率使開發人員能夠更快地部署模型。
提高準確性：這些模型已經在大量數據上進行了訓練，使它們能夠很好地泛化。因此，與從頭開始訓練的模型相比，它們通常在各種任務上實現更高的準確性。
展開 圖3 深度學習算法的分類
③遷移學習：指一種學習或學習的經驗對另一種學習的影響，以深度卷積神經網絡為基礎，通過修改一個已經經過完整訓練的深度卷積神經網絡模型的最后幾層連接層，再使用針對特定問題而建立的小數據集進行訓練，以使其能夠適用于一個新問題。其放寬了傳統機器學習中的兩個基本假設，目的是遷移已有的知識來解決目標領域中僅有少量甚至沒有有標簽樣本數據的學習問題。圖4給出了傳統機器學習和遷移學習過程的差異。
圖4 遷移學習與機器學習的差異
2.大數據建模的未來發展趨勢
從技術發展的角度來講，大數據建模一方面將會呈現特征工程與特征學習算法相結合的趨勢，提升大數據建模的準確性；另一方面將會越來越多地探索無監督學習的算法性能提升和應用，解決數據標記的問題同時，賦予機器真正的類人學習行為。
從技術應用的角度來講，由于物理建模在進行復雜系統建模是存在的不準確的問題，將會越來越多地將新一代人工智能的算法與數控機床相結合，以開辟新的技術路線，提升預測的穩定性與準確性，使得機床具有更好知識學習、積累與應用的能力。
因此，大數據建模一方面本身的內涵和外延將會得到極大的擴展和深化，另一方面，其將會在數控機床領域得到全面、廣泛而深入的應用。
展開 
遷移學習的最新內容
你將學
到的內容
使用 PyTorch 庫
搭建深度學習環境 學習構建圖像分類深度學習模型
使用卷積神經網絡進行遷移學習
理解如何使用 PyTorch 進行自然語言處理
使用循環神經網絡分類
文本 理解如何在多處理器和分布環境中
優化 訓練、優化和部署神經網絡以實現最大準確性和性能
學習部署生產準備模型
3.2 網絡架構設計：遷移學習回歸結構
為高效提取電壓圖像特征并實現像素級電導率回歸，本研究基于經典預訓練模型構建 EIT 回歸網絡，具體如下：
?使用模型：
ResNet18
ResNet50
VGG16
U-Net，ResU-Net，Attention+ResU-Net
?修改方法：
3.3 訓練設置與超參數
使用 Adam
Transfer Learning：遷移學習是機器學習的一種策略，假設已經基于車型A的訓練集創建了深度模型，如將其直接用于預測車型B和車型C，可能會產生較大誤差。由于不同車型之間有些相似特征，例如A和B車型的前臉相似，A和C車型的車尾相似。可以通過增加樣本的方法，更新已有的模型，而無須從頭開始訓練，并提高深度學習的泛化能力。
天璣AI開發套件2.0還首次引入端側LoRA訓練，讓AI模型在端側即可完成遷移學習，相比利用CPU進行訓練的方案，在天璣NPU上訓練速度狂暴提升50倍，端側LoRA訓練從此告別漫長等待。
提出了一個包含53,345張鯊魚圖片的數據庫，覆蓋了219種鯊魚，并開發了一個名為“Shark Detector”的軟件包，利用PyQt5設計了簡約的系統UI界面，使用遷移學習和卷積神經網絡（CNN）來自動識別和快速分類鯊魚種類。
這些模型是遷移學習的起點。常見型號包括 Faster R-CNN、SSD（Single Shot Multibox Detector）和 YOLO（You Only Look Once）。在本教程中，我們將使用 ssd_mobilenet_v2_fpnlite_640x640_coco17_tpu-8 模型。
遷移學習：將從一項任務中獲得的知識應用于不同但相關的問題，以最少的額外培訓提高各種應用程序的效率和適應性。
智能系統中的感知
能夠感知意味著智能系統能夠通過其大量的感官為接收到的數據賦予意義并理解周圍的環境。這包括：
計算機視覺：能夠接收和解釋圖像，從而篩選和分類不同物體、面部細節和場景的能力。
應用：通用圖像分類和遷移學習。
8. Xception （極限盜夢空間）
概述：Xception 由 Google 開發，是 Inception 架構的擴展，具有深度可分離卷積。
主要特點：
完全卷積架構。
用于提高性能的深度可分離卷積。
應用：通用圖像分類和遷移學習。
9.
結論
由于培訓面臨的挑戰，LLM 遷移學習得到了大力推廣，以消除上面討論的所有挑戰。LLM 有能力為 AI 驅動的應用程序帶來革命，但該領域的進步似乎有點困難，因為僅僅增加模型的大小可能會提高其性能，但在特定時間之后，性能會達到飽和，處理這些模型的挑戰將大于通過進一步增加模型大小所實現的性能提升。
常見問題解答
1. 什么是大型語言模型？
神經網絡結構的設計與優化
通過遷移學習的方法，研究者利用波士頓房價預測的數據集訓練出的神經網絡參數，構建并優化了適用于汽車碰撞損傷預測的深度卷積神經網絡結構。這一網絡結構經過充分訓練后，能夠以高準確率預測車輛損傷程度。
實際應用：提升駕駛安全性
結合單目深度學習算法，該預測技術能夠為駕駛員提供未來事故發生后的車輛損傷程度預測。
