預(yù)訓(xùn)練模型
關(guān)注創(chuàng)建者：匿名 創(chuàng)建時(shí)間：2021-08-04
預(yù)訓(xùn)練模型的視頻教程
ABAQUS螺栓預(yù)緊力梁柱節(jié)點(diǎn)滯回分析（建模視頻免費(fèi)，直接觀看，模型文件付費(fèi)下載）
若有討論，請(qǐng)私信；若有錯(cuò)誤，請(qǐng)指教，并見(jiàn)諒，謝謝 視頻教程免費(fèi)，可直接看，模型文件付費(fèi)下載附件
￥5 1小時(shí)6分鐘 23播放
查看
預(yù)訓(xùn)練模型的實(shí)例教程
視覺(jué)變形金剛 （ViT）
用于圖像分類的預(yù)訓(xùn)練模型的優(yōu)勢(shì)
用于圖像分類的預(yù)訓(xùn)練模型的挑戰(zhàn)
預(yù)訓(xùn)練模型概述
預(yù)訓(xùn)練模型是現(xiàn)代深度學(xué)習(xí)的重要組成部分。這些模型最初是在 ImageNet 等大型通用數(shù)據(jù)集上訓(xùn)練的。他們學(xué)習(xí)識(shí)別各種特征，從簡(jiǎn)單的邊緣到復(fù)雜的紋理和對(duì)象。這種廣泛的培訓(xùn)使他們能夠很好地概括，使他們成為新任務(wù)的有效起點(diǎn)。通過(guò)在特定數(shù)據(jù)集上微調(diào)這些模型，開(kāi)發(fā)人員可以用更少的數(shù)據(jù)和計(jì)算來(lái)實(shí)現(xiàn)高性能
預(yù)訓(xùn)練模型的架構(gòu)各不相同，但它們具有共同的特征。它們由多個(gè)層組成，這些層逐步從輸入圖像中提取特征。早期層捕獲低級(jí)特征，而較深層識(shí)別高級(jí)模式。預(yù)訓(xùn)練模型可以適應(yīng)各種領(lǐng)域，從醫(yī)學(xué)成像到自動(dòng)駕駛。它們的多功能性和有效性使它們成為計(jì)算機(jī)視覺(jué)領(lǐng)域的寶貴工具。
用于圖像分類的頂級(jí)預(yù)訓(xùn)練模型
一些預(yù)訓(xùn)練模型由于其性能和可靠性而成為圖像分類的標(biāo)準(zhǔn)。以下是主要型號(hào)：
1. ResNet（殘差網(wǎng)絡(luò)）
概述：Microsoft Research 推出的 ResNet 通過(guò)使用殘差連接來(lái)緩解深度網(wǎng)絡(luò)中梯度消失的問(wèn)題，徹底改變了深度學(xué)習(xí)。
變體：ResNet-50、ResNet-101、ResNet-152。
主要特點(diǎn)：
深度架構(gòu)（最多 152 層）。
殘差塊，允許梯度流經(jīng)快捷連接。
應(yīng)用：通用圖像分類、對(duì)象檢測(cè)和特征提取。
2. 盜夢(mèng)空間 （GoogLeNet）
概述：由 Google 開(kāi)發(fā)的 Inception 網(wǎng)絡(luò)使用 inception 模塊來(lái)捕獲多尺度特征。
變體：Inception v3、Inception v4、Inception-ResNet。
展開(kāi) 1 引言
在<Transformers之問(wèn)題對(duì)答(Question Answering)>中, 使用了mrm8488/bert-multi-cased-finetuned-xquadv1數(shù)據(jù)集回答問(wèn)題, 這個(gè)數(shù)據(jù)集是一個(gè)多語(yǔ)言預(yù)訓(xùn)練模型: BERT(base-multilingual-cased) fine-tuned for multilingual Q&A. 并且使用了最簡(jiǎn)單的管道pileline()調(diào)用方法. 就像我們已經(jīng)看到的一樣, 這個(gè)模型得出的結(jié)果不理想, 因此本文探索了一個(gè)更高級(jí)的預(yù)訓(xùn)練模型.
2 模型描述
本文的試驗(yàn)模型采用了bert-large-uncased-whole-word-masking-finetuned-squad數(shù)據(jù)集作為問(wèn)題回答模型。在默認(rèn)狀態(tài)下, 這個(gè)模型保存在C:\Users\m\.cache\huggingface\transformers文件夾內(nèi). 該模型不區(qū)分字母的大小寫, 使用了屏蔽語(yǔ)言模擬masked language modeling (MLM) 目標(biāo)對(duì)英語(yǔ)語(yǔ)言進(jìn)行預(yù)訓(xùn)練。可以在問(wèn)題回答管道中使用它，或者使用它來(lái)輸出給定查詢和上下文的原始結(jié)果。BERT模型在BookCorpus上進(jìn)行了預(yù)訓(xùn)練，該數(shù)據(jù)集由11,038本未出版的書籍和英文維基百科組成(不包括列表、表格和標(biāo)題)。
與其他BERT模型不同的是，這個(gè)模型使用了全詞屏蔽Whole Word Masking技術(shù)進(jìn)行訓(xùn)練。在這種情況下，一個(gè)詞所對(duì)應(yīng)的所有標(biāo)記(tokens)都會(huì)被一次性屏蔽掉, 而整體屏蔽率保持不變。訓(xùn)練是相同的 -- 每個(gè)被屏蔽的WordPiece標(biāo)記都是獨(dú)立預(yù)測(cè)的。在預(yù)訓(xùn)練之后，這個(gè)模型在SQuAD數(shù)據(jù)集上用一個(gè)微調(diào)腳本進(jìn)行了微調(diào)。
展開(kāi) 1 引言
盡管已經(jīng)發(fā)展出許多預(yù)訓(xùn)練模型，但正如過(guò)去試驗(yàn)看到的一樣，這些預(yù)訓(xùn)練模型還不能真正滿足我們巖土工程專業(yè)的需要，為了真正達(dá)到我們的目的，必須在預(yù)訓(xùn)練模型的基礎(chǔ)上微調(diào)出我們自己的模型GeotechSet，之所以長(zhǎng)時(shí)間沒(méi)有這樣做，其中一個(gè)主要原因是考慮到時(shí)間問(wèn)題，以我目前的硬件配置，訓(xùn)練出一個(gè)新的模型需要好幾個(gè)小時(shí)(下面例子的模型訓(xùn)練用了大約50分鐘，訓(xùn)練數(shù)據(jù)1.3M)。這個(gè)筆記簡(jiǎn)要總結(jié)了微調(diào)模型的過(guò)程，檢驗(yàn)了訓(xùn)練出來(lái)的模型是否可用。
2 訓(xùn)練模型
微調(diào)代碼保存在training_stsbenchmark.py中，訓(xùn)練數(shù)據(jù)集保存在datasets文件夾內(nèi)。
預(yù)訓(xùn)練模型可以選擇任意的Transformers模型，例如Bert，RoBERTa，XLNet, XLM-R，DistilBERT等(bert-base-uncased, roberta-base, xlm-roberta-base，bert-base-cased)。
展開(kāi) 1 引言
在之前的《GeotechSet模型的擴(kuò)展和優(yōu)化---集成了aitextgen》中訓(xùn)練出GeotechSet，使用的是GPT2預(yù)訓(xùn)練模型，由于機(jī)器只有6G GPU的限制，不能使用GPT2-Large。為了能使用這個(gè)模型，改用了CPU進(jìn)行訓(xùn)練。這個(gè)筆記簡(jiǎn)要記錄了改進(jìn)的過(guò)程。
2 GPT2和GPT2-large的差別
GPT2是在一個(gè)名為WebText的40GB數(shù)據(jù)集上訓(xùn)練的，數(shù)據(jù)來(lái)源是從網(wǎng)上抓取的。GPT2系列共有 5個(gè)模型：distilgpt2-small，gpt2(gpt2-small)，gpt2-medium，gpt2-large和gpt2-xl。目前我們只使用gpt2和gpt2-large這兩個(gè)模型。GPT2需要占用500MB的存儲(chǔ)空間來(lái)存儲(chǔ)其所有參數(shù)，而GPT2-large是GPT2的13倍，占用超過(guò)6.5GB的存儲(chǔ)空間。gpt2共有參數(shù)124439808個(gè)，gpt2-large共有參數(shù)774030080個(gè)，而gpt2-xl模型應(yīng)該有大約1.5B的參數(shù)。
這個(gè)測(cè)試使用了如下代碼：
sum(p.numel() for p in gpt2_model.parameters() if p.requires_grad)
3 使用GPT2-large
在現(xiàn)有的條件下，為了使用GPT2-large, 必須在CPU下才能運(yùn)行。為此新建了一個(gè)虛擬環(huán)境mwu-training,這個(gè)新的虛擬環(huán)境是從mwu-transformer克 隆過(guò)來(lái)的，然后在這個(gè)新的training環(huán)境中首先卸載CUDA，然后重新安裝torch的CPU版本，整個(gè)過(guò)程還算順利。
展開(kāi) ，但模型訓(xùn)練在很大程度上是一門藝術(shù)而不是科學(xué)，調(diào)參是模型訓(xùn)練時(shí)必要步驟，會(huì)占用大量時(shí)間。
預(yù)訓(xùn)練模型的相關(guān)專題、標(biāo)簽、搜索
預(yù)訓(xùn)練模型的最新內(nèi)容
在實(shí)操環(huán)節(jié)，企業(yè)學(xué)員們通過(guò)動(dòng)手操作，親身體驗(yàn)了從原始數(shù)據(jù)（圖像和表單）載入、數(shù)據(jù)預(yù)處理、模型訓(xùn)練與評(píng)估、模型部署與應(yīng)用的全流程。這種沉浸式的教學(xué)方式，讓企業(yè)直觀體驗(yàn)了AI技術(shù)在優(yōu)化生產(chǎn)工藝、設(shè)備故障預(yù)警以及輔助決策方面的價(jià)值。
通過(guò)海量數(shù)據(jù)的預(yù)訓(xùn)練，這些模型能夠同時(shí)處理視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等多種感知信號(hào)，實(shí)現(xiàn)對(duì)物理世界的立體認(rèn)知。更重要的是，新一代大模型在復(fù)雜推理能力上取得了顯著進(jìn)步，能夠進(jìn)行多步邏輯推演、因果分析和不確定性決策，這為機(jī)器人賦予了類似人類的"常識(shí)"和"判斷力"。
在技術(shù)實(shí)現(xiàn)路徑上，研究人員通過(guò)構(gòu)建"感知-認(rèn)知-行動(dòng)"的閉環(huán)系統(tǒng)，將大模型的決策能力與機(jī)器人的執(zhí)行機(jī)構(gòu)無(wú)縫銜接。
我們嘗試將nuScenes預(yù)訓(xùn)練模型在SimData上進(jìn)行微調(diào)（Fine-tuning）。
實(shí)驗(yàn)結(jié)果：微調(diào)后的模型在SimData上的檢測(cè)精度顯著提升，性能甚至超過(guò)了從零開(kāi)始訓(xùn)練（Train from Scratch）的模型。
3.2 網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)：遷移學(xué)習(xí)回歸結(jié)構(gòu)
為高效提取電壓圖像特征并實(shí)現(xiàn)像素級(jí)電導(dǎo)率回歸，本研究基于經(jīng)典預(yù)訓(xùn)練模型構(gòu)建 EIT 回歸網(wǎng)絡(luò)，具體如下：
?使用模型：
ResNet18
ResNet50
VGG16
U-Net，ResU-Net，Attention+ResU-Net
?修改方法：
3.3 訓(xùn)練設(shè)置與超參數(shù)
使用 Adam
</p><p class="ql-align-justify">除此之外，也可通過(guò)樣本平衡、實(shí)驗(yàn)設(shè)計(jì)（DoE）等手段擴(kuò)充數(shù)據(jù)集；另一種方法是引入大模型輔助打標(biāo)簽，通過(guò)預(yù)訓(xùn)練模型將少量數(shù)據(jù)擴(kuò)展為帶標(biāo)簽的大樣本集。然而，從安全性與可控性考慮，建議關(guān)鍵數(shù)據(jù)仍應(yīng)由企業(yè)自身生成，尤其是在制造領(lǐng)域。整體來(lái)看，數(shù)據(jù)不足的問(wèn)題，最根本的解決辦法仍是客戶主動(dòng)建立數(shù)據(jù)采集意識(shí)與機(jī)制。
更多精彩內(nèi)容，請(qǐng)關(guān)注“鋰電芯動(dòng)”公眾號(hào)
引言
在科學(xué)計(jì)算領(lǐng)域，COMSOL Multiphysics是一款強(qiáng)大的仿真軟件，能夠解決復(fù)雜的物理場(chǎng)問(wèn)題。然而，其仿真過(guò)程往往需要大量計(jì)算資源和時(shí)間。為了提高效率，可以使用Python控制COMSOL，結(jié)合深度神經(jīng)網(wǎng)絡(luò)（DNN）構(gòu)建代理模型。
具體而言，Python腳本可以自動(dòng)化COMSOL的仿真流程，生成訓(xùn)練數(shù)據(jù)集。這些數(shù)據(jù)包括輸入?yún)?shù)（如幾何尺寸
<p><strong>案例簡(jiǎn)介</strong></p><p><strong>Altair</strong><sup><strong>?</strong></sup><strong> PhysicsAI? 助力HERO MOTOCORP 實(shí)現(xiàn)設(shè)計(jì)效率提升99%</strong></p><p><br></p><p>印度領(lǐng)先的跨國(guó)摩托車和踏板車制造商 Hero MotoCorp Ltd. （以下簡(jiǎn)稱Hero
編輯
7 第 5 步：預(yù)訓(xùn)練 CNN 模型
構(gòu)建模型后，讓我們創(chuàng)建 'train_generator' 和 'validation_generator' 以在下一步中將它們擬合到我們的模型中。我們看到訓(xùn)練集中總共有 2200 張圖像，測(cè)試集中總共有 551 張圖像。
找到屬于 2 個(gè)類的 2200 張圖像。
找到屬于 2 個(gè)類的 551 張圖像。
選擇預(yù)訓(xùn)練模型
TensorFlow 在 COCO （Common Objects in Context） 等大型數(shù)據(jù)集上提供預(yù)訓(xùn)練模型。這些模型是遷移學(xué)習(xí)的起點(diǎn)。常見(jiàn)型號(hào)包括 Faster R-CNN、SSD（Single Shot Multibox Detector）和 YOLO（You Only Look Once）。
包含預(yù)先訓(xùn)練的模型和數(shù)據(jù)集： Google 在 TensorFlow 中包含了許多數(shù)據(jù)集和預(yù)訓(xùn)練模型。數(shù)據(jù)集包括 mnist、vgg_face2、ImageNet、coco 等。
適用于移動(dòng)設(shè)備、嵌入式設(shè)備和生產(chǎn)的預(yù)訓(xùn)練模型： 機(jī)器學(xué)習(xí)模型可以使用 TensorFlow 部署在移動(dòng)和嵌入式設(shè)備上。預(yù)先訓(xùn)練的模型可以直接用于生產(chǎn)。
