Transformers預訓練模型
關注創建者：匿名 創建時間：2021-07-26
Transformers預訓練模型的實例教程
亞歷克斯網
概述：AlexNet 由 Alex Krizhevsky 開發，是最早普及 CNN 在圖像分類中的使用的深度學習模型之一。
主要特點：
具有 8 層的簡單架構。
ReLU 激活函數和 dropout 正則化。
應用：通用圖像分類和歷史基準。
10. 視覺變形金剛 （ViT）
概述：Vision Transformers 由 Google 開發，將最初為 NLP 設計的 Transformer 架構應用于圖像分類。
主要特點：
Transformer 編碼器架構。
使用大型數據集和計算資源進行良好擴展。
應用：一般圖像分類和大規模視覺任務。
用于圖像分類的預訓練模型的優勢
減少訓練時間：預訓練模型顯著縮短了訓練時間。由于它們已經在大型數據集上進行了訓練，因此只需要針對特定任務進行微調。這種效率使開發人員能夠更快地部署模型。
提高準確性：這些模型已經在大量數據上進行了訓練，使它們能夠很好地泛化。因此，與從頭開始訓練的模型相比，它們通常在各種任務上實現更高的準確性。這將產生更可靠的圖像分類結果。
資源效率：使用預先訓練的模型可以減少對大型數據集和計算能力的需求。與訓練新模型相比，微調預訓練模型所需的資源更少，因此資源有限的組織更容易使用它。
用于圖像分類的預訓練模型的挑戰
適應性：微調預訓練模型以適應特定任務可能很復雜。并非所有模型都能很好地適應所有任務，有時需要進行大量調整才能實現最佳性能。
過擬合：存在過度擬合的風險，尤其是在對小型數據集進行微調時。
展開 1 引言
在<Transformers之問題對答(Question Answering)>中, 使用了mrm8488/bert-multi-cased-finetuned-xquadv1數據集回答問題, 這個數據集是一個多語言預訓練模型: BERT(base-multilingual-cased) fine-tuned for multilingual Q&A. 并且使用了最簡單的管道pileline()調用方法. 就像我們已經看到的一樣, 這個模型得出的結果不理想, 因此本文探索了一個更高級的預訓練模型.
2 模型描述
本文的試驗模型采用了bert-large-uncased-whole-word-masking-finetuned-squad數據集作為問題回答模型。在默認狀態下, 這個模型保存在C:\Users\m\.cache\huggingface\transformers文件夾內. 該模型不區分字母的大小寫, 使用了屏蔽語言模擬masked language modeling (MLM) 目標對英語語言進行預訓練。可以在問題回答管道中使用它，或者使用它來輸出給定查詢和上下文的原始結果。BERT模型在BookCorpus上進行了預訓練，該數據集由11,038本未出版的書籍和英文維基百科組成(不包括列表、表格和標題)。
與其他BERT模型不同的是，這個模型使用了全詞屏蔽Whole Word Masking技術進行訓練。在這種情況下，一個詞所對應的所有標記(tokens)都會被一次性屏蔽掉, 而整體屏蔽率保持不變。訓練是相同的 -- 每個被屏蔽的WordPiece標記都是獨立預測的。在預訓練之后，這個模型在SQuAD數據集上用一個微調腳本進行了微調。
展開 3 相似性查詢
相似性查詢是數據挖掘的主要組成部分，主要使用的算法有：Doc2Vec, LSI, Flashtext和Transformer:
Doc2Vec Model---段落相似性查詢
語義相似模型(Doc2Vec)在雙語教學中的應用
使用WMD Similarity確定句子之間的相似度
使用Transformers確定句子之間的相似度
SentenceTransformers庫更新V2.0.0
聯合6種Transformers預訓練模型
一個快速的句子和段落相似查詢方法
通過Euclidean距離計算向量值來對句子相似度排序
基于文檔名稱的相似度查詢
4 摘要和關鍵字
摘要和關鍵字抽出主要使用了兩個算法：sumy和pyTextRank.
文本摘要生成的確定過程和隨機過程
PyTextRank---文本關鍵字(keywords)的自動取出
使用Trigram獲取文檔的中心思想
5 主題聚合
主題聚合使用了兩個算法：LDA和Transformer
LDA Topic Modeling(主題建模)
使用Transformers確定句子之間的相似度
6 生成新的句子
生成新的句子主要使用了馬爾可夫鏈
馬爾可夫鏈(Markov chain)隨機產生新的文檔
利用文本相似度聚類產生能夠再學習的新文檔
7 應用
目前，這個數據挖掘工作主要的應用領域包括雙語教學，產生新的論文主題以及生成論文內容等。
展開 BERTopic默認的嵌入模型是sentence-transformers，也可以使用Spacy, Flair, Gensim, USE等嵌入模型。
(2) 聚類文檔(Cluster Documents)
用UMAP來降低嵌入的維度; 用HDBSCAN對減少的嵌入進行聚類，并創建語義相似的文件群。
(3) 創建主題表征(Create topic representation)
用c-TF-IDF提取和減少主題; 提高具有最大邊際相關性的詞匯的連貫性.
4 產生主題
為了便于比較，使用《主題模擬的藝術(The Art of Topic Modeling)---以Step-Path Failure為例》中的數據集，這是一個基于關鍵詞step-path failure的數據集，在那篇筆記中，采用Top2Vec庫進行了主題模擬，結果產生出兩個非常近似的主題, 其中最核心的關鍵詞是rockslides和fracture。
BERTopic默認的模型是paraphrase-MiniLM-L6-v2, 以前曾經使用過這個模型(聯合6種Transformers預訓練模型). 同樣的數據使用BERTopic產生出如下19個主題。
展開 1 引言
Transformers的環境配置非常麻煩, 盡管花了幾個小時試了各種方法, 但仍然沒有完全解決問題. 本文僅試驗了Transformers之問題對答(Question Answering), 其它功能還沒有測試. 在試驗之前, 檢查了每個模塊的安裝情況, 如下圖所示。
問題對答是信息檢索和自然語言處理NLP中的一項任務, 也是NLP中最難處理的一項內容, 該任務要求系統正確回答以人類自然語言提出的問題。在提取性問題解答方案中，通過提供一段文字，使用模型根據上下文來預測答案在段落中的位置。這是一項非常具有挑戰性的任務.
PyTextRank---文本關鍵字(keywords)的自動取出
使用Transformers確定句子之間的相似度
SentenceTransformers庫更新V2.0.0
聯合6種Transformers預訓練模型
2 模型簡介
盡管目前Question Answering模型共有307個,但本次測試使用的模型仍然是mrm8488/bert-multi-cased-finetuned-xquadv1. 該模型由谷歌創建，并在XQuAD之類的數據上進行了微調，用于多語言(11種不同的語言)的問答任務。BERT(base-multilingual-cased) fine-tuned for multilingual Q&A. 由于數據集基于SQuAD v1.1，所以數據中沒有無法回答的問題, 以便模型可以專注于跨語言的轉移。
3 調用方法
調用方法如下:
from transformers import pipeline
# pipeline模塊是一個抽象層，提供了簡單的API來執行各種任務。
展開 
Transformers預訓練模型的相關專題、標簽、搜索
Transformers預訓練模型的最新內容
用于圖像分類的頂級預訓練模型
最后更新日期 ： 2024 年 7 月 3 日
Transformer 類預訓練模型是當前 AI 領域最熱門的方向，英偉達以此為目標專門優化 H100 的設計，提出了 Transformer Engine，集合了新的 Tensor Core、FP8 和 FP16 精度計算，以及 Transformer 神經網絡動態處理能力，可以將此類機器學習模型的訓練時間從幾周縮短到幾天。
1 引言
BERT(Bidirectional Encoder Representations from Transformers)是一個以自監督方式在大型英語數據語料庫上預訓練的transformers模型。
預訓練模型), 因此目前只使用Doc2Vec和DBMC兩個模型。
BERTopic默認的模型是paraphrase-MiniLM-L6-v2, 以前曾經使用過這個模型(聯合6種Transformers預訓練模型). 同樣的數據使用BERTopic產生出如下19個主題。
在初始階段，我們使用的算法主要是基于文本簡單的詞頻統計《文本摘要生成的確定過程和隨機過程》, 后來使用的算法《PyTextRank---文本關鍵字(keywords)的自動取出》《聯合6種Transformers預訓練模型》開始朝著大規模的預訓練模型發展。本文繼續探索Transformers在生成摘要中的應用。
BERT是一個以自我監督方式在大型英語數據語料庫上預訓練的transformers 模型。這意味著它只對原始文本進行了預訓練，沒有人以任何方式給它們貼標簽（這就是為什么它可以使用大量公開可用的數據），并通過一個自動過程從這些文本中生成輸入和標簽。
PyTextRank---文本關鍵字(keywords)的自動取出
使用Transformers確定句子之間的相似度
SentenceTransformers庫更新V2.0.0
聯合6種Transformers預訓練模型
2 模型簡介
盡管目前Question Answering模型共有307個,但本次測試使用的模型仍然是mrm8488/bert-multi-cased-finetuned-xquadv1
預訓練模型
一個快速的句子和段落相似查詢方法
通過Euclidean距離計算向量值來對句子相似度排序
基于文檔名稱的相似度查詢
4 摘要和關鍵字
摘要和關鍵字抽出主要使用了兩個算法：sumy和pyTextRank.
