AR自回歸模型的案例
自回歸式語(yǔ)言XLNet模型的文本生成試驗(yàn)
1 引言
自回歸式語(yǔ)言生成基于假設(shè)：一個(gè)詞序列的概率分布可以分解為鄰接的下一個(gè)詞條件概率分布的乘積。使用不同的解碼策略，目前產(chǎn)生出許多用于自回歸語(yǔ)言生成的模型，最流行的模型有GPT2, XLNet, OpenAi-GPT, CTRL, TransfoXL, XLM, Bart和T5，對(duì)GPT2模型我們已經(jīng)作了很多探索性的工作：
GeotechSet數(shù)據(jù)集在GPT2上的訓(xùn)練過(guò)程
GPT2-Large模型解碼方法比較
GPT2-Large模型解碼方法---Top-K and Top-p
新探索---EleutherAI的GPT Neo/GPT-3模型
GeotechSet模型的擴(kuò)展和優(yōu)化---集成了aitextgen
開(kāi)放式文本生成(Open-Ended Text Generation)
同時(shí)也對(duì)T5模型作了探索性的工作:
生成摘要(Summarization)的新方法
Transformers的Text2TextGeneration管道測(cè)試
這個(gè)筆記探索另一個(gè)模型XLNet。
2 XLNet模型
XLNet來(lái)自Google公司Yang等人(2019)的論文《XLNet: Generalized Autoregressive Pretraining for Language Understanding(XLNet: 用于語(yǔ)言理解的廣義自回歸預(yù)訓(xùn)練)》，XLNet是一種無(wú)監(jiān)督的語(yǔ)言表征學(xué)習(xí)方法，它基于一種新的廣義包絡(luò)語(yǔ)言建模目標(biāo)。XLnet是Transformer-XL模型的一個(gè)擴(kuò)展，使用自回歸方法進(jìn)行預(yù)訓(xùn)練，在涉及長(zhǎng)上下文的語(yǔ)言任務(wù)中表現(xiàn)出優(yōu)異的性能。XLNet在各種下游語(yǔ)言任務(wù)上取得了最先進(jìn)的(SOTA)結(jié)果，包括問(wèn)題回答、自然語(yǔ)言推理、情感分析和文檔排名。
展開(kāi) 45基于matlab的ARIMA ￥15.9
自回歸差分移動(dòng)平均模型(p,d,q)，AR自回歸模型，MA移動(dòng)平均模型，時(shí)間序列模型步驟包括：1. 數(shù)據(jù)平穩(wěn)性檢驗(yàn)；2. 確定模型參數(shù)；3. 構(gòu)建時(shí)間序列模型；4.模型預(yù)測(cè)；5.模型準(zhǔn)確性評(píng)估。可替換自己的數(shù)據(jù)，程序已調(diào)通，可直接運(yùn)行。
