GPT,即“生成式預(yù)訓(xùn)練模型”(Generative Pretrained Transformer),是一個能“理解”數(shù)據(jù)之間關(guān)系的復(fù)雜數(shù)學(xué)模型。在使用您可能熟悉的ChatGPT這類工具時,該模型通過語言數(shù)據(jù)進行了訓(xùn)練,創(chuàng)建了一個模型來描述語言中的詞匯如何相互關(guān)聯(lián)。通過研究書籍、文檔、博文、錄音轉(zhuǎn)寫等中的數(shù)十億個詞匯,該模型能夠理解一個詞匯如何根據(jù)不同的上下文與另一個詞匯相關(guān)聯(lián)。