• 科盛科技 / 簡錦昌 副總經(jīng)理
• (轉(zhuǎn)載自繁體版ACMT電子技術(shù)月刊No.092)

什么是大語言模型(LLM)？

大語言模型(Large Language Model, LLM)是人工智能領(lǐng)域中一種基于深度學(xué)習(xí)的技術(shù)，它通過處理大量的文本資料來理解、生成和翻譯自然語言。這些模型以龐大的參數(shù)規(guī)模為特點，并利用了現(xiàn)代神經(jīng)網(wǎng)絡(luò)架構(gòu)，尤其是變換器(Transformer)架構(gòu)，使得它們在自然語言處理(NLP)任務(wù)中表現(xiàn)出色。

大語言模型通常由數(shù)十億甚至上千億個參數(shù)構(gòu)成。這些參數(shù)是在大量的文本資料上訓(xùn)練得到的，通過深度學(xué)習(xí)算法來優(yōu)化。訓(xùn)練一個大語言模型需要巨大的計算資源，通常使用數(shù)百個GPU或TPU并行處理，以處理海量的資料集。

圖1：大家看到LLM提供的問答服務(wù)只是冰山的一角，其背后隱含著大量的文字數(shù)據(jù)資料

常見的LLM應(yīng)用方式

ChatGPT就是一種LLM，相信大家都有接觸過，只要在聊天框中輸入問題或請求，例如撰寫文章、翻譯文本或生成程序碼，等待幾秒鐘，ChatGPT將自動生成文字。如果需要進一步調(diào)整輸出，可以繼續(xù)與其互動，輸入更具體的指令或要求。大語言模型的應(yīng)用范圍非常廣泛。它們在各種自然語言處理任務(wù)中表現(xiàn)優(yōu)異，常見的應(yīng)用包括：

? 自然語言生成

LLM能夠生成流暢且連貫的文本，常用于自動化內(nèi)容生成、寫作輔助和對話系統(tǒng)。

? 機器翻譯

通過理解多種語言之間的復(fù)雜關(guān)系，LLM可以進行高質(zhì)量的語言翻譯。

? 文本摘要

LLM能夠自動從長文檔中提取關(guān)鍵內(nèi)容，生成簡短的摘要。

? 對話系統(tǒng)

基于LLM的聊天機器人能夠與人類進行自然的對話，并且能夠理解上下文進行合理的回復(fù)。

? 信息檢索與問答系統(tǒng)

LLM可以從龐大的數(shù)據(jù)庫中檢索信息，并根據(jù)問題生成準確的答案。

LLM可否應(yīng)用在射出成型產(chǎn)業(yè)？

像ChatGPT或Copilot這樣的LLM工具，對于通用和泛用型的問答表現(xiàn)得相當(dāng)出色，因為它們是基于廣泛的多領(lǐng)域數(shù)據(jù)進行訓(xùn)練的。然而，當(dāng)面對工業(yè)領(lǐng)域的專業(yè)問題時，它們往往會遇到挑戰(zhàn)。這是由于工業(yè)領(lǐng)域通常涉及高度專門化的知識和特定的技術(shù)術(shù)語，而這些知識和術(shù)語在模型的訓(xùn)練數(shù)據(jù)中可能并沒有得到充分的代表。結(jié)果，這些工具在回答工業(yè)專業(yè)問題時，可能會顯得不夠準確，甚至可能提供錯誤或不完整的信息，就像大家常說的「一本正經(jīng)地胡說八道」，也因此無法滿足工業(yè)領(lǐng)域?qū)_性和專業(yè)性的要求。

例如，我嘗試在ChatGPT上詢問（如圖2所示），我的提問是：「我有一個塑膠射出的產(chǎn)品，使用的材料是ABS，使用的加工溫度是220°Ｃ，生產(chǎn)出的產(chǎn)品會有白色的流動痕跡，請問該如何處理？」從ChatGPT的回答中，條列了各種可能性，但是沒有辦法得到一個明確可行的作法。如果回覆的內(nèi)容是之前企業(yè)內(nèi)部遇到問題的解決方法，那對我將會是很大的幫助。

圖2：透過ChatGPT詢問專業(yè)領(lǐng)域的問題時，ChatGPT可能無法提供合適的回答

LLM之所以會有這樣的回覆，主要原因包括以下幾點：

? 數(shù)據(jù)訓(xùn)練的不均衡

LLM通常基于網(wǎng)絡(luò)上的開放文本進行訓(xùn)練，這些文本更側(cè)重于通用知識，而工業(yè)領(lǐng)域的專業(yè)知識和技術(shù)資料通常不在這些通用語料的范疇內(nèi)。即使有，也往往數(shù)量有限，導(dǎo)致模型對于工業(yè)專業(yè)知識的掌握深度不足。

? 專業(yè)知識的局限性

LLM雖然在一般知識上有很強的理解能力，但它們?nèi)狈︶槍μ囟üI(yè)領(lǐng)域的深度專業(yè)知識。工業(yè)領(lǐng)域的問題通常涉及高度專業(yè)化的術(shù)語、概念和流程，而這些可能并未被模型充分訓(xùn)練或理解。

? 數(shù)據(jù)隱私與專有性

工業(yè)數(shù)據(jù)通常是專有的且高度的機密性，企業(yè)不會輕易公開這些數(shù)據(jù)，因此模型在訓(xùn)練過程中無法接觸到足夠的相關(guān)資料。這限制了LLM在工業(yè)領(lǐng)域中的表現(xiàn)。

建立企業(yè)內(nèi)部自己的LLM

為了解決LLM在處理塑膠射出成型領(lǐng)域?qū)I(yè)問題時顯得吃力的問題，一般會建立一套企業(yè)內(nèi)部自己的問答服務(wù)系統(tǒng)并搭配一套開源的LLM模型，此外，為了讓開源LLM模型的知識及用字可以滿足工業(yè)領(lǐng)域?qū)_性和專業(yè)性的要求，可以對LLM考慮加入以下幾種方法：

? 模型微調(diào)(Fine-Tuning)──以專業(yè)數(shù)據(jù)進行微調(diào)

如圖3所示，將開源的LLM在工業(yè)領(lǐng)域的專業(yè)數(shù)據(jù)上進行微調(diào)，這樣可以讓模型學(xué)習(xí)到更具體的專業(yè)知識和術(shù)語。這些專業(yè)數(shù)據(jù)可以來自技術(shù)文檔、操作手冊、故障報告和行業(yè)研究等，定期使用新的專業(yè)數(shù)據(jù)來微調(diào)模型，以保持其在工業(yè)應(yīng)用中的準確性和相關(guān)性。

為了確保模型能夠有效學(xué)習(xí)新的專業(yè)知識，可能需要對輸入數(shù)據(jù)進行清洗和標注，以提高數(shù)據(jù)質(zhì)量。完成微調(diào)后，模型會更加熟悉特定領(lǐng)域的專有術(shù)語和問題情境，從而在該領(lǐng)域的問答或文本生成任務(wù)中表現(xiàn)得更準確和專業(yè)。這一過程不僅增強了模型的實用性，還能更好地滿足企業(yè)內(nèi)部的具體需求。

圖3：透過模型微調(diào)的方式，更改大語言模型參數(shù)，以應(yīng)用在專業(yè)領(lǐng)域的問答服務(wù)上

? 擷取增強生成(Retrieval-Augmented Generation, RAG）

如圖4所示，擷取增強生成(Retrieval-Augmented Generation, RAG)是提升LLM在專業(yè)領(lǐng)域表現(xiàn)的一種有效技術(shù)。RAG將信息檢索與生成模型相結(jié)合，通過檢索相關(guān)資料來輔助生成更準確的回答。

在RAG的實施過程中，首先需要構(gòu)建或接入一個專業(yè)的知識庫，該知識庫通常由企業(yè)內(nèi)部的文檔、專業(yè)資料、數(shù)據(jù)庫或網(wǎng)絡(luò)資料組成。當(dāng)用戶提出問題時，檢索系統(tǒng)首先在知識庫中找到與問題相關(guān)的文檔或段落。這些檢索結(jié)果作為上下文信息，與原始問題一起被輸入到LLM中。

LLM在生成答案時，不僅依賴于自身訓(xùn)練過的知識，還可以參考檢索到的具體信息，從而生成更具針對性和準確性的回答。這種方法特別適合處理需要精確和專業(yè)知識的問題，如技術(shù)支持、產(chǎn)品信息查詢等。

RAG結(jié)合了檢索的高覆蓋率和生成的靈活性，顯著提高了LLM在專業(yè)應(yīng)用中的實用性，特別是在處理模糊問題或需要高精度信息的場景下。這種方法不僅增強了模型的專業(yè)性，還能動態(tài)更新知識庫，以適應(yīng)快速變化的業(yè)務(wù)需求。

圖4：透過擷取增強生成的方式，搜尋企業(yè)內(nèi)部的數(shù)據(jù)資料來增強數(shù)據(jù)內(nèi)容的完整性，以提供企業(yè)內(nèi)部的問答服務(wù)上

透過模型微調(diào)(Fine-Tuning)或擷取增強生成(RAG)的方式，都可以幫助泛用型的開源LLM模型滿足工業(yè)領(lǐng)域?qū)_性和專業(yè)性的要求，并應(yīng)用在企業(yè)內(nèi)部的問答服務(wù)上。

結(jié)論

總的來說，大語言模型代表了人工智能領(lǐng)域的一次重大進步，其強大的語言理解和生成能力為大家的創(chuàng)新提供了新動力。除了在一般領(lǐng)域知識的文字生成上，對于塑膠射出成型專業(yè)領(lǐng)語的知識，可以透過進行微調(diào)(fine-tuning)或RAG的方式來訓(xùn)練模型，使模型不僅能生成高質(zhì)量的回應(yīng)，還能在回應(yīng)中融合最新的專業(yè)知識，滿足企業(yè)動態(tài)的需求。從而在專業(yè)領(lǐng)域中提供更加精確和有價值的答案。

隨著技術(shù)的不斷進步，LLM 將在產(chǎn)業(yè)升級中扮演愈加重要的角色，為企業(yè)帶來持續(xù)的競爭優(yōu)勢，有望在更多場景中發(fā)揮更大的作用。

話說回來，你會不會覺得這篇文章也是LLM產(chǎn)生的呢？