大型語言模型（LLMs）的案例
使用大型語言模型（LLMs）、檢索增強生成（RAG） ￥5
- 視頻格式：MP4 | 視頻編碼：h264，分辨率1920×1080 | 音頻編碼：AAC，采樣率44.1 KHz，雙聲道
- 語言：英語 | 時長：6小時08分鐘 | 大小：3.38 GB
- 課程簡介：使用大型語言模型（LLMs）、檢索增強生成（RAG）、智能體和全棧工程實踐，構建可投入生產的生成式人工智能系統。
- 學習內容：
- 設計和構建基于大型語言模型（LLMs）、Transformer、嵌入技術和現代AI架構的可投入生產的生成式AI系統。
- 實現檢索增強生成（RAG）流水線，將大型語言模型與外部知識相結合，減少幻覺現象，打造企業級AI應用。
- 利用工具調用、多步驟推理、記憶功能和人機協同控制，開發自主智能體AI系統。
- 集成FastAPI后端、流式聊天界面、前端用戶體驗模式和有狀態記憶管理，創建全棧大型語言模型應用程序。
- 通過令牌優化、緩存策略、模型選擇權衡和負載管理技術，優化AI系統的成本、延遲和可擴展性。
- 使用人工和自動化評估方法評估和監控大型語言模型的輸出，確保準確性、相關性和真實性。
- 應用安全、安全和治理最佳實踐，實施防護措施、輸出過濾、基于策略的控制和負責任的AI框架。
- 前置要求：
- 具備基礎編程知識（首選Python，但無需達到專家水平）
- 對API或Web應用程序有大致了解（有幫助，但非必需）
- 對AI充滿好奇，愿意動手構建項目
- 課程描述：本課程包含人工智能的應用內容。這是一門專為全棧AI工程師設計的全面、實踐導向的生成式AI和大型語言模型（LLMs）課程。
展開 什么是大型語言模型 （LLM）？
LLM 有能力為 AI 驅動的應用程序帶來革命，但該領域的進步似乎有點困難，因為僅僅增加模型的大小可能會提高其性能，但在特定時間之后，性能會達到飽和，處理這些模型的挑戰將大于通過進一步增加模型大小所實現的性能提升。
常見問題解答
1. 什么是大型語言模型？
大型語言模型是一種強大的人工智能系統，經過大量文本數據的訓練。
2.什么是 AI 中的 LLM？
在 AI 中，LLM 是指專為自然語言理解和生成而設計的大型語言模型，例如 GPT-3。
3. 什么是最好的大型語言模型？
打開 AI，ChatGPT，GPT-3，GooseAI，Claude，Cohere，GPT-4。
4. LLM 模型如何運作？
LLM 的工作原理是針對不同的語言數據、學習模式和關系進行訓練，使他們能夠理解和生成類似人類的文本。
5. 什么是 LLM 模型的示例？
GPT-3 （Generative Pre-trained Transformer 3） 是 AI 中最先進的大型語言模型的一個例子。
6. 什么是用于教育的大型語言模型？
大型語言模型被廣泛用于教育目的：
提供學習目標
向學生提供任何主題的批判性總結
就學生想學習的任何主題進行教育。
?
展開 工程碩士：碩士人工智能和大型語言模型（LLMS） ￥6
MP4 |視頻：h264， 1920×1080 |音頻：AAC，44.1 KHz
語言：英語 |大小：5.65 GB |時長： 7h 26m
掌握生成式 AI 和大型語言模型 （LLM）。探索和部署 LLM 應用程序，學習基礎理論。
您將學
到什么 通過選擇、培訓和應用 LLM 來設計和開發給定業務問題的完整解決方案
比較和對比提高 LLM 解決方案性能的最新技術，例如 RAG、微調和代理工作流程
權衡領先的 10 個前沿 LLM 和 10 個開源 LLM，并能夠為給定任務
選擇最佳選擇通過應用領先的開源平臺、框架和工具來解決問題，包括Hugging Face、Gradio和Weights & Biases
。 說明常見的AI范式，并確定最適合每個
范式的業務問題類型。 定義圍繞深度學習的基本數據科學概念，包括訓練與推理，泛化與過度擬合，以及神經網絡
背后的關鍵思想。描述核心概念，如生成式AI、LLMs和Transformer架構，并討論以最先進的性能
可以實現什么。 詳細解釋LLMs如何工作，以便能夠訓練和測試它們，將它們應用于新的場景，并診斷和修復常見問題
。 使用前沿和開源模型在Python中實施LLM解決方案，包括API和直接推理。
執行代碼以編寫文檔、回答問題和生成圖像。
要求
熟悉 Python。本課程不涵蓋 Python 基礎知識，而是用 Python 完成的。
描述
掌握生成式 AI 和 LLM：為期 8 周的實踐之旅通過行業資深人士 Ed Donner 領導的實踐項目加速您在 AI 領域的職業生涯。構建高級生成式 AI 產品，試驗 20 多種開創性模型，并掌握最先進的技術，如 RAG、QLoRA 和 Agents。? 使用尖端模型和框架構建高級生成式 AI 產品。
展開 大語言模型(LLM)在塑膠射出成型產業上的應用
科盛科技 / 簡錦昌 副總經理
(轉載自繁體版ACMT電子技術月刊No.092)
什么是大語言模型(LLM)？
大語言模型(Large Language Model, LLM)是人工智能領域中一種基于深度學習的技術，它通過處理大量的文本資料來理解、生成和翻譯自然語言。這些模型以龐大的參數規模為特點，并利用了現代神經網絡架構，尤其是變換器(Transformer)架構，使得它們在自然語言處理(NLP)任務中表現出色。
大語言模型通常由數十億甚至上千億個參數構成。這些參數是在大量的文本資料上訓練得到的，通過深度學習算法來優化。訓練一個大語言模型需要巨大的計算資源，通常使用數百個GPU或TPU并行處理，以處理海量的資料集。
圖1：大家看到LLM提供的問答服務只是冰山的一角，其背后隱含著大量的文字數據資料
常見的LLM應用方式
ChatGPT就是一種LLM，相信大家都有接觸過，只要在聊天框中輸入問題或請求，例如撰寫文章、翻譯文本或生成程序碼，等待幾秒鐘，ChatGPT將自動生成文字。如果需要進一步調整輸出，可以繼續與其互動，輸入更具體的指令或要求。大語言模型的應用范圍非常廣泛。它們在各種自然語言處理任務中表現優異，常見的應用包括：
? 自然語言生成
LLM能夠生成流暢且連貫的文本，常用于自動化內容生成、寫作輔助和對話系統。
? 機器翻譯
通過理解多種語言之間的復雜關系，LLM可以進行高質量的語言翻譯。
? 文本摘要
LLM能夠自動從長文檔中提取關鍵內容，生成簡短的摘要。
? 對話系統
基于LLM的聊天機器人能夠與人類進行自然的對話，并且能夠理解上下文進行合理的回復。
展開 
本地部署 DeepSeek 私有助手：從零到上線的完整方案
引言
人工智能（AI）正在迅速發展，借助 DeepSeek 等強大的開源模型，您可以在本地運行尖端的大型語言模型（LLM）。
本指南將引導您使用輕量級推理框架 Ollama 部署 DeepSeek，并結合 Dify 平臺構建可視化 AI 助手。
完成部署后，您將能夠通過 Python API 調用模型，快速開展人工智能驅動的實驗，并實現完全私有化的數據處理。
第一部分：為什么選擇 DeepSeek？
快速高效 — 針對本地推理優化，輕量且響應迅速。
開源 — 無限制訪問，無廠商鎖定。
Python API 集成 — 方便在 Python 應用中調用。
可定制 — 支持根據業務需求進行微調與修改。
第二部分：Ollama 本地部署 DeepSeek
步驟 1：安裝 Ollama
Ollama 是一個輕量級運行時，可簡化本地 LLM 部署。安裝命令：
curl -fsSL https://ollama.ai/install.sh | sh
按 Enter 鍵或單擊以查看大圖
安裝后，驗證它是否正常工作：
ollama --version
步驟 2：下載 DeepSeek 模型
建議先下載 15 億參數的小型模型，節省系統資源：
ollama pull deepseek-r1:1.5b
步驟 3：運行 DeepSeek
此命令初始化 DeepSeek 模型，并使其準備好處理自然語言查詢:
ollama run deepseek-r1:1.5b
步驟 4：安裝 Python 包并調用 API
第三部分：Dify 集成與可視化 AI 助手
1.
展開 英偉達發布全球最強 AI 芯片 H200：性能飆升 90%，Llama 2 推理速度翻倍
此次發布的關鍵產品是基于英偉達的“Hopper”架構的 HGX H200 GPU，是 H100 GPU 的繼任者，也是該公司第一款使用 HBM3e 內存的芯片，這種內存速度更快，容量更大，因此更適合大型語言模型。英偉達稱：“借助 HBM3e，英偉達 H200 以每秒 4.8 TB 的速度提供 141GB 的內存，與 A100 相比，容量幾乎是其兩倍，帶寬增加了 2.4 倍。”
在人工智能方面，英偉達表示，HGX H200 在 Llama 2（700 億參數 LLM）上的推理速度比 H100 快了一倍。HGX H200 將以 4 路和 8 路的配置提供，與 H100 系統中的軟件和硬件兼容。它將適用于每一種類型的數據中心（本地、云、混合云和邊緣），并由 Amazon Web Services、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 等部署，將于 2024 年第二季度推出。
展開 一期一會 | 什么是電子產品熱管理？
一旦通過仿真或測試完成組件及裝配體設計表征，就可以在系統層面將其表示為降階模型（ROM），并且可以在Ansys ModelCenter?軟件等工具中探索和優化整個散熱系統。工程師隨后可進行權衡研究，為多種使用案例確定最佳熱管理方法。
散熱方法選擇
在了解內部配置和外部環境并通過熱仿真對組件和系統進行建模后，團隊就可以開始進行迭代、選擇合適的散熱方法，對許多不同的方案進行虛擬評估。
電子產品熱管理的未來
看似無關的技術進步，也將影響熱管理未來，其中一個良好示例是近來人工智能（AI）的蓬勃發展。大型語言模型（LLM）使用大量的GPU，這為大型數據中心的散熱技術帶來了熱管理難題。
隨著數字世界的擴展與發展，對高功率高速電子產品的需求將繼續推動熱管理的創新發展。在這一趨勢的推動下，人們把目光投向了更高效的制冷解決方案、噴流散熱優化、更有效的熱電設備，以及浸沒式散熱等先進散熱策略。
高性能計算應用將推動解決方案發展，同時，組件和系統的持續小型化正在推動行業進行另一個層面的發展。熱晶體管是一個激動人心的新研究領域。這些晶體管可根據需要控制熱流，從而有可能將散熱定向到所需的位置，而不是為整個芯片散熱。
仿真功能和效率的持續發展，是熱管理領域最有效、最具影響力的改進。這類軟件將集成AI，改進其與設計系統的集成，提高用戶工作效率，并進一步結合物理特性，同時充分利用帶來的更高算力。
相關閱讀
雜志下載 | Ansys Advantage：聚焦汽車安全性
英偉達與新思科技宣布戰略合作，攜手重塑工程設計未來
雜志下載 | Ansys Advantage：仿真為能源和可持續發展賦能
一期一會 | 什么是電動汽車動力總成？
展開 GTC-2021：英偉達抱緊元宇宙，推出全能阿凡達平臺
5
NeMo Megatron框架：
發力大型語言模型開發
NVIDIA 今天還打開了開發和部署大型語言模型 (LLM) 的大門，推出了用于訓練具有數萬億個參數的語言模型的NVIDIA NeMo Megatron框架、可針對新領域和語言進行訓練的Megatron 530億參數的可定制大型語言模型，以及具有多 GPU、多節點分布式推理功能的NVIDIA Triton推理服務器。
這些工具提供了一個完備的企業級解決方案，簡化了大型語言模型的開發和部署。
NVIDIA NeMo Megatron以Megatron項目為基礎，Megatron是一個由英偉達研究人員領導的開源項目，旨在大規模研究大型轉換器語言模型的高效訓練。
該框架使用數據處理庫自動處理LLM復雜訓練，可以獲取、管理、組織和清理數據。它使用先進的數據、張量和管道并行化技術，使大型語言模型的訓練能夠高效地分布在數千個GPU上。
NVIDIA Triton推理服務器中的多GPU、多節點功能使LLM推理負載可以實時、跨多個GPU和節點進行擴展。
使用Triton推理服務器，Megatron 530B可以在兩個NVIDIA DGX系統上運行，將CPU服務器上的處理時間從一分鐘多縮短到0.5秒，從而實現在應用程序上快速、實時地部署大型語言模型。
展開 DeepSeek 與 ChatGPT
通過檢查它們的實際應用，我們將幫助您了解哪種模型在日常任務和業務使用案例中能提供更好的結果。
內容創建任務
作為一名作家，我不是基于 AI 的寫作的忠實粉絲，但我確實認為它對于集思廣益、提出談話要點和發現任何差距很有用。現在，為了測試這一點，我要求 DeepSeek 和 ChatGPT 為一篇關于 什么是 LLM 及其工作原理的文章創建一個大綱。我問道：“我正在寫一篇關于 什么是 LLM 及其工作原理的詳細文章，因此請提供我在文章中包含的要點，以幫助用戶理解 LLM 模型。幫我畫個大綱”
DeepSeek 響應：
結果令人印象深刻。這兩個 AI 聊天機器人模型都涵蓋了我可以添加到文章中的所有要點，但 DeepSeek 更進一步，以與我處理該主題的方式相匹配的方式組織信息。它還包括要點 什么是 LLM、它的定義、演變和里程碑、示例（GPT、BERT 等），以及 LLM 與傳統 NLP，ChatGPT 完全錯過了這一點。
DeepSeek 甚至展示了它得出結論的思維過程，老實說，我第一次看到這個時，我很驚訝。雖然我們距離真正的通用人工智能還有很長的路要走，但看到機器以這種方式思考表明已經取得了很大的進步。思考過程非常有趣，我在下面分享了一個簡短的文字記錄。
引用“好的，我需要幫助用戶為一篇文章創建一個大綱，解釋什么是 LLM 以及它們是如何工作的。讓我先回顧一下我對 LLM 的了解。它們是大型語言模型，對吧？像 GPT-3、BERT 等。用戶可能想要一個全面的大綱，將主題分解為易于理解的部分。讓我考慮一下應該涵蓋的關鍵點。
展開 DeepSeek 與 ChatGPT：2025 年 AI 巨頭的完整比較
通過檢查它們的實際應用，我們將幫助您了解哪種模型在日常任務和業務使用案例中能提供更好的結果。
內容創建任務
作為一名作家，我不是基于 AI 的寫作的忠實粉絲，但我確實認為它對于集思廣益、提出談話要點和發現任何差距很有用。現在，為了測試這一點，我要求 DeepSeek 和 ChatGPT 為一篇關于 什么是 LLM 及其工作原理的文章創建一個大綱。我問道：“我正在寫一篇關于 什么是 LLM 及其工作原理的詳細文章，因此請提供我在文章中包含的要點，以幫助用戶理解 LLM 模型。幫我畫個大綱”
DeepSeek 響應：
結果令人印象深刻。這兩個 AI 聊天機器人模型都涵蓋了我可以添加到文章中的所有要點，但 DeepSeek 更進一步，以與我處理該主題的方式相匹配的方式組織信息。它還包括要點 什么是 LLM、它的定義、演變和里程碑、示例（GPT、BERT 等），以及 LLM 與傳統 NLP，ChatGPT 完全錯過了這一點。
DeepSeek 甚至展示了它得出結論的思維過程，老實說，我第一次看到這個時，我很驚訝。雖然我們距離真正的通用人工智能還有很長的路要走，但看到機器以這種方式思考表明已經取得了很大的進步。思考過程非常有趣，我在下面分享了一個簡短的文字記錄。
引用“好的，我需要幫助用戶為一篇文章創建一個大綱，解釋什么是 LLM 以及它們是如何工作的。讓我先回顧一下我對 LLM 的了解。它們是大型語言模型，對吧？像 GPT-3、BERT 等。用戶可能想要一個全面的大綱，將主題分解為易于理解的部分。讓我考慮一下應該涵蓋的關鍵點。
展開 