端側AI
關注創(chuàng)建者：匿名 創(chuàng)建時間：2026-01-04
端側AI的實例教程
為此，Gen-AI Model Hub全面擴容，模型數(shù)量在原有基礎上激增了3.3倍，并支持DeepSeek-R1蒸餾模型、通義千問、混元等多種先進端側大模型，還包含視覺、語言、多模態(tài)等多種多樣的大模型，開發(fā)者可以通過Gen-AI Model Hub一鍵調(diào)用模型能力，讓AI應用開發(fā)選擇更豐富。
為了讓開發(fā)者免受即有模型庫的限制，聯(lián)發(fā)科還首發(fā)了開源彈性架構。區(qū)別于過往的開放接口，只能部署特定架構模型，開放彈性架構允許開發(fā)者直接調(diào)整平臺源代碼，無需等待芯片廠商的支持，即可完成目標或其他自研大模型輕松部署。讓AI應用開發(fā)不用“等平臺”，徹底釋放開發(fā)效率和模型接入自由度。
自DeepSeek橫空出世以來，這種更適合端側部署，回答效率更高效的訓練模式快速引爆了AI行業(yè)，主流大模型紛紛加強了推理能力。天璣AI開發(fā)套件2.0全面支持 DeepSeek四大關鍵技術：混合專家模型（MoE）、多Token預測（MTP）多頭潛在注意力（MLA)、FP8推理（FP8 Inferencing），實現(xiàn)Token產(chǎn)生速度提升2倍以上、內(nèi)存帶寬占用量大幅度降低50%，讓端側AI推理更聰明、響應更迅速。
天璣AI開發(fā)套件2.0還首次引入基于NPU的端側LoRA訓練，開發(fā)者在天璣NPU上進行運算訓練，相比基于CPU的訓練方案，訓練速度猛增50倍，將訓練時間從一整天縮短至半小時。更快的端側LoRA訓練，讓端側AI基于用戶端側數(shù)據(jù)提升個性化體驗，讓終端成為更懂用戶的個性化智慧伙伴。
智能體用戶體驗的進化，從生態(tài)整合與攜手躍遷開始
本次MDDC 2025，聯(lián)發(fā)科不僅帶來了更加強大、全面的開發(fā)者解決方案，更展示了不斷拓展的天璣AI生態(tài)。
展開 天璣開發(fā)工具集震撼登場——橫跨AI和游戲開發(fā)的開發(fā)工具全家桶
去年聯(lián)發(fā)科發(fā)布的天璣AI開發(fā)套件，收獲了行業(yè)的一致認可。今年，聯(lián)發(fā)科更帶來了橫跨AI應用和游戲開發(fā)的全家桶套裝——一站式可視化智能開發(fā)工具：天璣開發(fā)工具集(Dimensity Development Studio)，包含針對AI開發(fā)與模型調(diào)優(yōu)的 Neuron Studio 和針對游戲性能分析的Dimensity Profiler。
其中，Neuron Studio是一款AI應用全流程開發(fā)工具，可針對模型到應用，為開發(fā)者提供一站式、全鏈路、自動化的開發(fā)協(xié)助。Neuron Studio整合了多個MLKit具，將關鍵模塊融合成一站式、可視化的完整開發(fā)鏈路，讓開發(fā)者用一套工具就能完成模型開發(fā)，大幅提升開發(fā)效率。神經(jīng)網(wǎng)絡自動化調(diào)優(yōu)則可將性能和內(nèi)存占用自動優(yōu)化到最佳配置，開發(fā)者可全程監(jiān)控大模型演化過程，讓模型和端側平臺適配省心、省力、省時間。開發(fā)者可以通過跨模型全鏈路分析功能，獲得全局視角和執(zhí)行流程，大幅節(jié)省模型分析時間。
為加速實現(xiàn)智能體化用戶體驗愿景，聯(lián)發(fā)科還在會上為開發(fā)者帶來了全新升級后的AI應用開發(fā)武器庫——天璣AI開發(fā)套件2.0，以更大的模型庫規(guī)模、更開放的架構、更前沿的端側AI技術和端側LoRA訓練落地等四個維度，為開發(fā)者提供更全面、更開放、更強大的端側AI開發(fā)解決方案。
其中，全新升級的Gen-AI Model Hub模型庫模型數(shù)量激增3.3倍，并且支持最新的Deepseek-R1蒸餾模型、通義千問、混元等先進端側大模型；突破性的開源彈性架構，讓開發(fā)者可以通過開放架構，直接調(diào)整平臺源代碼，無需等待芯片的支持，就可以完成大模型的輕松部署。
展開 如出現(xiàn)可疑人員時，地面固定攝像頭（具備端側AI）可鎖定人員并基于該人員位置移動，確保實時監(jiān)控跟蹤。當可疑人員即將離開固定攝像頭監(jiān)控范圍時或即將運動至固定攝像頭視野盲區(qū)時，虎鯨工業(yè)級全自主無人機（具備端側AI）將自主起飛并對該可疑人員進行空中實時跟蹤，確保無死角監(jiān)控，并及時發(fā)現(xiàn)，及時取證，及時喊話制止。
數(shù)據(jù)融合，人、車軌跡跟蹤
自主軌跡規(guī)劃
目前我們見到市面上的攝像頭只能看或者單一鏈路識別的功能。而我們的“體系”可以讓攝像頭本身擁有一定的AI處理能力，對識別到的車、人、場景主動進行特征提取。通過網(wǎng)絡實時回傳數(shù)據(jù)，結合四維實景地圖對賽事進行追蹤報道。
展開 從深鑒科技的技術路線——基于Xilinx的FPGA硬件進行開發(fā)，實現(xiàn)端側智能。圖一為深鑒科技開發(fā)的智能IPC
深度學習加速模塊，可以把深度學習網(wǎng)絡部署在里面并嵌入在攝像頭實現(xiàn)人臉識別。
圖一智能IPC深度學習加速模塊
Source：深鑒科技官網(wǎng)2018.7
無論深鑒科技實際上是否直接參與了FPGA的電路設計，還是直接委托Xilinx直接幫其設計出需要的FPGA。深鑒科技可以說在硬件方面方面，站在了Xilinx這個巨人的肩膀之上，再進行FPGA的嵌入式開發(fā)，實現(xiàn)深度學習網(wǎng)絡的部署，實現(xiàn)AI的功能。
目前“云+端”的模式，成為眾AI公司發(fā)展的趨勢。過去的方案實施中，AI處理工作在云端完成。把其中某一部分任務（例如推斷部分）放在智能邊緣端（讓設備擁有芯片，進行AI推斷部分），就變得更加高效，尤其像安防領域，自動駕駛領域，實時性要求極高的應用中。則端側智能的部署是市場的趨勢。圖二為“云+端”示意圖解：
圖二AI應用落地的“云+端”模式
Source：集邦咨詢2018.7
想實現(xiàn)端側AI的部署，從定制芯片硬件來看，有兩個路線：1.如上述所說，用FPGA開發(fā)（半定制）2.設計ASIC定制集成電路芯片。我們可以拉入另外兩家中國的AI明星公司：寒武紀和地平線進行簡單討論。
根據(jù)深鑒科技聯(lián)合創(chuàng)始人姚頌所述，寒武紀選取了機器學習這根軸上最通用的方向，就是所有機器學習的訓練和應用都要做；地平線有很強的算法團隊，于是選擇了軸上截然相反的另一端，也就是最專用的方向，去做算法固化的ASIC芯片；而深鑒科技則是在中間取了一個點，做深度學習的應用處理器。
寒武紀擁有中科院計算所背景，以diannao系列架構獲多個頂級會議的最佳論文。
展開 2021最“硬”AI峰會！什么是AI真正業(yè)務落地的大舞臺？
5月25日，匯聚了16位AI與物聯(lián)網(wǎng)行業(yè)大佬的GTIC 2021嵌入式AI創(chuàng)新峰會在北京舉辦，現(xiàn)場座無虛席，十分火爆！
當下，隨著AI落地進入深水期，越來越多的AI需要從云端，擴展到設備端和邊緣端——智能耳機、智能手環(huán)、智能門鎖、智能攝像機、AI無人機、掃地機器人、物流機器人等設備層出不窮。而在一個信息安全問題日益凸顯的時代，將AI部署在端側、邊緣側，也成為產(chǎn)業(yè)亟待關注的需求。
而這，正是嵌入式AI要做的事情——將AI部署到嵌入式的設備端和邊緣端。人工智能真正業(yè)務落地的大舞臺，已經(jīng)越來越轉向物聯(lián)網(wǎng)端側的AI嵌入這一新戰(zhàn)場！
作為今年首場聚焦嵌入式AI的創(chuàng)新峰會，今天，來自產(chǎn)業(yè)鏈上下游的16位大佬共聚一堂，圍繞嵌入式AI的軟硬件生態(tài)創(chuàng)新、家居AIoT、移動機器人和工業(yè)制造產(chǎn)業(yè)4大版塊地圖，帶來了深入淺出的分享。現(xiàn)場觀眾時而安靜傾聽，時而掌聲熱烈，線上直播觀看人數(shù)也超150萬！
▲峰會現(xiàn)場座無虛席，十分火爆
智一科技聯(lián)合創(chuàng)始人/CEO龔倫常代表主辦方發(fā)言稱，據(jù)相關機構統(tǒng)計，2020年智能設備迎來拐點，活躍的物聯(lián)網(wǎng)連接數(shù)量第一次超過了非物聯(lián)網(wǎng)連接的數(shù)量。同時，國家十四五規(guī)劃也首次明確提出了生產(chǎn)、生活以及社會治理的全面數(shù)字化。隨著設備算力的大幅度提升，嵌入式AI迎來了快速發(fā)展的機遇期。
在這樣的大環(huán)境下，于端側、邊緣側智能爆發(fā)前夜，當下AI在物聯(lián)網(wǎng)領域落地的深度和廣度如何？背后又有什么樣的痛點，以及對應出現(xiàn)了什么樣的前沿技術創(chuàng)新和商業(yè)化邏輯？AI與物聯(lián)網(wǎng)產(chǎn)業(yè)未來發(fā)展的方向又在何方？
我們?yōu)榇蠹沂崂砹?6位大咖分享的干貨，以助大家以點帶面地把握AI落地物聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展新趨勢。
展開 
端側AI的最新內(nèi)容
而其中，天璣9400+等旗艦芯片無疑是整個體系的核心算力引擎：AI性能較前代提升25%、推理解碼能力增強20%，輕松托起通用AI運算和端側大模型的需求；這顆天璣旗艦芯片的圖形方面繼續(xù)扛起安卓GPU之王的大旗，在天璣星速引擎游戲技術的加持下，帶給玩家“滿幀一條線、功耗一路降”的超爽體驗。
為加速實現(xiàn)智能體化用戶體驗愿景，聯(lián)發(fā)科還在會上為開發(fā)者帶來了全新升級后的AI應用開發(fā)武器庫——天璣AI開發(fā)套件2.0，以更大的模型庫規(guī)模、更開放的架構、更前沿的端側AI技術和端側LoRA訓練落地等四個維度，為開發(fā)者提供更全面、更開放、更強大的端側AI開發(fā)解決方案。
天璣AI開發(fā)套件 2.0，全面釋放天璣端側AI能力
去年，天璣AI開發(fā)套件一經(jīng)發(fā)布就廣受開發(fā)者好評和推薦。在MDDC 2025上，聯(lián)發(fā)科帶來了全面升級的天璣AI開發(fā)套件2.0，在模型庫規(guī)模、架構開放程度、前沿端側AI技術支持和端側LoRA訓練落地等方面均迎來全面躍遷，為開發(fā)者提供了更全面、更開放、更強大的端側AI開發(fā)解決方案。
行業(yè)首個端側應用70億參數(shù)大模型，大模型手機進入快車道
面向快速發(fā)展的大模型技術，OPPO繼在ODC正式推出自主訓練的大模型——AndesGPT之后，此次也宣布將在 Find X7 系列上實現(xiàn)行業(yè)首個端側應用的70億參數(shù)的模型，通過高精度 4bit 量化等模型壓縮，推理引擎的加速，以及與芯片平臺深度合作的硬件加速方式，第一次為手機端側帶來完全體的70億參數(shù)大模型，徹底變革手機端側 AI 的使用方式
On-device AI processing（端側 AI）能夠?qū)崿F(xiàn)低延遲以及數(shù)據(jù)隱私的保護。Mythic、Syntiant 和 Kneron 等初創(chuàng)公司分別籌集了超過 1 億美元研發(fā)該項技術。
像 Untether AI 和 HOUMO.AI（后摩智能）這樣的初創(chuàng)公司正致力于研發(fā)“in-memory computing”（存內(nèi)計算）技術。
而在一個信息安全問題日益凸顯的時代，將AI部署在端側、邊緣側，也成為產(chǎn)業(yè)亟待關注的需求。
而這，正是嵌入式AI要做的事情——將AI部署到嵌入式的設備端和邊緣端。人工智能真正業(yè)務落地的大舞臺，已經(jīng)越來越轉向物聯(lián)網(wǎng)端側的AI嵌入這一新戰(zhàn)場！
如出現(xiàn)可疑人員時，地面固定攝像頭（具備端側AI）可鎖定人員并基于該人員位置移動，確保實時監(jiān)控跟蹤。當可疑人員即將離開固定攝像頭監(jiān)控范圍時或即將運動至固定攝像頭視野盲區(qū)時，虎鯨工業(yè)級全自主無人機（具備端側AI）將自主起飛并對該可疑人員進行空中實時跟蹤，確保無死角監(jiān)控，并及時發(fā)現(xiàn)，及時取證，及時喊話制止。
同時，由于目標市場應用需要端云一體化的AI解決方案，為了更好的滿足客戶與市場的需求，我們決定開發(fā)并推出端側的AI芯片及解決方案。
云端AI聚焦安防
云端AI芯片的應用場景可以分為四大類：安防，園區(qū)，智慧城市，互聯(lián)網(wǎng)。
圖二為“云+端”示意圖解：
圖二AI應用落地的“云+端”模式
Source：集邦咨詢2018.7
想實現(xiàn)端側AI的部署，從定制芯片硬件來看，有兩個路線：1.如上述所說，用FPGA開發(fā)（半定制）2.設計ASIC定制集成電路芯片。我們可以拉入另外兩家中國的AI明星公司：寒武紀和地平線進行簡單討論。
