端側(cè)AI的案例
首創(chuàng)開源架構(gòu)，天璣AI開發(fā)套件讓端側(cè)AI模型接入得心應(yīng)手
為此，Gen-AI Model Hub全面擴(kuò)容，模型數(shù)量在原有基礎(chǔ)上激增了3.3倍，并支持DeepSeek-R1蒸餾模型、通義千問、混元等多種先進(jìn)端側(cè)大模型，還包含視覺、語言、多模態(tài)等多種多樣的大模型，開發(fā)者可以通過Gen-AI Model Hub一鍵調(diào)用模型能力，讓AI應(yīng)用開發(fā)選擇更豐富。
為了讓開發(fā)者免受即有模型庫的限制，聯(lián)發(fā)科還首發(fā)了開源彈性架構(gòu)。區(qū)別于過往的開放接口，只能部署特定架構(gòu)模型，開放彈性架構(gòu)允許開發(fā)者直接調(diào)整平臺源代碼，無需等待芯片廠商的支持，即可完成目標(biāo)或其他自研大模型輕松部署。讓AI應(yīng)用開發(fā)不用“等平臺”，徹底釋放開發(fā)效率和模型接入自由度。
自DeepSeek橫空出世以來，這種更適合端側(cè)部署，回答效率更高效的訓(xùn)練模式快速引爆了AI行業(yè)，主流大模型紛紛加強(qiáng)了推理能力。天璣AI開發(fā)套件2.0全面支持 DeepSeek四大關(guān)鍵技術(shù)：混合專家模型（MoE）、多Token預(yù)測（MTP）多頭潛在注意力（MLA)、FP8推理（FP8 Inferencing），實(shí)現(xiàn)Token產(chǎn)生速度提升2倍以上、內(nèi)存帶寬占用量大幅度降低50%，讓端側(cè)AI推理更聰明、響應(yīng)更迅速。
天璣AI開發(fā)套件2.0還首次引入基于NPU的端側(cè)LoRA訓(xùn)練，開發(fā)者在天璣NPU上進(jìn)行運(yùn)算訓(xùn)練，相比基于CPU的訓(xùn)練方案，訓(xùn)練速度猛增50倍，將訓(xùn)練時(shí)間從一整天縮短至半小時(shí)。更快的端側(cè)LoRA訓(xùn)練，讓端側(cè)AI基于用戶端側(cè)數(shù)據(jù)提升個(gè)性化體驗(yàn)，讓終端成為更懂用戶的個(gè)性化智慧伙伴。
智能體用戶體驗(yàn)的進(jìn)化，從生態(tài)整合與攜手躍遷開始
本次MDDC 2025，聯(lián)發(fā)科不僅帶來了更加強(qiáng)大、全面的開發(fā)者解決方案，更展示了不斷拓展的天璣AI生態(tài)。
展開 MDDC 2025發(fā)布天璣開發(fā)工具集：橫跨AI應(yīng)用與游戲開發(fā)的全家桶
天璣開發(fā)工具集震撼登場——橫跨AI和游戲開發(fā)的開發(fā)工具全家桶
去年聯(lián)發(fā)科發(fā)布的天璣AI開發(fā)套件，收獲了行業(yè)的一致認(rèn)可。今年，聯(lián)發(fā)科更帶來了橫跨AI應(yīng)用和游戲開發(fā)的全家桶套裝——一站式可視化智能開發(fā)工具：天璣開發(fā)工具集(Dimensity Development Studio)，包含針對AI開發(fā)與模型調(diào)優(yōu)的 Neuron Studio 和針對游戲性能分析的Dimensity Profiler。
其中，Neuron Studio是一款AI應(yīng)用全流程開發(fā)工具，可針對模型到應(yīng)用，為開發(fā)者提供一站式、全鏈路、自動(dòng)化的開發(fā)協(xié)助。Neuron Studio整合了多個(gè)MLKit具，將關(guān)鍵模塊融合成一站式、可視化的完整開發(fā)鏈路，讓開發(fā)者用一套工具就能完成模型開發(fā)，大幅提升開發(fā)效率。神經(jīng)網(wǎng)絡(luò)自動(dòng)化調(diào)優(yōu)則可將性能和內(nèi)存占用自動(dòng)優(yōu)化到最佳配置，開發(fā)者可全程監(jiān)控大模型演化過程，讓模型和端側(cè)平臺適配省心、省力、省時(shí)間。開發(fā)者可以通過跨模型全鏈路分析功能，獲得全局視角和執(zhí)行流程，大幅節(jié)省模型分析時(shí)間。
為加速實(shí)現(xiàn)智能體化用戶體驗(yàn)愿景，聯(lián)發(fā)科還在會上為開發(fā)者帶來了全新升級后的AI應(yīng)用開發(fā)武器庫——天璣AI開發(fā)套件2.0，以更大的模型庫規(guī)模、更開放的架構(gòu)、更前沿的端側(cè)AI技術(shù)和端側(cè)LoRA訓(xùn)練落地等四個(gè)維度，為開發(fā)者提供更全面、更開放、更強(qiáng)大的端側(cè)AI開發(fā)解決方案。
其中，全新升級的Gen-AI Model Hub模型庫模型數(shù)量激增3.3倍，并且支持最新的Deepseek-R1蒸餾模型、通義千問、混元等先進(jìn)端側(cè)大模型；突破性的開源彈性架構(gòu)，讓開發(fā)者可以通過開放架構(gòu)，直接調(diào)整平臺源代碼，無需等待芯片的支持，就可以完成大模型的輕松部署。
展開 云圣自動(dòng)機(jī)場亮相雄安半馬大賽：探索低空域城市管理新體系，助力智慧城市新發(fā)展
如出現(xiàn)可疑人員時(shí)，地面固定攝像頭（具備端側(cè)AI）可鎖定人員并基于該人員位置移動(dòng)，確保實(shí)時(shí)監(jiān)控跟蹤。當(dāng)可疑人員即將離開固定攝像頭監(jiān)控范圍時(shí)或即將運(yùn)動(dòng)至固定攝像頭視野盲區(qū)時(shí)，虎鯨工業(yè)級全自主無人機(jī)（具備端側(cè)AI）將自主起飛并對該可疑人員進(jìn)行空中實(shí)時(shí)跟蹤，確保無死角監(jiān)控，并及時(shí)發(fā)現(xiàn)，及時(shí)取證，及時(shí)喊話制止。
數(shù)據(jù)融合，人、車軌跡跟蹤
自主軌跡規(guī)劃
目前我們見到市面上的攝像頭只能看或者單一鏈路識別的功能。而我們的“體系”可以讓攝像頭本身擁有一定的AI處理能力，對識別到的車、人、場景主動(dòng)進(jìn)行特征提取。通過網(wǎng)絡(luò)實(shí)時(shí)回傳數(shù)據(jù)，結(jié)合四維實(shí)景地圖對賽事進(jìn)行追蹤報(bào)道。
展開 AI芯片公司的技術(shù)路線抉擇！
從深鑒科技的技術(shù)路線——基于Xilinx的FPGA硬件進(jìn)行開發(fā)，實(shí)現(xiàn)端側(cè)智能。圖一為深鑒科技開發(fā)的智能IPC
深度學(xué)習(xí)加速模塊，可以把深度學(xué)習(xí)網(wǎng)絡(luò)部署在里面并嵌入在攝像頭實(shí)現(xiàn)人臉識別。
圖一智能IPC深度學(xué)習(xí)加速模塊
Source：深鑒科技官網(wǎng)2018.7
無論深鑒科技實(shí)際上是否直接參與了FPGA的電路設(shè)計(jì)，還是直接委托Xilinx直接幫其設(shè)計(jì)出需要的FPGA。深鑒科技可以說在硬件方面方面，站在了Xilinx這個(gè)巨人的肩膀之上，再進(jìn)行FPGA的嵌入式開發(fā)，實(shí)現(xiàn)深度學(xué)習(xí)網(wǎng)絡(luò)的部署，實(shí)現(xiàn)AI的功能。
目前“云+端”的模式，成為眾AI公司發(fā)展的趨勢。過去的方案實(shí)施中，AI處理工作在云端完成。把其中某一部分任務(wù)（例如推斷部分）放在智能邊緣端（讓設(shè)備擁有芯片，進(jìn)行AI推斷部分），就變得更加高效，尤其像安防領(lǐng)域，自動(dòng)駕駛領(lǐng)域，實(shí)時(shí)性要求極高的應(yīng)用中。則端側(cè)智能的部署是市場的趨勢。圖二為“云+端”示意圖解：
圖二AI應(yīng)用落地的“云+端”模式
Source：集邦咨詢2018.7
想實(shí)現(xiàn)端側(cè)AI的部署，從定制芯片硬件來看，有兩個(gè)路線：1.如上述所說，用FPGA開發(fā)（半定制）2.設(shè)計(jì)ASIC定制集成電路芯片。我們可以拉入另外兩家中國的AI明星公司：寒武紀(jì)和地平線進(jìn)行簡單討論。
根據(jù)深鑒科技聯(lián)合創(chuàng)始人姚頌所述，寒武紀(jì)選取了機(jī)器學(xué)習(xí)這根軸上最通用的方向，就是所有機(jī)器學(xué)習(xí)的訓(xùn)練和應(yīng)用都要做；地平線有很強(qiáng)的算法團(tuán)隊(duì)，于是選擇了軸上截然相反的另一端，也就是最專用的方向，去做算法固化的ASIC芯片；而深鑒科技則是在中間取了一個(gè)點(diǎn)，做深度學(xué)習(xí)的應(yīng)用處理器。
寒武紀(jì)擁有中科院計(jì)算所背景，以diannao系列架構(gòu)獲多個(gè)頂級會議的最佳論文。
展開 
嵌入式AI創(chuàng)新峰會萬字干貨，16位大咖演講精華
2021最“硬”AI峰會！什么是AI真正業(yè)務(wù)落地的大舞臺？
5月25日，匯聚了16位AI與物聯(lián)網(wǎng)行業(yè)大佬的GTIC 2021嵌入式AI創(chuàng)新峰會在北京舉辦，現(xiàn)場座無虛席，十分火爆！
當(dāng)下，隨著AI落地進(jìn)入深水期，越來越多的AI需要從云端，擴(kuò)展到設(shè)備端和邊緣端——智能耳機(jī)、智能手環(huán)、智能門鎖、智能攝像機(jī)、AI無人機(jī)、掃地機(jī)器人、物流機(jī)器人等設(shè)備層出不窮。而在一個(gè)信息安全問題日益凸顯的時(shí)代，將AI部署在端側(cè)、邊緣側(cè)，也成為產(chǎn)業(yè)亟待關(guān)注的需求。
而這，正是嵌入式AI要做的事情——將AI部署到嵌入式的設(shè)備端和邊緣端。人工智能真正業(yè)務(wù)落地的大舞臺，已經(jīng)越來越轉(zhuǎn)向物聯(lián)網(wǎng)端側(cè)的AI嵌入這一新戰(zhàn)場！
作為今年首場聚焦嵌入式AI的創(chuàng)新峰會，今天，來自產(chǎn)業(yè)鏈上下游的16位大佬共聚一堂，圍繞嵌入式AI的軟硬件生態(tài)創(chuàng)新、家居AIoT、移動(dòng)機(jī)器人和工業(yè)制造產(chǎn)業(yè)4大版塊地圖，帶來了深入淺出的分享。現(xiàn)場觀眾時(shí)而安靜傾聽，時(shí)而掌聲熱烈，線上直播觀看人數(shù)也超150萬！
▲峰會現(xiàn)場座無虛席，十分火爆
智一科技聯(lián)合創(chuàng)始人/CEO龔倫常代表主辦方發(fā)言稱，據(jù)相關(guān)機(jī)構(gòu)統(tǒng)計(jì)，2020年智能設(shè)備迎來拐點(diǎn)，活躍的物聯(lián)網(wǎng)連接數(shù)量第一次超過了非物聯(lián)網(wǎng)連接的數(shù)量。同時(shí)，國家十四五規(guī)劃也首次明確提出了生產(chǎn)、生活以及社會治理的全面數(shù)字化。隨著設(shè)備算力的大幅度提升，嵌入式AI迎來了快速發(fā)展的機(jī)遇期。
在這樣的大環(huán)境下，于端側(cè)、邊緣側(cè)智能爆發(fā)前夜，當(dāng)下AI在物聯(lián)網(wǎng)領(lǐng)域落地的深度和廣度如何？背后又有什么樣的痛點(diǎn)，以及對應(yīng)出現(xiàn)了什么樣的前沿技術(shù)創(chuàng)新和商業(yè)化邏輯？AI與物聯(lián)網(wǎng)產(chǎn)業(yè)未來發(fā)展的方向又在何方？
我們?yōu)榇蠹沂崂砹?6位大咖分享的干貨，以助大家以點(diǎn)帶面地把握AI落地物聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展新趨勢。
展開 MDDC 2025：聯(lián)發(fā)科為開發(fā)者打造的調(diào)試“上帝視角”
自2022年首發(fā)移動(dòng)端硬件光追方案以來，聯(lián)發(fā)科一路從支持60幀，到如今率先突破90幀光追，持續(xù)拓寬手機(jī)光影表現(xiàn)的邊界。在與《暗區(qū)突圍》的合作中，仿生細(xì)節(jié)再次突破，達(dá)到了PC級的骨骼模型效果，將動(dòng)態(tài)光影延伸至人物和環(huán)境之間的每一個(gè)細(xì)節(jié)，為玩家?guī)怼叭缬半S形”的真實(shí)沉浸感。
游戲 × AI：構(gòu)建“更互動(dòng)”的次世代玩法
當(dāng)畫質(zhì)、幀率、能效都拉滿之后，玩家還想要什么？答案必然藏在AI身上。大模型進(jìn)入游戲世界的呼聲越來越高，但要真正把AI從“輔助能力”升級為“核心玩法”，仍是一道系統(tǒng)級難題——高資源占用、高推理功耗、高算力門檻，每一項(xiàng)都讓移動(dòng)平臺倍感壓力。
要想讓“AI游戲”不只是概念，底層就必須先打牢。聯(lián)發(fā)科圍繞天璣平臺，構(gòu)建了一套面向AI融合的落地路徑：以旗艦芯片硬件為底座，通過星速引擎與 Dimensity Profiler 的組合，實(shí)現(xiàn)高效的算力調(diào)度與性能釋放；再疊加天璣AI開發(fā)套件2.0與 Neuron Studio 工具鏈，對大模型進(jìn)行結(jié)構(gòu)壓縮與推理優(yōu)化，把推理、部署效率提上去，讓AI真正“住得進(jìn)”手機(jī)。
更重要的是，這些技術(shù)正在逐步變成真實(shí)可玩的體驗(yàn)。在《王者榮耀》中，聯(lián)發(fā)科技攜手王者榮耀、騰訊游戲語音團(tuán)隊(duì)，首發(fā)端側(cè)AI實(shí)時(shí)語音轉(zhuǎn)文字功能，使端側(cè)語音轉(zhuǎn)換速度較云端提升45%，做到“語歇字到，指令即發(fā)”；而在《永劫無間手游》中，聯(lián)發(fā)科攜手網(wǎng)易伏羲實(shí)驗(yàn)室，將大模型端側(cè)落地，玩家一句語音就能讓NPC即時(shí)響應(yīng)、戰(zhàn)斗配合、陪伴動(dòng)作，一個(gè)真正“能交流、會協(xié)作”的AI搭子誕生了。
隨著AI在玩法設(shè)計(jì)中扮演的角色日益重要，聯(lián)發(fā)科正用軟硬協(xié)同的全鏈路開發(fā)體系，把“AI+游戲”的想象一步步變成現(xiàn)實(shí)，為移動(dòng)游戲行業(yè)打開一個(gè)通往AI時(shí)代的新入口。
展開 OPPO 衛(wèi)星通信技術(shù)來了：首發(fā)聽筒 / 免提雙模通話，F(xiàn)ind X7 系列手機(jī)搭載
行業(yè)首個(gè)端側(cè)應(yīng)用70億參數(shù)大模型，大模型手機(jī)進(jìn)入快車道
面向快速發(fā)展的大模型技術(shù)，OPPO繼在ODC正式推出自主訓(xùn)練的大模型——AndesGPT之后，此次也宣布將在 Find X7 系列上實(shí)現(xiàn)行業(yè)首個(gè)端側(cè)應(yīng)用的70億參數(shù)的模型，通過高精度 4bit 量化等模型壓縮，推理引擎的加速，以及與芯片平臺深度合作的硬件加速方式，第一次為手機(jī)端側(cè)帶來完全體的70億參數(shù)大模型，徹底變革手機(jī)端側(cè) AI 的使用方式。
OPPO軟件創(chuàng)新中心總經(jīng)理張峻表示：“OPPO 自主訓(xùn)練的、個(gè)性專屬大模型——AndesGPT 包含了從十億到千億級參數(shù)的多種版本，知識儲備豐富、擁有無限記憶、也善用工具；端云協(xié)同的技術(shù)架構(gòu)，可以支撐多元化的應(yīng)用場景。在多種技術(shù)的配合下，我們也將會在Find X7系列首次實(shí)現(xiàn)端側(cè)應(yīng)用70億參數(shù)的大語言模型，以及生成式的視覺模型，在保障用戶隱私安全的情況下，帶來響應(yīng)更快、處理能力更強(qiáng)、生成質(zhì)量更高的本地AI體驗(yàn)。”
得益于完整的端側(cè)應(yīng)用的 AndesGPT 70億參數(shù)大語言模型，F(xiàn)ind X7 系列將帶來自然語言理解、文本內(nèi)容摘要、通話語音摘要等下一代的AI體驗(yàn)。相比于同平臺其他模型，OPPO AndesGPT 70億參數(shù)大語言模型可以在200字首字生成帶來20倍的更快響應(yīng)，面向2000字首字生成也可以實(shí)現(xiàn)2.5倍的更快速度。
同時(shí)，OPPO 的AndesGPT 可以實(shí)現(xiàn)最高14,000的摘要字?jǐn)?shù)上限，達(dá)到了同平臺其他模型的3.5倍。在生成質(zhì)量方面，相比于10億參數(shù)模型，AndesGPT 70億參數(shù)大語言模型以更高“智商”的理解能力，為通話摘要能力上帶來更完整、更準(zhǔn)確的記錄。
展開 比特大陸端和云AI芯片路線圖透露的雄心
隨著應(yīng)用要求的提升，以及技術(shù)的不斷成熟，有越來越多的AI芯片開始落地，特別是在云端，AI專用ASIC正在逐步滲透進(jìn)傳統(tǒng)的x86處理器陣地，典型代表就是谷歌及其TPU，而在中國，也有一家公司，正在全發(fā)力專用的AI芯片，這就是一直處于輿論焦點(diǎn)的比特大陸。
長期以來，公眾對于比特大陸的認(rèn)知，主要停留在”礦機(jī)芯片龍頭“層面，但自該公司傳出 IPO 后，尤其是近期其IPO招股書所披露的消息，這家公司的AI 芯片業(yè)務(wù)正在成為業(yè)界關(guān)注的話題。
日前，比特大陸正式發(fā)布了終端人工智能芯片BM1880，一同發(fā)布的還有基于云端人工智能芯片BM1682 的算豐智能服務(wù)器SA3、嵌入式AI迷你機(jī)SE3、3D人臉識別智能終端以及基于BM1880的開發(fā)板、AI模塊、算力棒等產(chǎn)品。
據(jù)悉，這家成立于2013年的公司，2015年就開始啟動(dòng)AI 芯片業(yè)務(wù)。比特大陸產(chǎn)品戰(zhàn)略總監(jiān)湯煒偉表示，2015年前后，業(yè)界普遍認(rèn)識到通用處理器無法應(yīng)對AI處理任務(wù)，并開始發(fā)力AI專屬處理器。可見，比特大陸的AI芯片布局還是比較早的。
比特大陸最先推出的是云端AI芯片，也就是2017 年發(fā)布的第一代產(chǎn)品BM1680，又在今年第一季度推出了第二代的BM1682。此次又推出了終端側(cè)的AI芯片BM1880。湯煒偉表示，比特大陸云端人工智能芯片以9個(gè)月速度快速迭代，基于芯片的相關(guān)產(chǎn)品在實(shí)際運(yùn)行中表現(xiàn)良好，客戶給出正面反饋，合作正在廣泛展開，很多安防項(xiàng)目持續(xù)落地。同時(shí)，由于目標(biāo)市場應(yīng)用需要端云一體化的AI解決方案，為了更好的滿足客戶與市場的需求，我們決定開發(fā)并推出端側(cè)的AI芯片及解決方案。
展開 AI行業(yè)七大趨勢：合成數(shù)據(jù)、多模態(tài)AI崛起
芯片追逐戰(zhàn)
隨著 AI 技術(shù)不斷進(jìn)步，加速在各行業(yè)落地應(yīng)用。無論是云數(shù)據(jù)中心還是像照相機(jī)這樣的智能邊緣設(shè)備，適用于計(jì)算密集型的專業(yè)硬件需求激增。
Nvidia（英偉達(dá)）的圖形處理器曾一度主導(dǎo)著價(jià)值 670 億美元的 AI 芯片市場，如今多家公司相繼入局。
谷歌最新推出的 Pixel 手機(jī)搭載了自研的 Tensor 處理器，強(qiáng)化了軟件應(yīng)用，而Amazon（亞馬遜）也在 2021 年 Q4 推出了自研芯片 Graviton3。
除了這幾家大公司外，一些初創(chuàng)企業(yè)也紛紛殺入。曾聲稱造出世界最大芯片的明星創(chuàng)企 Cerebras Systems 在 2021 年 Q4 融資 2.5 億美元，估值達(dá)到 40 億美元。
圖 | 截至 2022 年 5 月 13 日，融資前十的全球 AI 芯片供應(yīng)商（來源：CB Insights）
由于空間和能源的限制，大型芯片并不適用于許多日常的 AI 應(yīng)用場景。考慮到這一點(diǎn)，越來越多的公司開始研發(fā)可以用于汽車傳感器、照相機(jī)、自動(dòng)化工廠機(jī)器人等低功耗設(shè)備的 AI 芯片。
On-device AI processing（端側(cè) AI）能夠?qū)崿F(xiàn)低延遲以及數(shù)據(jù)隱私的保護(hù)。Mythic、Syntiant 和 Kneron 等初創(chuàng)公司分別籌集了超過 1 億美元研發(fā)該項(xiàng)技術(shù)。
像 Untether AI 和 HOUMO.AI（后摩智能）這樣的初創(chuàng)公司正致力于研發(fā)“in-memory computing”（存內(nèi)計(jì)算）技術(shù)。與傳統(tǒng)方法相比，存內(nèi)計(jì)算把計(jì)算和存儲合二為一實(shí)現(xiàn)高度集成，能夠大幅度提升性能。Samsung 公司報(bào)告稱，采用存內(nèi)計(jì)算技術(shù)后，語音識別神經(jīng)網(wǎng)絡(luò)的速度提高了一倍以上，資源消耗削減了一半。
AI 芯片獨(dú)角獸公司 Graphcore 采用3D 封裝技術(shù)極大提高了性能。
展開 