
發(fā)布
注冊(cè)
/
登錄端側(cè)AI推理優(yōu)化
關(guān)注創(chuàng)建者:匿名 創(chuàng)建時(shí)間:2026-01-04


端側(cè)AI推理優(yōu)化的相關(guān)專題、標(biāo)簽、搜索
端側(cè)AI推理優(yōu)化的最新內(nèi)容
PART/1
破局:從“文檔管理”到“知識(shí)推理”
戴西軟件面向工業(yè)研發(fā)領(lǐng)域推出NexAI Suite多業(yè)務(wù)智能體套件(后稱NexAI),它的解決思路很直接:用統(tǒng)一的AI數(shù)據(jù)中臺(tái),把企業(yè)內(nèi)部分散的、異構(gòu)的數(shù)據(jù)整合,真正變成可理解、可推理、可追溯的活知識(shí)。
全新的 HAPS 與 ZeBu 平臺(tái):
全新的 HAPS?200 12 FPGA 和 ZeBu?200 12 FPGA 系統(tǒng)可應(yīng)對(duì)數(shù)據(jù)中心子系統(tǒng)、移動(dòng)、客戶端、服務(wù)器、消費(fèi)電子以及邊緣 AI 應(yīng)用的復(fù)雜性與高性能需求。
Pulsar 通過結(jié)合靈活的計(jì)算架構(gòu)優(yōu)化邊緣側(cè) AI 工作負(fù)載,其延遲比傳統(tǒng) AI 處理器降低高達(dá) 100 倍,能耗降低高達(dá) 500 倍。通過采用脈沖神經(jīng)網(wǎng)絡(luò),Pulsar 僅在記錄到傳感器的變化時(shí)才作出反應(yīng),顯著提升了數(shù)據(jù)傳輸速度并延長(zhǎng)了可穿戴設(shè)備和智能傳感器等“始終在線”設(shè)備的電池續(xù)航能力。
端云協(xié)同的技術(shù)架構(gòu)在此全景呈現(xiàn),多款終端設(shè)備可實(shí)現(xiàn)離線復(fù)雜推理,兼顧實(shí)時(shí)響應(yīng)、能效優(yōu)化與隱私防護(hù),構(gòu)建起“云端訓(xùn)練、端側(cè)響應(yīng)”的高效AI生態(tài)體系。
展會(huì)不止于靜態(tài)展品陳列,沉浸式互動(dòng)體驗(yàn)讓每一位參觀者都能化身科技參與者。
- 集成FastAPI后端、流式聊天界面、前端用戶體驗(yàn)?zāi)J胶陀袪顟B(tài)記憶管理,創(chuàng)建全棧大型語(yǔ)言模型應(yīng)用程序。
- 通過令牌優(yōu)化、緩存策略、模型選擇權(quán)衡和負(fù)載管理技術(shù),優(yōu)化AI系統(tǒng)的成本、延遲和可擴(kuò)展性。
- 使用人工和自動(dòng)化評(píng)估方法評(píng)估和監(jiān)控大型語(yǔ)言模型的輸出,確保準(zhǔn)確性、相關(guān)性和真實(shí)性。
?
?
?
林翰軒 | 中興通訊股份有限公司 射頻工程師
作品名稱:精準(zhǔn)量化仿真探索--大小尺度共存的HFSS建模挑戰(zhàn)與EMIT射頻靈敏度仿真應(yīng)用
作品簡(jiǎn)介:信號(hào)向高速化發(fā)展,EMI問題愈發(fā)嚴(yán)重,制約CPE家端產(chǎn)品WIFI覆蓋性能。面對(duì)低量級(jí)EMI問題,亟需大小尺度模型共存的系統(tǒng)級(jí)仿真方案提供優(yōu)化指導(dǎo)。
</strong></p><p class="ql-align-justify"><strong>第二個(gè)問題是關(guān)于一個(gè)現(xiàn)實(shí)挑戰(zhàn):當(dāng)前人工智能剛剛應(yīng)用于工業(yè)領(lǐng)域時(shí),常常出現(xiàn)“業(yè)務(wù)端”和“技術(shù)端”脫節(jié)的情況。業(yè)務(wù)人員了解業(yè)務(wù),但不了解AI算法,而技術(shù)人員掌握機(jī)器學(xué)習(xí)和算法知識(shí),但不懂業(yè)務(wù)邏輯。這種“兩張皮”的現(xiàn)象讓AI與業(yè)務(wù)難以深度融合,是目前應(yīng)用落地的一大障礙。
在《王者榮耀》中,聯(lián)發(fā)科技攜手王者榮耀、騰訊游戲語(yǔ)音團(tuán)隊(duì),首發(fā)端側(cè)AI實(shí)時(shí)語(yǔ)音轉(zhuǎn)文字功能,使端側(cè)語(yǔ)音轉(zhuǎn)換速度較云端提升45%,做到“語(yǔ)歇字到,指令即發(fā)”;而在《永劫無間手游》中,聯(lián)發(fā)科攜手網(wǎng)易伏羲實(shí)驗(yàn)室,將大模型端側(cè)落地,玩家一句語(yǔ)音就能讓NPC即時(shí)響應(yīng)、戰(zhàn)斗配合、陪伴動(dòng)作,一個(gè)真正“能交流、會(huì)協(xié)作”的AI搭子誕生了。
而且,天璣AI開發(fā)套件2.0全面支持DeepSeek四大關(guān)鍵技術(shù),為端側(cè)推理提升2倍token生成速度,同時(shí)可節(jié)省50%內(nèi)存帶寬占用。天璣AI開發(fā)套件2.0還首次引入端側(cè)LoRA訓(xùn)練,讓AI模型在端側(cè)即可完成遷移學(xué)習(xí),相比利用CPU進(jìn)行訓(xùn)練的方案,在天璣NPU上訓(xùn)練速度狂暴提升50倍,端側(cè)LoRA訓(xùn)練從此告別漫長(zhǎng)等待。
聯(lián)發(fā)科與OPPO深度合作,共同研發(fā),借助天璣AI開發(fā)套件中支持DeepSeek的四大關(guān)鍵技術(shù),快速實(shí)現(xiàn)MoE技術(shù)的端側(cè)部署,Token產(chǎn)生速度提升了40%,讓端側(cè)大模型擁有更高的計(jì)算效率和推理性能,使端側(cè)AI交互響應(yīng)更及時(shí),用戶體驗(yàn)更貼心。