不知火舞的被虐|伊人天伊人天天综合网|博洛尼亚天气|任你懆这里只有精品4|久久美日韩精品久久|掌中之物漫画免费阅读观看|0丨d老妇

RDMA

關(guān)注
創(chuàng)建者:匿名 創(chuàng)建時(shí)間:2026-01-04
RDMA圖1

RDMA的實(shí)例教程

在傳輸硬件配合的方面,海克斯康工業(yè)軟件VTD與NI達(dá)成深度合作,雙方基于RDMA技術(shù)的應(yīng)用在多傳感器仿真領(lǐng)域取得了較大的進(jìn)展。RDMA(Remote Direct Memory Access),全稱遠(yuǎn)端內(nèi)存直接訪問技術(shù),相對(duì)于傳統(tǒng)的TCP/IP通信具有以下特點(diǎn): CPU Bypass 數(shù)據(jù)傳輸過程中,僅僅使用操作系統(tǒng)建立通道,后續(xù)應(yīng)用程序可繞過CPU直接進(jìn)行消息傳遞。可有效降低CPU負(fù)載,尤其是在多傳感器仿真使用環(huán)境中可有效提升仿真性能,最大限度發(fā)揮CPU自身性能。 內(nèi)核Bypass IO數(shù)據(jù)流程可繞過內(nèi)核,在用戶層完成數(shù)據(jù)準(zhǔn)備后即可直接通知硬件進(jìn)行數(shù)據(jù)的收發(fā),避免系統(tǒng)調(diào)用和上下文切換所帶來的時(shí)間和資源開銷。 零拷貝 減少數(shù)據(jù)在存儲(chǔ)區(qū)域之間的頻繁拷貝,無論本地還是遠(yuǎn)端進(jìn)程均可實(shí)現(xiàn)對(duì)于設(shè)備虛擬內(nèi)存的直接訪問,無需復(fù)制到網(wǎng)絡(luò)層,從而有效降低數(shù)據(jù)傳輸?shù)难舆t以及由于拷貝工作帶來的CPU消耗。 高帶寬 相較于傳統(tǒng)在工作站上使用的萬兆網(wǎng)口,RDMA網(wǎng)卡可實(shí)現(xiàn)100~200Gb/s的數(shù)據(jù)傳輸帶寬。對(duì)于當(dāng)前高分辨率(4k)相機(jī)、多線固態(tài)激光雷達(dá)傳感器數(shù)據(jù)即時(shí)傳輸來說RDMA網(wǎng)卡提供了傳統(tǒng)以太網(wǎng)接口無法比擬的優(yōu)勢(shì)。 目前海克斯康與NI率先在HIL測(cè)試領(lǐng)域引入了RDMA技術(shù)方案,通過共享內(nèi)存直接讀取的方法實(shí)現(xiàn)了基于RDMA技術(shù)的激光雷達(dá)以及相機(jī)傳感器Raw data數(shù)據(jù)的獲取與傳輸,同時(shí)引入Ecu對(duì)于相機(jī)回控的機(jī)制,從而實(shí)現(xiàn)對(duì)于VTD攝像頭傳感器的故障注入模擬、曝光、白平衡參數(shù)動(dòng)態(tài)調(diào)整等特性;相較于傳統(tǒng)方案,RDMA的應(yīng)用可有效降低仿真工作站cpu在數(shù)據(jù)傳輸工作上的消耗,提升仿真運(yùn)行性能以及數(shù)據(jù)傳輸效率。在系統(tǒng)布局上,可有效優(yōu)化仿真系統(tǒng)結(jié)構(gòu),適應(yīng)更加廣泛的測(cè)試系統(tǒng)需求。
展開
不過,AVxcelerate 2024 R1版本中,包含了NI RDMA傳輸功能,能夠應(yīng)對(duì)這一挑戰(zhàn)并促進(jìn)數(shù)據(jù)的順暢傳輸。 Ansys AVxcelerate Sensors Software + NI RDMA Ansys與NI(現(xiàn)為愛默生旗下公司)正在合作為HiL驗(yàn)證提供實(shí)時(shí)、物理逼真的高分辨率攝像頭合成數(shù)據(jù),以解決測(cè)試限制問題。為此,他們開發(fā)了一種由NI RDMA和Ansys AVxcelerate Sensors軟件提供支持的閉環(huán)仿真方案,使客戶能夠通過NI實(shí)時(shí)硬件攝像頭接口板將實(shí)際仿真數(shù)據(jù)直接注入受測(cè)器件(DUT)的輸入端口。為了評(píng)估受測(cè)ECU的相關(guān)行為,必須注入準(zhǔn)確的合成數(shù)據(jù),而這就是需要物理精確仿真的主要原因。AVxcelerate軟件基于物理的高保真度仿真,有助于在完全動(dòng)態(tài)的24位原始數(shù)據(jù)圖像中保存完整的場(chǎng)景信息。因此,成像器光譜范圍自適應(yīng)、HDR成像器/DSP仿真和多曝光感知策略都能夠加以應(yīng)用。 在AVxcelerate Sensors應(yīng)用中,可以實(shí)時(shí)生成圖像子集,以獲得快速、可驗(yàn)證的結(jié)果。與使用傳統(tǒng)仿真技術(shù)相比,Ansys軟件可在極短的時(shí)間內(nèi)實(shí)現(xiàn)經(jīng)過驗(yàn)證的攝像頭計(jì)算機(jī)視覺(CV)。 NI RDMA是這個(gè)閉環(huán)系統(tǒng)的一部分,它能夠以低時(shí)延和高帶寬傳輸大量合成數(shù)據(jù),并實(shí)時(shí)托管高分辨率攝像頭饋送。本質(zhì)上,NI RDMA驅(qū)動(dòng)軟件支持兩個(gè)或多個(gè)系統(tǒng)使用RDMA技術(shù)(RoCE)通過融合以太網(wǎng)交換數(shù)據(jù)。它提取了RDMA兼容接口編程的低層細(xì)節(jié),并具有簡單高效的應(yīng)用編程接口(API)來傳輸數(shù)據(jù)。NI還通過開發(fā)軟件開發(fā)套件(SDK)進(jìn)一步擴(kuò)展了這些功能,該套件可與遵循相同開放性和系統(tǒng)兼容性方法的仿真環(huán)境實(shí)現(xiàn)簡單、快速以及與供應(yīng)商無關(guān)的連接。
展開
在傳輸硬件配合的方面,海克斯康工業(yè)軟件VTD與NI達(dá)成深度合作,雙方基于RDMA技術(shù)的應(yīng)用在多傳感器仿真領(lǐng)域取得了較大的進(jìn)展。RDMA(Remote Direct Memory Access),全稱遠(yuǎn)端內(nèi)存直接訪問技術(shù),相對(duì)于傳統(tǒng)的TCP/IP通信具有以下特點(diǎn):</p><p><strong>CPU Bypass</strong></p><p>數(shù)據(jù)傳輸過程中,僅僅使用操作系統(tǒng)建立通道,后續(xù)應(yīng)用程序可繞過CPU直接進(jìn)行消息傳遞。可有效降低CPU負(fù)載,尤其是在多傳感器仿真使用環(huán)境中可有效提升仿真性能,最大限度發(fā)揮CPU自身性能。</p><p><strong>內(nèi)核Bypass</strong></p><p>IO數(shù)據(jù)流程可繞過內(nèi)核,在用戶層完成數(shù)據(jù)準(zhǔn)備后即可直接通知硬件進(jìn)行數(shù)據(jù)的收發(fā),避免系統(tǒng)調(diào)用和上下文切換所帶來的時(shí)間和資源開銷。</p><p><strong>零拷貝</strong></p><p>減少數(shù)據(jù)在存儲(chǔ)區(qū)域之間的頻繁拷貝,無論本地還是遠(yuǎn)端進(jìn)程均可實(shí)現(xiàn)對(duì)于設(shè)備虛擬內(nèi)存的直接訪問,無需復(fù)制到網(wǎng)絡(luò)層,從而有效降低數(shù)據(jù)傳輸?shù)难舆t以及由于拷貝工作帶來的CPU消耗。</p><p><strong>高帶寬</strong></p><p>相較于傳統(tǒng)在工作站上使用的萬兆網(wǎng)口,RDMA網(wǎng)卡可實(shí)現(xiàn)100~200Gb/s的數(shù)據(jù)傳輸帶寬。對(duì)于當(dāng)前高分辨率(4k)相機(jī)、多線固態(tài)激光雷達(dá)傳感器數(shù)據(jù)即時(shí)傳輸來說RDMA網(wǎng)卡提供了傳統(tǒng)以太網(wǎng)接口無法比擬的優(yōu)勢(shì)。</p><p><img src="https://mmbiz.qpic.cn/sz_mmbiz_png/gokLzdV2z0aTW0yEiabwhIicVYvWoZRq0sqOs2riaFp7bpsUuaWc3ZpJTIspMYKGicLFwNsPS5wAZCUz5iaJBHPU1FQ/640?
展開
傳統(tǒng)網(wǎng)絡(luò)中 TCP/IP 堆棧隨著網(wǎng)絡(luò)接入帶寬的增長,對(duì) CPU 的消耗越來越高,HPC 網(wǎng)絡(luò)通常采用 RDMA 技術(shù)對(duì)網(wǎng)絡(luò)減少TCP/IP 堆棧對(duì)計(jì)算節(jié)點(diǎn) CPU 的消耗,降低網(wǎng)絡(luò)傳輸延時(shí)。 RDMA 允許在兩臺(tái)服務(wù)器的內(nèi)存之間直接轉(zhuǎn)移數(shù)據(jù)(參考:詳解RDMA架構(gòu)和技術(shù)原理、談?wù)劯咝阅?em>RDMA網(wǎng)絡(luò)優(yōu)勢(shì)和實(shí)踐和深入淺出全面解析RDMA),而無需任何一臺(tái)服務(wù)器的 CPU 參與(也稱為零拷貝網(wǎng)絡(luò)),因此可實(shí)現(xiàn)更高效的通信。這種處理在支持 RDMA 的網(wǎng)絡(luò)接口卡(NIC)上進(jìn)行,并且會(huì)避開TCP/IP 堆棧,因而加快數(shù)據(jù)轉(zhuǎn)移。如此,就可以直接將數(shù)據(jù)傳送到目標(biāo)服務(wù)器上的遠(yuǎn)程內(nèi)存中,降低用于其他處理的服務(wù)器的 CPUI/O 工作負(fù)載。 傳統(tǒng)的IB交換體系架構(gòu)(參考:Infiniband架構(gòu)和技術(shù)實(shí)戰(zhàn)、InfiniBand高速互連網(wǎng)絡(luò)設(shè)計(jì)的研究和200G HDR InfiniBand有啥不同?)利用了 RDMA 技術(shù)技術(shù),通過業(yè)界最小的轉(zhuǎn)發(fā)延時(shí),為 HPC 提供高性能低延時(shí)的網(wǎng)絡(luò)平臺(tái),但 Infinband交換機(jī)有自己的獨(dú)立架構(gòu)體系和協(xié)議(IB 協(xié)議和規(guī)范): 1. 必須和支持 IB 協(xié)議的設(shè)備進(jìn)行互聯(lián)。 2.Infinband 體系相對(duì)封閉,難以替換。 3. Infinband 體系和傳統(tǒng)網(wǎng)絡(luò)對(duì)接需要單獨(dú)的網(wǎng)關(guān)。 對(duì)于在整體 HPC 計(jì)算平臺(tái)中,存在這大量對(duì)延時(shí)并非絕對(duì)敏感的應(yīng)用,而以昂貴的 IB 交換端口來承載數(shù)目眾多的這些應(yīng)用無形中增加了企業(yè)的計(jì)算成本、維護(hù)成本、管理成本,制約了 HPC 整體系統(tǒng)的擴(kuò)展。
展開
2、零拷貝與低延遲的基石:DMA與RDMA 要實(shí)現(xiàn)“實(shí)時(shí)”注入,數(shù)據(jù)在注入設(shè)備內(nèi)部的搬運(yùn)效率至關(guān)重要。DMA和RDMA正是解決此問題的關(guān)鍵。 DMA (Direct Memory Access):DMA是現(xiàn)代計(jì)算機(jī)系統(tǒng)的基本特性。它允許外設(shè)(如proFRAME板卡)在沒有CPU干預(yù)的情況下,直接與主內(nèi)存進(jìn)行數(shù)據(jù)讀寫。在默認(rèn)的注入流程中,proFRAME從相機(jī)或網(wǎng)絡(luò)獲取數(shù)據(jù)后,通過PCIe總線直接將數(shù)據(jù)寫入由CPU預(yù)先分配好的內(nèi)存緩沖區(qū)(Buffer)。這避免了CPU逐字節(jié)拷貝數(shù)據(jù)的開銷,顯著提升了吞吐量。通常,基于DMA的PCIe Gen3 x8鏈路,可以將延遲控制在1毫秒級(jí)別。 NVIDIA GPUDirect RDMA:GPUDirect RDMA允許將仿真的圖像數(shù)據(jù)直接從NVIDIA GPU發(fā)送到proFrame中,完全無需占用主系統(tǒng)內(nèi)存(RAM)的帶寬,也無需CPU進(jìn)行任何數(shù)據(jù)中轉(zhuǎn)。整個(gè)數(shù)據(jù)鏈路變?yōu)椋篴iSim -> GPU顯存 -> PCIe -> proFRAME 。這消除了內(nèi)存與顯存之間的拷貝開銷,也為CPU節(jié)約了寶貴的內(nèi)存帶寬資源,是構(gòu)建微秒級(jí)延遲注入系統(tǒng)的核心技術(shù)。 3、物理鏈路注入:GMSL2與CSI-2協(xié)議棧 GMSL2 (Gigabit Multimedia Serial Link 2):作為物理層載體,是專為汽車應(yīng)用設(shè)計(jì)的高速串行接口。在仿真注入中,它的角色就是將編碼好的數(shù)字圖像信號(hào),轉(zhuǎn)換為能在物理線纜上傳輸?shù)碾娦盘?hào)。 CSI-2 (Camera Serial Interface 2):CSI-2是在GMSL2之上傳輸?shù)臄?shù)據(jù)協(xié)議。它定義了數(shù)據(jù)如何被組織和打包。
展開
RDMA圖2

RDMA的相關(guān)專題、標(biāo)簽、搜索

RDMA的最新內(nèi)容

NI RDMA是這個(gè)閉環(huán)系統(tǒng)的一部分,它能夠以低時(shí)延和高帶寬傳輸大量合成數(shù)據(jù),并實(shí)時(shí)托管高分辨率攝像頭饋送。本質(zhì)上,NI RDMA驅(qū)動(dòng)軟件支持兩個(gè)或多個(gè)系統(tǒng)使用RDMA技術(shù)(RoCE)通過融合以太網(wǎng)交換數(shù)據(jù)。它提取了RDMA兼容接口編程的低層細(xì)節(jié),并具有簡單高效的應(yīng)用編程接口(API)來傳輸數(shù)據(jù)。
NVIDIA GPUDirect RDMA:GPUDirect RDMA允許將仿真的圖像數(shù)據(jù)直接從NVIDIA GPU發(fā)送到proFrame中,完全無需占用主系統(tǒng)內(nèi)存(RAM)的帶寬,也無需CPU進(jìn)行任何數(shù)據(jù)中轉(zhuǎn)。整個(gè)數(shù)據(jù)鏈路變?yōu)椋篴iSim -> GPU顯存 -> PCIe -> proFRAME 。
“大規(guī)模算力集群暨人工智能公共算力服務(wù)平臺(tái)”是全國首個(gè)國產(chǎn)單池萬卡液冷算力集群,該集群采用新一代國產(chǎn)人工智能(AI)算力,實(shí)現(xiàn)全棧自主創(chuàng)新和技術(shù)突破,通過高速遠(yuǎn)程直接數(shù)據(jù)存取(RDMA)連接各物理機(jī)節(jié)點(diǎn),提供低延時(shí)、高吞吐量、無損通信網(wǎng)絡(luò)和強(qiáng)大的并行計(jì)算能力,擁有目前規(guī)模最大的全國產(chǎn)液冷機(jī)房,多項(xiàng)技術(shù)指標(biāo)領(lǐng)跑全國。
wx_fmt=png&amp;from=appmsg"></p><p><br></p><p>目前海克斯康與NI率先在HIL測(cè)試領(lǐng)域引入了RDMA技術(shù)方案,通過共享內(nèi)存直接讀取的方法實(shí)現(xiàn)了基于RDMA技術(shù)的激光雷達(dá)以及相機(jī)傳感器Raw data數(shù)據(jù)的獲取與傳輸,同時(shí)引入Ecu對(duì)于相機(jī)回控的機(jī)制,從而實(shí)現(xiàn)對(duì)于VTD攝像頭傳感器的故障注入模擬、曝光、白平衡參數(shù)動(dòng)態(tài)調(diào)整等特性;相較于傳統(tǒng)方案,RDMA的應(yīng)用可有效降低仿真工作站
目前海克斯康與NI率先在HIL測(cè)試領(lǐng)域引入了RDMA技術(shù)方案,通過共享內(nèi)存直接讀取的方法實(shí)現(xiàn)了基于RDMA技術(shù)的激光雷達(dá)以及相機(jī)傳感器Raw data數(shù)據(jù)的獲取與傳輸,同時(shí)引入Ecu對(duì)于相機(jī)回控的機(jī)制,從而實(shí)現(xiàn)對(duì)于VTD攝像頭傳感器的故障注入模擬、曝光、白平衡參數(shù)動(dòng)態(tài)調(diào)整等特性;相較于傳統(tǒng)方案,RDMA的應(yīng)用可有效降低仿真工作站cpu在數(shù)據(jù)傳輸工作上的消耗,提升仿真運(yùn)行性能以及數(shù)據(jù)傳輸效率。
運(yùn)行在甲骨文云(OCI)上的北鯤云BurstFS文件系統(tǒng)以3033.03的總數(shù)刷新了 IO-500 基于公有云的存儲(chǔ)系統(tǒng)基準(zhǔn)測(cè)試的記錄——比之前在 2019 年國際超級(jí)計(jì)算大會(huì)上創(chuàng)下的全球最快云上存儲(chǔ)系統(tǒng)WekaIO on AWS得分高出323%,比同樣基于甲骨文云的Oracle Cloud with WEKA on RDMA得分高出485%。
RDMA 是超低時(shí)延網(wǎng)絡(luò)的關(guān)鍵技術(shù),但是由于傳統(tǒng) Socket 編程模型和RDMA Verbs 編程模型差距顯著,導(dǎo)致傳統(tǒng)應(yīng)用遷移到 RDMA 網(wǎng)絡(luò)環(huán)境下需要進(jìn)行大量代碼改造,進(jìn)而給業(yè)務(wù)帶來不確定性風(fēng)險(xiǎn)或者可靠性風(fēng)險(xiǎn),因此使用RDMA Socket 適配層屏蔽底層 RDMA 原語,向上對(duì)接 Socket 接口成為必然趨 勢(shì),通過標(biāo)準(zhǔn)化的適配層,可以實(shí)現(xiàn)傳統(tǒng) Socket 應(yīng)用無縫遷移到 RDMA
互聯(lián)網(wǎng)產(chǎn)業(yè)依賴的數(shù)據(jù)中心的核心技術(shù),諸如 Hadoop 等并行編程工具和 RDMA 等遠(yuǎn)程通信技術(shù)大多脫胎于此。因此,高性能計(jì)算機(jī)被視為計(jì)算機(jī)科學(xué)與工程的“皇冠”。各國均頻繁從國家層面啟動(dòng)研制計(jì)劃。在中國多次上榜全球高性能計(jì)算 TOP500 后,美國自2015 年起將多所中國高性能計(jì)算相關(guān)機(jī)構(gòu)或企業(yè)列入實(shí)體清單,包括國防科大、無錫江南計(jì)算技術(shù)研究所、曙光、申威等。
多端型測(cè)試系統(tǒng)模型主要用于模擬基于 DPU 構(gòu)建的數(shù)據(jù)中心,通過復(fù)雜的網(wǎng)絡(luò)將 眾多 DPU 系統(tǒng) (功能相同或者不同) 互連起來,從而測(cè)試基于 DPU 系統(tǒng)實(shí)現(xiàn)的網(wǎng)絡(luò)、存儲(chǔ)或安全加速應(yīng)用的真實(shí)性能,如NVMe-oF 讀取不同結(jié)點(diǎn)存儲(chǔ)系統(tǒng)的存儲(chǔ)資源、RDMA訪問不同結(jié)點(diǎn)的資源。
RDMA 允許在兩臺(tái)服務(wù)器的內(nèi)存之間直接轉(zhuǎn)移數(shù)據(jù)(參考:詳解RDMA架構(gòu)和技術(shù)原理、談?wù)劯咝阅?em>RDMA網(wǎng)絡(luò)優(yōu)勢(shì)和實(shí)踐和深入淺出全面解析RDMA),而無需任何一臺(tái)服務(wù)器的 CPU 參與(也稱為零拷貝網(wǎng)絡(luò)),因此可實(shí)現(xiàn)更高效的通信。這種處理在支持 RDMA 的網(wǎng)絡(luò)接口卡(NIC)上進(jìn)行,并且會(huì)避開TCP/IP 堆棧,因而加快數(shù)據(jù)轉(zhuǎn)移。