CUDA
關(guān)注創(chuàng)建者：Hs小畢 創(chuàng)建時(shí)間：2024-07-20
CUDA的實(shí)例教程
文中使用的 “CUDA”、“Nsight” 及架構(gòu)代號(hào)均為 NVIDIA 的商標(biāo)，僅用于事實(shí)性描述。
課程核心技能
- GPU 與 CPU 基礎(chǔ)：GPU 為何在數(shù)據(jù)并行任務(wù)中占優(yōu)勢(shì)
- 架構(gòu)代際演進(jìn)：對(duì)性能影響最大的硬件特性
- CUDA Toolkit 安裝：Windows、Linux、WSL 環(huán)境配置與首次運(yùn)行驗(yàn)證
- CUDA 核心概念：線程（thread）、塊（block）、網(wǎng)格（grid）、內(nèi)存層次結(jié)構(gòu)，并通過(guò)向量加法等實(shí)驗(yàn)鞏固
- 使用 Nsight Compute / nvprof 進(jìn)行性能分析與調(diào)優(yōu)：測(cè)量占用率（occupancy）、隱藏延遲、定位性能瓶頸
- 矩陣二維索引：編寫(xiě)高效的線性代數(shù)內(nèi)核
- 優(yōu)化方法：處理非 2 的冪數(shù)據(jù)、利用共享內(nèi)存、最大化帶寬、最小化 warp 分化
- 調(diào)試與錯(cuò)誤處理：使用運(yùn)行時(shí) API 檢查，編寫(xiě)可交付的穩(wěn)健代碼
課程收獲
完成課程后，學(xué)習(xí)者將能夠設(shè)計(jì)、分析并調(diào)優(yōu)在現(xiàn)代 GPU 上高效運(yùn)行的 CUDA 內(nèi)核，具備處理科學(xué)計(jì)算、工程計(jì)算與 AI 任務(wù)的能力。
5. 適用人群
- 對(duì) GPU 與 CUDA 感興趣的學(xué)習(xí)者
- 工程專(zhuān)業(yè)學(xué)生、研究人員及其他相關(guān)從業(yè)
Mastering GPU Parallel Programming with CUDA: ( HW & SW )
展開(kāi) 在美國(guó)德克薩斯州舉行的超級(jí)計(jì)算大會(huì)(SC08)上，Wolfram Research宣布新版通用計(jì)算軟件Mathematica 7將支持NVIDIA CUDA GPU并行計(jì)算技術(shù)。
據(jù)稱(chēng)，融入CUDA技術(shù)的Mathematica 7可以在數(shù)學(xué)運(yùn)算、建模、模擬和視覺(jué)計(jì)算等方面獲得10倍甚至100倍的性能提升，而且不需要用戶(hù)另外學(xué)習(xí)或者編寫(xiě)C語(yǔ)言代碼。
配合NVIDIA同時(shí)發(fā)布的Tesla個(gè)人超級(jí)計(jì)算機(jī)，Mathematica 7可以在桌面上執(zhí)行復(fù)雜的數(shù)據(jù)計(jì)算任務(wù)，免除了編寫(xiě)原生C程序或等待公共集群的麻煩，為研究人員節(jié)省大量的工作時(shí)間。
支持CUDA加速的新版Mathematica 7將在2009年第一季度提供，而剛剛發(fā)布的普通版Mathematica 7已經(jīng)面世，在12個(gè)應(yīng)用領(lǐng)域增加了500多個(gè)新功能，包括圖像處理、并行高性能計(jì)算、矢量場(chǎng)視覺(jué)化、布爾數(shù)學(xué)體系運(yùn)算、統(tǒng)計(jì)模式分析等等。
Mathematica可以說(shuō)是世界上最強(qiáng)大的通用計(jì)算系統(tǒng)，自1988年首次發(fā)布以來(lái)已經(jīng)擁有數(shù)百萬(wàn)用戶(hù)，對(duì)如何在科技和其它領(lǐng)運(yùn)用計(jì)算機(jī)有著深刻的影響，并成為許多機(jī)構(gòu)的標(biāo)準(zhǔn)工具，比如財(cái)富50強(qiáng)的所有公司、美國(guó)政府15個(gè)主要機(jī)構(gòu)、全球最大的50所大學(xué)等等。
Mathematica 7支持Windows 2000/XP/Vista、Mac OS X、Linux x86、Solaris、UltraSPARC/x86等平臺(tái)，建議零售價(jià)2495美元(北美)或3120美元(亞洲)，還提供1095/1315美元的教育版和140美元的學(xué)生版。
10臺(tái)頂級(jí)8核服務(wù)器速度-Tesla個(gè)人超級(jí)計(jì)算機(jī)
并行計(jì)算王者－Tesla個(gè)人超級(jí)計(jì)算機(jī)硬件配置
展開(kāi) ??
COMSOL Multiphysics 6.3 安裝程序的屏幕截圖，其中包含產(chǎn)品頁(yè)面打開(kāi)，并突出顯示 CUDA DNN 支持復(fù)選框。
第 2 步：選項(xiàng)頁(yè)面
Options （選項(xiàng)） 頁(yè)面的 CUDA 部分包含一個(gè) CUDA Directory 字段，用于 CUDA Toolkit 安裝路徑。在大多數(shù)情況下，在啟動(dòng) COMSOL Multiphysics 安裝程序之前安裝 CUDA 工具包會(huì)設(shè)置環(huán)境變量，讓安裝程序自動(dòng)檢測(cè)此路徑。如果未自動(dòng)檢測(cè)到正確的 CUDA Toolkit 目錄，則可以在安裝程序中設(shè)置路徑，或者在安裝完成后在 Preferences （首選項(xiàng)） 窗口設(shè)置中更改路徑。?
COMSOL Multiphysics 6.3 安裝程序的屏幕截圖，其中包含選項(xiàng)頁(yè)面打開(kāi)，并在 CUDA Directory 字段中顯示默認(rèn) CUDA Toolkit 安裝路徑。
在 COMSOL Multiphysics 中驗(yàn)證 CUDA 工具包的安裝?
安裝并配置 COMSOL Multiphysics 和 CUDA 工具包后，您可以通過(guò)啟動(dòng) COMSOL Multiphysics 并打開(kāi)首選項(xiàng)窗口來(lái)驗(yàn)證您的安裝。通過(guò)轉(zhuǎn)到 File 菜單并選擇 Preferences 來(lái)執(zhí)行此作。從那里，您可以導(dǎo)航到 Computing 部分，然后單擊 GPU Acceleration 頁(yè)面。最后，單擊 Verify CUDA 安裝 按鈕。???
這偏好窗口中，帶有??驗(yàn)證 CUDA 安裝對(duì)話(huà)框是否打開(kāi)。
展開(kāi) __version__)
(2) 檢查是否可使用CUDA
torch.cuda.is_available()
(3) 檢查CUDA版本
torch.version.cuda
(4) 檢查有幾個(gè)GPU
torch.cuda.device_count()
(5) 檢查目前的GPU
torch.cuda.current_device()
(6) 檢查目前GPU的設(shè)備名稱(chēng)
torch.cuda.get_device_name(torch.cuda.current_device())
(7) 檢查內(nèi)存
torch.cuda.memory_allocated(0)/1024**3torch.cuda.memory_reserved(0)/1024**3
5 結(jié)束語(yǔ)
目前的配置如下: PyTorch 版本1.9.0+cu102，只有1個(gè)GPU, 設(shè)備名稱(chēng)GeForce GTX 1660 SUPER, 顯存6G。查了一下，發(fā)現(xiàn)這是2019年10月推出的產(chǎn)品，目前的市場(chǎng)價(jià)格大約在1600元。接下來(lái)我們的訓(xùn)練模型將在GPU上運(yùn)行，但不知速度能提高多少。
展開(kāi) AMD states that “HIP code can run on AMD hardware (through the HCC compiler) or Nvidia hardware (through the NVCC compiler) with no performance loss compared with the original CUDA code.”
AMD 異構(gòu)計(jì)算可移植接口 (HIP) 是一種 C++ 方言。 AMD 工具包括“HIPify 工具”，可幫助將 CUDA 代碼轉(zhuǎn)換為 HIP。 AMD 表示，“HIP 代碼可以在 AMD 硬件（通過(guò) HCC 編譯器）或 Nvidia 硬件（通過(guò) NVCC 編譯器）上運(yùn)行，與原始 CUDA 代碼相比，不會(huì)有任何性能損失。”
HIP is a “follow CUDA” strategy – i.e., where AMD develops an update to HIP as quickly as possible after Nvidia has released an update to its CUDA platform. The arguments in favor of HIP rest on the virtue of reuse of a large CUDA codebase for AMD GPUs. Unfortunately, given the opaqueness of CUDA no one can follow CUDA too closely, timely, or accurately.
展開(kāi) 
CUDA的相關(guān)專(zhuān)題、標(biāo)簽、搜索
CUDA的最新內(nèi)容
embarrassingly parallel（尷尬并行），各設(shè)計(jì)點(diǎn)完全獨(dú)立，天然適合多核/多機(jī)并行
階段二：代理模型訓(xùn)練——GPU秀場(chǎng)
DNN訓(xùn)練涉及前向傳播、損失計(jì)算（MSE）、反向傳播（Adam/L-BFGS）、權(quán)重更新
網(wǎng)絡(luò)結(jié)構(gòu)可自定義：如MEMS案例中的 [8,64,64,32,16,6]（8輸入→64→64→32→16→6輸出）
計(jì)算特征：矩陣運(yùn)算密集，NVIDIA CUDA
適用人群
- 對(duì) GPU 與 CUDA 感興趣的學(xué)習(xí)者
- 工程專(zhuān)業(yè)學(xué)生、研究人員及其他相關(guān)從業(yè)
Mastering GPU Parallel Programming with CUDA: ( HW & SW )
文檔目錄為：
一、使用限制與要求
二、檢查電腦 CUDA 支持版本
三、下載適配版本的 CUDA Toolkit
四、CUDA Toolkit 安裝步驟
五、CUDA 與 Abaqus 關(guān)聯(lián)配置
六、Abaqus 中啟用 GPU 加速與效果驗(yàn)證
七、常見(jiàn)問(wèn)題與注意事項(xiàng)
八、其他
我們與新思科技攜手將英偉達(dá) CUDA-X、Omniverse 和人工智能技術(shù)與新思科技從芯片到系統(tǒng)工程解決方案相結(jié)合，重構(gòu)人工智能時(shí)代的工程藍(lán)圖，并將日益增長(zhǎng)的復(fù)雜性挑戰(zhàn)轉(zhuǎn)化為強(qiáng)大的優(yōu)勢(shì)。
NVIDIA RTX PRO Blackwell 桌面級(jí) GPU產(chǎn)品介紹
徐超 | NVIDIA RTX PRO 中國(guó)區(qū)產(chǎn)品經(jīng)理
內(nèi)容簡(jiǎn)介：隨著AI大潮，在全新一代Blackwell架構(gòu)的NVIDIA RTX PRO產(chǎn)品上，除了傳統(tǒng)的圖形處理相關(guān)能力的進(jìn)一步提升，也在系統(tǒng)架構(gòu)的硬件組件和軟件驅(qū)動(dòng)等各個(gè)角度，增強(qiáng)了對(duì)AI相關(guān)運(yùn)算的支持，并創(chuàng)新性的擁有了有AI增強(qiáng)的代際性的全新CUDA
Anaconda 中 XGBoost 的安裝教程4個(gè)月前
</span>GPU 版本兼容性問(wèn)題：確保 CUDA 版本與 XGBoost 支持的版本匹配（可參考 XGBoost 官方文檔）。
CUDA GPU 加速計(jì)算正在重塑芯片設(shè)計(jì)方式，實(shí)現(xiàn)從原子到晶體管、從芯片到完整系統(tǒng)的前所未有的仿真速度與規(guī)模，在計(jì)算機(jī)中創(chuàng)建功能完備的數(shù)字孿生。我們與新思科技的合作，將充分發(fā)揮英偉達(dá)加速計(jì)算與 AI 的力量，重新定義工程與設(shè)計(jì)，賦能開(kāi)發(fā)者創(chuàng)造塑造未來(lái)的創(chuàng)新產(chǎn)品。
該框架集成了英偉達(dá) Omniverse 庫(kù)、英偉達(dá) CUDA-X 庫(kù)、微軟 Azure 以及加速的新思科技物理引擎，已證實(shí)能夠近乎實(shí)時(shí)地優(yōu)化灌裝包裝生產(chǎn)線，并拓展了仿真技術(shù)驅(qū)動(dòng)洞察的應(yīng)用范圍。
該開(kāi)源框架作為實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型的藍(lán)圖，集成了 GPU 原生的 Ansys Fluent? 流體仿真軟件，其集成了英偉達(dá) Omniverse 庫(kù)和云計(jì)算，進(jìn)而實(shí)現(xiàn)可擴(kuò)展部署。
span style="background-color: rgba(1, 0, 0, 0);"> 提供多種計(jì)算后端以適配不同硬件環(huán)境，包括：</span></p><ul><li class="ql-indent-1">CPU 并行后端（OpenMP、Threading Building Blocks 等）</li><li class="ql-indent-1">GPU 加速后端（CUDA
——所有內(nèi)容均使用Python實(shí)現(xiàn)，兼顧清晰度與靈活性
四、課程描述
通過(guò)Python和PyTorch從零構(gòu)建完整的3D高斯?jié)姙R（3DGS）流水線，解鎖這項(xiàng)前沿神經(jīng)渲染技術(shù)的全部潛力——無(wú)需CUDA，無(wú)需依賴(lài)復(fù)雜庫(kù)，只需清晰、模塊化且適合研究的代碼。
