精通 GPU 并行編程（CUDA）：硬件與軟件

- 最近更新時間：2025 年

- 語言：英語 + 字幕

- 課時：50講，共 20小時

- 文件大?。?5GB

 

2. 課程目標(biāo)

 

- 全面理解 GPU 與 CPU 架構(gòu)差異

- 學(xué)習(xí) GPU 的發(fā)展歷史，從早期到最新產(chǎn)品

- 理解 GPU 的內(nèi)部結(jié)構(gòu)

- 理解不同類型的內(nèi)存及其對性能的影響

- 了解 GPU 內(nèi)部組件的最新技術(shù)

- 掌握 CUDA 編程基礎(chǔ)

- 在 Windows 與 Linux 平臺上使用 CUDA 進(jìn)行 GPU 編程

- 學(xué)習(xí)高效并行化方法

- 性能分析與調(diào)優(yōu)（Profiling and Performance Tuning）

- 利用共享內(nèi)存（Shared Memory）提升性能

 

3. 課程前置要求（Requirements）

 

- C 與 C++ 基礎(chǔ)

- Linux 與 Windows 基礎(chǔ)操作

- 計算機(jī)體系結(jié)構(gòu)基礎(chǔ)

 

4. 課程描述（Description）

 

本課程采用實(shí)踐教學(xué)，指導(dǎo)學(xué)習(xí)者使用 CUDA 釋放現(xiàn)代 GPU 的強(qiáng)大并行計算能力。課程從 GPU 硬件基礎(chǔ)開始，梳理主流架構(gòu)的演進(jìn)（Fermi → Pascal → Volta → Ampere → Hopper），并通過代碼實(shí)驗(yàn)逐步學(xué)習(xí)如何編寫、分析與優(yōu)化高性能內(nèi)核。

 

說明：這是一個獨(dú)立的培訓(xùn)資源，不隸屬于 NVIDIA 公司。文中使用的 “CUDA”、“Nsight” 及架構(gòu)代號均為 NVIDIA 的商標(biāo)，僅用于事實(shí)性描述。

 

課程核心技能

 

- GPU 與 CPU 基礎(chǔ)：GPU 為何在數(shù)據(jù)并行任務(wù)中占優(yōu)勢

- 架構(gòu)代際演進(jìn)：對性能影響最大的硬件特性

- CUDA Toolkit 安裝：Windows、Linux、WSL 環(huán)境配置與首次運(yùn)行驗(yàn)證

- CUDA 核心概念：線程（thread）、塊（block）、網(wǎng)格（grid）、內(nèi)存層次結(jié)構(gòu)，并通過向量加法等實(shí)驗(yàn)鞏固

- 使用 Nsight Compute / nvprof 進(jìn)行性能分析與調(diào)優(yōu)：測量占用率（occupancy）、隱藏延遲、定位性能瓶頸

- 矩陣二維索引：編寫高效的線性代數(shù)內(nèi)核

- 優(yōu)化方法：處理非 2 的冪數(shù)據(jù)、利用共享內(nèi)存、最大化帶寬、最小化 warp 分化

- 調(diào)試與錯誤處理：使用運(yùn)行時 API 檢查，編寫可交付的穩(wěn)健代碼

 

課程收獲

 

完成課程后，學(xué)習(xí)者將能夠設(shè)計、分析并調(diào)優(yōu)在現(xiàn)代 GPU 上高效運(yùn)行的 CUDA 內(nèi)核，具備處理科學(xué)計算、工程計算與 AI 任務(wù)的能力。

 

5. 適用人群

 

- 對 GPU 與 CUDA 感興趣的學(xué)習(xí)者

- 工程專業(yè)學(xué)生、研究人員及其他相關(guān)從業(yè)

Mastering GPU Parallel Programming with CUDA: ( HW & SW )