并行編程的案例
精通 GPU 并行編程（CUDA）：硬件與軟件 ￥20
精通 GPU 并行編程（CUDA）：硬件與軟件
- 最近更新時間：2025 年
- 語言：英語 + 字幕
- 課時：50講，共 20小時
- 文件大小：15GB
2. 課程目標
- 全面理解 GPU 與 CPU 架構差異
- 學習 GPU 的發展歷史，從早期到最新產品
- 理解 GPU 的內部結構
- 理解不同類型的內存及其對性能的影響
- 了解 GPU 內部組件的最新技術
- 掌握 CUDA 編程基礎
- 在 Windows 與 Linux 平臺上使用 CUDA 進行 GPU 編程
- 學習高效并行化方法
- 性能分析與調優（Profiling and Performance Tuning）
- 利用共享內存（Shared Memory）提升性能
3. 課程前置要求（Requirements）
- C 與 C++ 基礎
- Linux 與 Windows 基礎操作
- 計算機體系結構基礎
4. 課程描述（Description）
本課程采用實踐教學，指導學習者使用 CUDA 釋放現代 GPU 的強大并行計算能力。課程從 GPU 硬件基礎開始，梳理主流架構的演進（Fermi → Pascal → Volta → Ampere → Hopper），并通過代碼實驗逐步學習如何編寫、分析與優化高性能內核。
說明：這是一個獨立的培訓資源，不隸屬于 NVIDIA 公司。
展開 大規模工程計算解決方案-并行計算編程高級培訓班
目前各研究機構多核并行程序開發不足，隨著多核硬件技術發展，在硬件設備上存在不同程度的利用不足。通過加強并行程序的設計與開發，研究機構可以充分的利用現有設備資源提高工作效率，降低時間成本，實現更大規模的計算。中國科學院計算技術研究所教育中心依托自身強大優勢，特舉辦“大規模工程計算解決方案-并行計算編程”高級培訓班，相關具體事宜通知如下 ：
一、培訓目標：
1、現有硬件資源最大化利用
2、提高并行程序設計與開發水平；
3、實際體驗超級計算環境；
4、提供符合自身特點的工程計算解決方案：
三、課程實操：
學員體驗曙光6000高性能計算機環境，在改并行機群上編譯、調試和運行教學例子，并在最多達128個核規模下測試和分析程序的擴展性和性能。
四、時間地點:2012年11月29日
— 2012年12月02日
北 京（時間安排：第一天報到、授課三天）
課
程
內
容
第一章：基本的MPI編程技術
1．高性能計算概述
2．簡單的MPI程序設計
3．如何運行MPI程序
上機實操課程
應用實例
1．MPICH的安裝、程序編譯與運行。
2．Hello world程序的編寫
3. 循環消息傳遞程序的編寫。
第二章：高級MPI編程技術
1．定義新的數據類型
2．非阻塞通信
3．各種組通信
上機實操課程
應用實例
1．4種產生新數據類型的方法
；
2．各種非阻塞的發送與接收操作
3 最常見的幾種組通信操作。
展開 Wolfram gridMathematica
無論您需要處理大規模并行任務，或是提高性能，您都可以在需要時快速地達到您的目的。
gridMathematica 提供：
全部 Mathematica 功能的網格部署，包括先進的、超快的數值進程、圖像處理、統計和金融功能。它甚至還支持對 GPU 的遠程訪問以及并行 C 代碼的分布式生成與編譯。所有在Mathematica 中可以完成的任務，都可以在網格上實現。
高級并行編程語言，實現絕大多數通訊、同步、數據傳輸和錯誤修復的自動化處理，這些操作往往使網格計算難以設置。在自動化串行數據傳輸下，您可以將任意結構化數據和程序發送到遠程機器上，而無需配置通用文件系統。
支持高性能計算標準，包括集群管理系統 Altair PBS Professional、Microsoft Windows Compute Cluster Server、Microsoft HPC Server、Platform LSF 和 Sun Grid Engine，而且還包括面向無需集群管理的系統的 Wolfram Lightweight Grid 軟件。同時支持千兆和高速網絡，以及 CUDA 和 OpenCL GPU 硬件。
常見問答
并行計算
并行計算能否使我所有的 Mathematica 程序運行得更快？
否，它僅能加快使用 Mathematica 語言中并行函數編寫的程序，并僅適用于并行處理任務。查看教程，以獲取詳細信息。另外，在可能的情況下，有些內置 Mathematica 命令將使用 gridMathematica。
能否不使用 gridMathematica 進行并行計算？
可以。從 Mathematica 7 開始，每個 Mathematica 許可證都包括了所有并行編程工具、一個控制內核和四個計算內核。
展開 PGI Fortran 編譯器
PGI Visual Fortran包括最新版的PGI本機OpenMP，以及支持FORTRAN77和Fortran95編程語言的自動并行化編譯器，主要特性包括一整套:
由面向Fortran的文本編輯器、Fortran本征函數提示和選擇關鍵字組成的Visual Studio Fortran項目系統； Fortran 應用程序自定義創建引擎；
自定義調試引擎，提供Fortran所需的語言專用調試功能；
支持單線程、多線程及OpenMP并行應用程序調試；
兼容Microsoft Visual C++ 2008；
支持調試PGI Fortran和Visual C++ 2005的混合應用程序
PGI的編譯器及開發工具都具有如下特性：完全本機支持OpenMP并行編程擴展、在多核心處理器上的自動并行化、完全支持64位尋址、本機集成標量和矢量SSE/SSE2/SSE3代碼生成，以及PGI 世界領先的優化基礎設施。
PGI Visual Fortran是為64位的AMD64和英特爾的EM64T及32位的x86處理器高度優化的，其創建PGI Unified Binary?的功能是業內獨一無二的。PGI Unified Binary?是一個能夠在兩個處理器平臺上運行的可執行文件，內含針對AMD64和EM64T處理器優化的代碼序列。PGI Unified Binary使獨立軟件開發商(ISV)和自定義應用程序開發人員認識到一個64位平臺的優點，同時還能充分利用英特爾和AMD公司開帶來的最新創新技術
展開 
RISC-V在快速發展的處理器生態系統中找到立足點
中國的RISC-V社區也在領導一項基層工作，將ROCm（AMD的并行編程框架）的支持引入RISC-V處理器。AMD沒有回應有關其是否參與將ROCm移植到RISC-V的評論請求。
正文完
About HS-2
HS-2 RISC-V通用主板是澎峰科技與合作伙伴共同研發的一款專為開發者設計的標準mATX主板，它預裝了澎峰科技為RISC-V高性能服務器定制開發的軟件包，包括各種標準bencmark、支持V擴展的GCC編譯器、計算庫、中間件以及多種典型服務器應用程序。
HS-2 RISC-V通用主板搭載了一顆國產RISC-V 64核處理器（SG2042）。SG2042是目前已量產的性能最高的RISC-V處理器，主要針對高性能計算領域需求設計，適用于科學計算、工程計算、AI計算、融合計算等大算力應用場景。
展開 Rocky離散元軟件
DEM技術在很大程度上依賴于計算機能力和高效的現代并行編程技術，近年來隨著計算機技術的進步得到了很大的發展，DEM成為工程模擬中實用的工具。
Rocky是由Granular Dynamics International, LLC和Engineering Simulation and Scientific Software Company (ESSS)公司共同開發 的功能強大的DEM軟件包。它是一個共享內存的并行軟件，能夠快速解決顆粒動力學問題。
特色功能
在商業DEM軟件中，Rocky的獨特之處在于：
考慮了真正的非球形顆粒形狀
在不損失質量和體積的情況下模擬破碎的能力
能考慮磨損的邊界表面形狀變化的影響
粘性接觸和干接觸流變學
3D表面磨損修改
振動邊界
與ANSYS軟件集成
360°全景視角轉換
典型應用
該軟件首先在采礦工業中有大量的應用，目前也擴展到許多其它固體顆粒流動的問題中。
圖1 Rocky軟件中可用的顆粒形狀
Rocky具有幾個獨特的功能。首先，Rocky是根據實際的工程問題開發而來。用戶從軟件中得到的信息不僅僅包括漂亮的圖片和視頻，還包括對工程師來說一些非常重要的參數。這些參數包括運動機構的功率、切變和沖擊磨損、力、流速等。軟件包含的物理模型都經過公司內部的咨詢項目和世界各地用戶的實際案例測試過。
Rocky軟件另一個重要的特點是模擬非圓形顆粒的能力。其它DEM軟件依靠球形集群，但是在Rocky軟件中，你在屏幕上看到的形狀就是模擬中的實際形狀。這使我們能夠模擬的形狀更接近現實，且沒有質量和體積損失的情況下正確的模擬顆粒破碎，在球形顆粒中是不能達到的。Rocky中可以模擬的顆粒形狀如圖1所示。
展開 部署Windows HPC，并實現在Ansys 中向Win HPC提交作業 ￥68
從1996年開始，實現高性能計算的方法是并行計算，就是用很多臺計算機同時計算一個事情，每個計算機計算其中的一部分，其核心是MPI（Message Passing Interface，信息傳遞接口）。MPI標準定義了一組編程接口，可以在進程之間通信，能實現并行編程。
目前國內的超級計算機，如“太湖之光”等，都是基于MPI運行。歷史上也有不少大公司推出了自己的MPI實現，如IBM Platform MPI（PMPI，最新版本V9，已經停止維護，Ansys支持）、Intel MPI（最新2021版，Ansys支持）、Microsoft MPI（MS-MPI，最新V10,2023年，已開源）、MPI CH2（開源）等，其中免費或開源的MPI其并行的節點數量可能會有限制。
為了實現多節點并行計算，除了MPI外，還需要調度器軟件，對計算資源（如處理器核心、內存等）進行管理和分配。不少公司也開發了相應的作業調度系統，如PBS （Portable Batch System， Altair，用于Linux系統）、LSF（Load Sharing Facility，由IBM開發，用于Linux系統），此外還有其他開源調度器，如Sun Microsystem（Sun Grid Engine）等。
2004年，微軟成立了高性能計算產品組，比爾·蓋茨的目標是“讓每個科技人員都有高性能計算機”。《微軟高性能計算服務器》這本書的作者徐明強，就是在2004年加入微軟的。微軟在美國阿岡國家實驗室開放源代碼的MPI2的基礎上開發了MS-MPI 標準，其最大特點是與微軟HPC Pack、Windows Server無縫連接，大大簡化了部署HPC的步驟。
3、什么自己做HPC？
主要原因還是窮，各種云端的計算資源太貴不適合個人用。
展開 UNAT加速庫：突破異構計算瓶頸，實現跨平臺高效仿真
與此同時，并行編程模型同樣呈現多樣化的趨勢，包括用于GPU加速的CUDA、跨硬件的OpenCL、加速CPU和GPU的OpenACC、共享內存的OpenMP以及跨節點并行的MPI等編程語言。在工業仿真領域，多種數據結構并存，如結構網格和非結構網格等，都對異構計算提出了更高的要求。
目前較為流行的性能可移植加速庫為Kokkos，其C++庫巧妙地統一了細粒度數據并行和內存訪問模式的抽象，使得應用程序和函數庫能在不同的眾核架構上實現性能的可移植。Kokkos解決了異構節點上編程模型不統一的問題，并通過運用C++特性定義接口，極大簡化了編程接口。GraphBLAS則是統一不同數據結構和算法領域的代表者，它采用了類BLAS庫的矩陣、向量算子接口，不同之處在于允許用戶自定義類型及類型相關的算子，相對傳統數學庫大大擴展了可用性。GraphBLAS屏蔽了底層數據結構的接口，為上層應用開發者減輕了負擔，同時也為數據結構、算法與硬件架構的協同優化提供了更多空間。
Kokkos應用場景
GraphBLAS中矩陣的圖抽象
鑒于上述因素，針對非結構網格開展屏蔽硬件架構差異、封裝數據結構和算法實現細節的統一加速庫開發工作顯得尤為重要。為此，我們提出了一個名為UNAT（UNstructured Acceleration Toolkit）的性能可移植統一加速庫。UNAT充分吸收了KOKKOS統一硬件抽象和GraphBLAS接口統一等方面的優勢，并借鑒了非結構加速套件的成功實踐經驗。目前，UNAT已經實現了在神威、x86平臺上的數值模擬應用低代碼加速開發和高效計算。
一、過往取得的豐碩成果
在工業仿真領域，主要包括兩種數據結構——結構化網格和非結構網格。
展開 有限元網格自動生成的并行區域劃分算法
(a) R=2 (b) R=3
圖 2 共點控制
該區域劃分算法的特點是：并行任務的負載平衡程度由δ調節；所有分割點都定位在區域的邊界上，因為每次分割剩下的子域只有一條邊是在分割過程中新加入的分割線，無論選取這條邊的哪個端點作為X，X和Y總是落在區域的邊界上，有效地滿足了邊界最簡原則,；通過R靈活控制分割線共點率，消除極點，保證網格均勻度.
2、并行實現
本文研究的并行區域劃分算法已在曙光1000A系統上實現.根據曙光1000A系統目前的條件和特點，選取PVM作為并行編程環境，分三個步驟實現有限元網格的并行生成：首先，由node1上的master任務程序檢測當前PVM中的結點數N，運用區域劃分算法分解待處理的區域為N個子區域，將各子區域分配到各node上；然后，并行執行各處理器上的slave任務程序，在各子區域中生成均勻網格；最后，由node1上的master任務程序收集、組裝在各處理器上生成的子區域網格.這里，采用了動態負載平衡策略——farm模式，但有一點與通常情況下不同：為了提高處理器利用率，node1在子區域分配過程中也分得一個子區域，所以，在數據分配之后，子區域網格傳回之前，主處理器也不空閑.
展開 被忽視的國之重器：高性能計算那些事兒
高性能計算不是簡單的 CPU 堆砌，體系結構設計、高速互聯網絡、并行文件系統、儲存列陣等方面如果有所欠缺，即使堆再多的 CPU，高性能計算性能也無法提高。隨著計算能力的增強、應用課題規模和復雜度的增加，高性能計算機對并行文件系統等性能要求越來越高。高性能計算的技術溢出效益非常明顯。由于服務器可以平滑地采用高性能計算的互聯技術、CPU 技術、操作系統技術和并行軟件設計等技術，在高性能計算方面的積累能夠自然地溢出到服務器產業。
高性能計算主要應用于哪些場景？
高性能計算適用于需要并行運算的任務，應用場景持續拓展。高性能計算主要應用場景分為兩類，一類是飛行器設計、核模擬實驗、星云模擬、解密碼等數值模擬場景，一類是大數據分析、統計和人工智能等數據分析場景。由于飛行器等工程設計中很多情況無法實測，只能進行計算模擬，因此美國對出口高性能計算十分謹慎。高性能計算應用正在從過去的高精尖向更廣更寬的方向發展。隨著高性能計算的發展，尤其是使用成本的不斷下降，其應用領域也從具有國家戰略意義的核武器研制、信息安全、石油勘探等科學計算領域向更廣泛的國民經濟主戰場快速擴張，比如制藥、基因測序、動漫渲染、數據挖掘、金融分析以及互聯網服務等等。
從 2021 年 11 月中國高性能計算機 TOP100中的行業應用領域 Linpack 性能份額來看，算力服務、高性能計算中心、人工智能、科學計算等領域是高性能計算的主要用戶，互聯網大數據特別是 AI 領域增長強勁。
高性能計算的市場空間有多大？
十四五和新基建驅動高性能計算進入快速增長期。2021 年 3 月，我國“十四五規劃”中明確提出，要“加快構建全國一體化大數據中心體系，強化算力統籌智能調度，建設若干國家樞紐節點和大數據中心集群，建設 E 級和 10E 級超級計算中心。”
展開 （轉載）分布計算 | 大數據機器學習系統研究進展
針對大數據機器學習系統需要重點研究解決的計算性能以及可編程性與易用性問題，并考慮上述的跨平臺需求特性，南京大學PASA大數據實驗室正在研究設計一個跨平臺大數據機器學習的統一編程模型和系統平臺。該系統基于矩陣編程計算模型，結合R編程語言和編程方法，設計提供一個跨平臺的統一編程計算框架，最終研究實現一個跨平臺大數據機器學習系統Octopus（大章魚）。
分析發現，機器學習和數據挖掘算法中的主體計算大多可表示為矩陣或向量運算，這通常也是算法中最耗時的部分。矩陣操作也是機器學習研究者用來描述問題和算法最為自然和常用的方式，基于矩陣可以表示和刻畫大多數實際應用中涉及的機器學習和數據分析算法問題。基于這樣的事實，為了給大數據機器學習和數據分析提供一種自然和統一的編程計算模型和編程方法，類似于MapReduce中基于數據記錄列表的抽象編程計算模型，將研究建立一種基于矩陣模型的抽象編程計算模型，以此作為大數據機器學習和數據分析算法設計的統一編程計算模型和接口。
Octopus是一個高層的大數據機器學習和數據分析統一編程模型和系統平臺，允許數據分析和大數據應用開發程序員輕松地設計和開發各種大數據機器學習和數據分析算法與應用程序。通過提供基于矩陣的統一編程計算模型，使用基于R語言的數據分析程序設計語言和程序設計方法，允許用戶方便地編寫和運行常規的R語言程序，而無需了解底層大數據平臺的分布和并行化編程計算知識，使底層的分布并行計算框架和大數據平臺對用戶完全透明；底層平臺上，通過良好的系統層抽象，可以快速集成Hadoop和Spark等通用大數據并行計算框架和系統平臺，而且程序僅需編寫一次，不需要有任何修改即可根據需要選擇并平滑運行于任何一個平臺，從而實現“WriteOnce，Run Anywhere”的跨平臺特性。
展開 
10個編寫快速運行的Mathematica代碼的小訣竅
我希望這些訣竅可以在快速編程、快速執行和精確結果的沖突訴求中對你有些許幫助。
10個編寫快速運行的Mathematica代碼的小訣竅
我希望這些訣竅可以在快速編程、快速執行和精確結果的沖突訴求中對你有些許幫助。
深入解讀：英偉達最強異構平臺
該平臺還支持基于指令的編程模型，如 OpenACC、OpenMP、CUDA C++ 和 CUDA Fortran。NVIDIA HPC SDK支持所有這些方法，以及一組豐富的用于分析和調試的加速庫和工具。
圖 3. NVIDIA Grace Hopper Superchip 編程模型
NVIDIA 是 ISO C++ 和 ISO Fortran 編程語言社區的成員，這使得符合 ISO C++ 和 ISO Fortran 標準的應用程序能夠在 NVIDIA CPU 和 NVIDIA GPU 上運行，無需任何語言擴展。有關在 GPU 上運行符合 ISO 標準的應用程序的更多信息，請參閱使用標準并行 C++ 進行多 GPU 編程和使用 Fortran 標準并行編程實現 GPU 加速。
該技術在很大程度上依賴于 NVIDIA NVLink-C2C 和 NVIDIA 統一虛擬內存提供的硬件加速內存一致性。
展開 翻開PLC演進史：探索自動化領域的常青樹
菲尼克斯電氣在收購KW-Software（科維軟件，2015年更名為菲尼克斯電氣軟件有限公司）后，開始著重發展基于IEC 61131的PLC控制軟件編程語言和IEC 61508安全技術。其推出的第一款用于小型控制任務的緊湊型PLC被稱之為ILC 130 ETH，后向中、大型領域延伸推出了ILC 200、350、370、430系列產品。菲尼克斯電氣另外一個PLC產品型號為RFC系列，兩者共同組成了Class 100到Class 400產品組合。近年來菲尼克斯電氣提出打造PLCnext Technology生態，除依照IEC 61131-3標準對PLC系統進行標準編程外，用戶還可通過PLCnext Control實現并行編程，實時組合使用C、C++和MATLAB Simulink等編程語言進行PLC程序開發。
作為奧地利自動化廠商的代表，貝加萊（Bernecker & Rainer）在80年代推出了“黑色系列”PLC，也被稱之為“PCC（可編程計算機控制器）”。它采用了計算機的硬件架構，同樣使用了摩托羅拉MC68000芯片組。通過采用了分時多任務操作系統OS9，這使得貝加萊PLC可集成解釋器，能夠采用BASIC高級語言編程，實現復雜算法。在1994年前后，貝加萊又推出了“藍色系列”PLC，采用了pSOS+的定性分時多任務操作系統，進一步增強了編程能力，pSOS+的開發企業后來被WindRiver收購成為了VxWorks的核心架構。
圖7 貝加萊“黑色系列”PLC
（圖片來源于貝加萊）
其它國家諸如瑞士的ABB也推出了PLC產品并獲得市場認可。根據I/O點數不同，當時不同自動化廠商在小型機（小于256個I/O點數）、中型機（256~2048個I/O點數）和大型機（超過2048個I/O點數）不同市場占有率雖偶有交替起伏，但當時微型、小型PLC應用仍占據市場的絕對主流。
展開 