ChatGPT出色的表現，帶動了人工智能的應用加速，人工智能大模型、多模態機器學習，多模態大模型+物聯網等各個行業的專業應用，算力不夠是最大的不足，市場上A100/A800/H100/H800的GPU卡的缺貨、漲價等，成本上升，不得不考慮GPU替代型號的、性能接近A100/H100的方案
（一）GPU計算卡選型
下面是目前市場上可選GPU卡之間，基于深度學習訓練與推理的關鍵技術指標對比

No	關鍵指標	單位	H100 PCIe	A100	RTX 6000 Ada	A100	Tesla V100	RTX4090
1	顯存	GB	80	80	48	40	32	24
2	顯存帶寬	GB/s	2048	2048	960	1536	897	1008
3	CUDA FP16	Tflops	204.87	77.97	91.06	77.97	28.26	82.58
4	CUDA FP32	Tflops	51.22	19.49	91.06	19.49	14.13	82.58
5	Tensor INT8	TOPS	3201	609	1423	609	125	1452
6	Tensor FP16	Tflops	1601	305	711	305	125	726

從上述表里看，RTX6000 Ada 48GB與A100 80GB對比

No	關鍵指標	A100 80GB	RTX6000 Ada	備注
1	顯存	80GB	48GB	A100更大
2	顯存帶寬	2048GB/s	960GB/s	A100更大
3	CUDA FP16	77.97Tflops	91.06Tflops	RTX6000Ada更快
4	CUDA FP32	19.49Tflops	91.06Tflops	RTX6000Ada更快
5	Tensor INT8	609Tflops	1423Tflops	RTX6000Ada更快
6	成本	成本高	成本低	RTX6000Ada 更便宜

RTX6000Ada（48GB）與RTX4090（24GB）對比，前者顯存是48GB，作為自然語言處理，顯存越大越合適，

因此 綜上說述，基于自然語言處理應用，無論是做訓練還是推理，RTX6000Ada是一款非常合適的A100備用型號

?
（二）GPU AI集群系統相關產品介紹
下面是西安坤隆計算機科技有限公司提供的基于ChatGPT科研型AI集群配置方案
 

（1）GPU計算服務器（計算節點） 
 

相關機型：UltraLAB GX658 
技術特點：
GPU 配備最高8塊nvidia RTX/Tesla系列GPU計算卡，
CPU 采用intel第3代Xeon可擴展處理器,支持PCIe 4.0 x16接口
網口配備100G IB網口，
硬盤采用SSD，
保證硬件配置計算更強、io帶寬更高、整機性能全方位優化，保證多用戶多任務神經元完美計算能力。 

（2）存儲服務器（存儲節點）
  
相關機型：UltraLAB N650C（24盤位） 
技術特點： 
CPU 采用intel Xeon第3代可擴展處理器，最大80核，可滿足60臺計算節點同步訪問 
高速緩存盤：配備M2.SSD確保數據處理的高速讀寫(讀寫3G/s以上)及超低io延遲、 
配備并行存儲：數據備份安全可靠、最大容量到378TB（24盤位，3通道）
網口:配備雙100G光口， 
整機性能全方位優化 支持遠程操作、遠程管理，系統管理員和使用者直接在辦公室甚至異地進行操作

（3）SLURM作業調度軟件

 
SLURM 是優秀的開源作業調度系 統，和 Torque PBS 相比，SLURM 集成度更高，對 GPU 和 MIC 等加速設備支持更好
Slurm是適應不同計算規模Linux集群的資源管理和調度軟件。它提供高效的資源與作業管理。包括狀態監控、資源管理、作業調度和用量記賬
支持更多的仿真模擬軟件，

支持定制不同的應用軟件的集群系統擴展

（三）UltraLAB GPU超算集群硬件配置推薦2023v2
方案1 CX650 GPU超算集群配置推薦 
計算節點5個 
GPU卡：40塊RTX6000Ada，總顯存1.92TB，
集群FP32單精度浮點算力：3640Tflops （3.6PTflops）
配置方案

NO	貨物名稱	型號	數量
1	GPU計算服務器GX658	2*Xeon銀4316（40核2.8Ghz ）/512GB DDR4 /8塊RTX6000 Ada 48GB /1.92TB SSD /4U機架式/100G IB光口/無顯示器	5
2	存儲服務器N650C	2顆Xeon 4314（32核2.3Ghz ）/192GB DDR4 /QT1000 /960GB SSD系統盤+7.68TB高速緩存盤(2塊) +126TB并行存儲/4U機架式/100G IB光口/27"4K圖顯	1
3	計算交換機	36個100G IB ，光口	1
	管理交換機	48口千兆以太，電口	1
4	服務器機柜	42U，含PDU、托盤	1
5	KVM	16口 HDMI KVM切換器	1
6	集群系統	CentOS/Ubuntu、作業調度管理	1?
7	深度學習框架	Tensorflow、Pytorch…	1?
合計	￥3,210,500元 （321萬）

方案2 CX650 GPU超算集群配置推薦 
計算節點10個 
GPU卡：80塊RTX6000Ada，總顯存3.84TB，
集群FP32單精度浮點算力：7280Tflops （7.2PTflops）
配置方案

NO	貨物名稱	型號	數量
1	GPU計算服務器GX658	2*Xeon銀4316（40核2.8Ghz ）/512GB DDR4 /8塊RTX6000 Ada 48GB /1.92TB SSD /4U機架式/100G IB光口/無顯示器	10
2	存儲服務器N650C	2顆Xeon 4314（32核2.3Ghz ）/192GB DDR4 /QT1000 /960GB SSD系統盤+7.68TB高速緩存盤(2塊) +126TB并行存儲/4U機架式/100G IB光口/27"4K圖顯	1
3	計算交換機	36個100G IB ，光口	1
	管理交換機	48口千兆以太，電口	1
4	服務器機柜	42U，含PDU、托盤	2
5	KVM	16口 HDMI KVM切換器	1
6	集群系統	CentOS/Ubuntu、作業調度管理	1?
7	深度學習框架	Tensorflow、Pytorch…	1?
合計	￥6,200,500元 （620萬）

方案3 CX650 GPU超算集群配置推薦 
計算節點30個 
GPU卡：240塊RTX6000Ada，總顯存11.5TB，
集群FP32單精度浮點算力：21840Tflops （21.8PTflops）
配置方案

NO	貨物名稱	型號	數量
1	GPU計算服務器GX658	2*Xeon銀4316（40核2.8Ghz ）/512GB DDR4 /8塊RTX6000 Ada 48GB /1.92TB SSD /4U機架式/100G IB光口/無顯示器	30
2	存儲服務器N650C	2顆Xeon 4314（32核2.3Ghz ）/192GB DDR4 /QT1000 /960GB SSD系統盤+7.68TB高速緩存盤(2塊) +126TB并行存儲/4U機架式/100G IB光口/27"4K圖顯	2
3	計算交換機	36個100G IB ，光口	1
	管理交換機	48口千兆以太，電口	1
4	服務器機柜	42U，含PDU、托盤	5
5	KVM	16口 HDMI KVM切換器	2
6	集群系統	CentOS/Ubuntu、作業調度管理	1?
7	深度學習框架	Tensorflow、Pytorch…	1?
合計	￥18,525,800元 （1852萬）

GPU超算集群應用領域
? 人工智能訓練、推理集群計算
? 分子動力學、蛋白質折疊、
? 電磁仿真時域求解
? 數字孿生超高分可視化

技術服務
本文所提供配置也可根據實際情況，進行調整 ，我們技術保證 
-整個集群開機即用 
-三年質保 
-365*7*24小時在線技術支持

上述所有配置，代表最新硬件架構，同時保證是最完美，最快，如有不符，可直接退貨

欲咨詢機器處理速度如何、技術咨詢、索取詳細技術方案，提供遠程測試，請聯系

UltraLAB圖形工作站供貨商：
西安坤隆計算機科技有限公司
國內知名高端定制圖形工作站廠家
業務電話：400-705-6800,18601230361

微信：