写CUDA到底难在哪?

2025-06-23 05:30:10

对GPU进行性能优化时,cudagraph是绕不开的话题。

不仅是GPU,大部分的xpu都会提供类似graph mode的优化,相比于每次分别由CPU进行kernel launch的eager mode,graph mode通常都会有较大性能提升,然而也经常容易出现各种各样的奇怪问题。

NVIDIA有一个简单的 博客 介绍,其中只使用了stream capture的形式来构造cudagraph,而且本质上就是多个kernel前后提交,根本无法展示cudagraph的复杂性。

本文尝试从底层原理出发,根据文档 和 …。

写CUDA到底难在哪?
广告位810*200
相关阅读
为什么大部分人都认为2560x1440是2K?

为什么大部分人都认为2560x1440是2K?

长边K,短边P,本来是没争议的。 但不知是谁非要将2560×...

2025-06-26
为什么现在吹Rust的人这么多?

为什么现在吹Rust的人这么多?

现在一堆人吹 Rust,整得好像它要取代 C++、吊打 Go...

2025-06-26
是什么原因导致HDR无法推行?

是什么原因导致HDR无法推行?

只说在中国大陆HDR使用者的现况: 大量用户以“稳定”“使用...

2025-06-26
为什么国内的黄***站不被查封?是难发现吗?

为什么国内的黄***站不被查封?是难发现吗?

这种网站一般都有一个发布站和一个对外站。 只要发布站没挂,...

2025-06-26
为什么香港在知乎这么不被看好?

为什么香港在知乎这么不被看好?

因为真正能够看懂香港逻辑的是少数人。 甚至说香港人自己都不...

2025-06-26