写CUDA到底难在哪?

2025-06-27 19:15:11

对GPU进行性能优化时,cudagraph是绕不开的话题。

不仅是GPU,大部分的xpu都会提供类似graph mode的优化,相比于每次分别由CPU进行kernel launch的eager mode,graph mode通常都会有较大性能提升,然而也经常容易出现各种各样的奇怪问题。

NVIDIA有一个简单的 博客 介绍,其中只使用了stream capture的形式来构造cudagraph,而且本质上就是多个kernel前后提交,根本无法展示cudagraph的复杂性。

本文尝试从底层原理出发,根据文档 和 …。

写CUDA到底难在哪?
广告位810*200
相关阅读
为什么国内程序员们没有联合起来设计一种中英文严格2:1宽度比的字体呢?

为什么国内程序员们没有联合起来设计一种中英文严格2:1宽度比的字体呢?

推荐一款在GitHub开源的字体: Maple Font ,...

2025-06-25
如果不能使用linux,只能选鸿蒙与windows,你会选哪个?

如果不能使用linux,只能选鸿蒙与windows,你会选哪个?

这题其实很简单,只有唯一解,主要考的是审题。 原题: 如果...

2025-06-25
有一个乌克兰的朋友问我,中国人凭什么能享受和平,我该怎么说?

有一个乌克兰的朋友问我,中国人凭什么能享受和平,我该怎么说?

因为中国女人 你问问他,他们国家有这样的女人吗? 他们国...

2025-06-25
哪个瞬间让你觉得编程只是一门技术?

哪个瞬间让你觉得编程只是一门技术?

当年做游戏开发,C++、Lua、J***aScript、Ty...

2025-06-25
Linux 下有没有类似 Everything 的搜索工具?

Linux 下有没有类似 Everything 的搜索工具?

实时更新索引整个文件系统是不可能的。 Windows 上的 ...

2025-06-25