写CUDA到底难在哪?

2025-06-19 04:45:09

对GPU进行性能优化时,cudagraph是绕不开的话题。

不仅是GPU,大部分的xpu都会提供类似graph mode的优化,相比于每次分别由CPU进行kernel launch的eager mode,graph mode通常都会有较大性能提升,然而也经常容易出现各种各样的奇怪问题。

NVIDIA有一个简单的 博客 介绍,其中只使用了stream capture的形式来构造cudagraph,而且本质上就是多个kernel前后提交,根本无法展示cudagraph的复杂性。

本文尝试从底层原理出发,根据文档 和 …。

写CUDA到底难在哪?
广告位810*200
相关阅读
如何评价B站峰哥亡命天涯直播中说面包就是比馒头好吃,中国古代不吃面包是因为贫穷,没有足够的柴火?

如何评价B站峰哥亡命天涯直播中说面包就是比馒头好吃,中国古代不吃面包是因为贫穷,没有足够的柴火?

面包就是比馒头好吃啊,这还用讨论?不是常识问题吗?馒头就一点...

2025-06-20
能分享一下你写过的rust项目吗?

能分享一下你写过的rust项目吗?

实际工作中,2020年的时候用 Rust 在 ARM 设备上...

2025-06-20
请问买个nas,能够直接把游戏装进去吗?

请问买个nas,能够直接把游戏装进去吗?

引言如今,熊猫越发觉得NAS已经不再只是一个简单的个人存储设...

2025-06-20
有没有人体验到被纪检委调查的经验?

有没有人体验到被纪检委调查的经验?

3年前我被纪委带走调查,起因是集团高层团灭,人均2000w起...

2025-06-20
中国军队有多强,在世界能排第几?

中国军队有多强,在世界能排第几?

说实话,按照现在这个趋势,我严重怀疑现在我们就已经开始登顶世...

2025-06-20