写CUDA到底难在哪?

2025-06-21 09:00:11

对GPU进行性能优化时,cudagraph是绕不开的话题。

不仅是GPU,大部分的xpu都会提供类似graph mode的优化,相比于每次分别由CPU进行kernel launch的eager mode,graph mode通常都会有较大性能提升,然而也经常容易出现各种各样的奇怪问题。

NVIDIA有一个简单的 博客 介绍,其中只使用了stream capture的形式来构造cudagraph,而且本质上就是多个kernel前后提交,根本无法展示cudagraph的复杂性。

本文尝试从底层原理出发,根据文档 和 …。

写CUDA到底难在哪?
广告位810*200
相关阅读
一个人山林徒步时都要关注哪些点?

一个人山林徒步时都要关注哪些点?

首先肯定是带点智商了,不建议藏区徒步,遇到熊瞎子没招,也不建...

2025-06-20
北京邮电大学和西安电子科技大学对比,实力如何?

北京邮电大学和西安电子科技大学对比,实力如何?

我认为西电根本不配跟北邮坐一桌。 西电的分数线这几年完全虚高...

2025-06-20
为什么女游泳运动员看起来大部分都是平胸?

为什么女游泳运动员看起来大部分都是平胸?

(最新补充20250614) 她们只是看着胸部较平,你不会是...

2025-06-20
美国真会下场对伊朗开战吗?

美国真会下场对伊朗开战吗?

大家有没有觉得,18号到19号,以色列和伊朗战争,相对安静了...

2025-06-20
如何评价《头文字D》中的夏树?

如何评价《头文字D》中的夏树?

从故事创作来讲,夏树属于“神来之笔”,也是让整个《头文字D》...

2025-06-20