写CUDA到底难在哪?

2025-06-22 09:25:11

对GPU进行性能优化时,cudagraph是绕不开的话题。

不仅是GPU,大部分的xpu都会提供类似graph mode的优化,相比于每次分别由CPU进行kernel launch的eager mode,graph mode通常都会有较大性能提升,然而也经常容易出现各种各样的奇怪问题。

NVIDIA有一个简单的 博客 介绍,其中只使用了stream capture的形式来构造cudagraph,而且本质上就是多个kernel前后提交,根本无法展示cudagraph的复杂性。

本文尝试从底层原理出发,根据文档 和 …。

写CUDA到底难在哪?
广告位810*200
相关阅读
女孩子腿非常白是什么体验?

女孩子腿非常白是什么体验?

高中有个团体舞蹈比赛选中我们班,表演那天女主要穿裙子(到膝盖...

2025-06-24
为什么负荷那么大的腰部力量训练的人不会受伤,长期无载荷久坐的人会出现腰肌劳损?

为什么负荷那么大的腰部力量训练的人不会受伤,长期无载荷久坐的人会出现腰肌劳损?

理论方面我不太了解,我认为是肌肉力量的关系。 比如你做引体...

2025-06-24
2020-11-26:go中,map的创建流程是什么?

2020-11-26:go中,map的创建流程是什么?

本文首发于公众号:Hunter后端 原文链接:Golang基...

2025-06-24
很好奇,组NAS的玩家是如何解决上传速率的问题?

很好奇,组NAS的玩家是如何解决上传速率的问题?

无解,电信有公网的ipv4地址,500M的下行,也只有非晚上...

2025-06-24
为什么Mac连个正儿八经的CAD都装不了还敢打着生产力的旗号?

为什么Mac连个正儿八经的CAD都装不了还敢打着生产力的旗号?

我记得之前本科找实习,面一家小公司的开发岗,老板极其热爱Ma...

2025-06-24