写CUDA到底难在哪?

2025-06-19 09:45:13

对GPU进行性能优化时,cudagraph是绕不开的话题。

不仅是GPU,大部分的xpu都会提供类似graph mode的优化,相比于每次分别由CPU进行kernel launch的eager mode,graph mode通常都会有较大性能提升,然而也经常容易出现各种各样的奇怪问题。

NVIDIA有一个简单的 博客 介绍,其中只使用了stream capture的形式来构造cudagraph,而且本质上就是多个kernel前后提交,根本无法展示cudagraph的复杂性。

本文尝试从底层原理出发,根据文档 和 …。

写CUDA到底难在哪?
广告位810*200
相关阅读
开发者为什么不使用网页扫码支付绕过苹果抽成30?

开发者为什么不使用网页扫码支付绕过苹果抽成30?

前段时间,米哈游在支付宝里弄了个“米哈游支付中心”,氪金直接...

2025-06-23
系统该怎样架构才能处理实时热点数据?

系统该怎样架构才能处理实时热点数据?

关注社区OpenGithub社区:***s://open.i...

2025-06-23
公司规定所有接口都用 post 请求,这是为什么?

公司规定所有接口都用 post 请求,这是为什么?

我之前也是喜欢严格遵循restful规范,什么get,pos...

2025-06-23
现在是2025年6月,现在的房价是阴跌还是暴跌?还会继续跌多久?是否已经开始分化?

现在是2025年6月,现在的房价是阴跌还是暴跌?还会继续跌多久?是否已经开始分化?

深圳龙岗这边4、5、6月份已经是暴跌了,很多小区比年前的时候...

2025-06-23
想听听看现在路人对五月天的看法?

想听听看现在路人对五月天的看法?

五月天的核心人物是阿信,阿信是“前期很努力,后面很摆烂”的代...

2025-06-23