写CUDA到底难在哪?

2025-06-19 08:45:11

对GPU进行性能优化时,cudagraph是绕不开的话题。

不仅是GPU,大部分的xpu都会提供类似graph mode的优化,相比于每次分别由CPU进行kernel launch的eager mode,graph mode通常都会有较大性能提升,然而也经常容易出现各种各样的奇怪问题。

NVIDIA有一个简单的 博客 介绍,其中只使用了stream capture的形式来构造cudagraph,而且本质上就是多个kernel前后提交,根本无法展示cudagraph的复杂性。

本文尝试从底层原理出发,根据文档 和 …。

写CUDA到底难在哪?
广告位810*200
相关阅读
小米 AI 眼镜发布,售价 1999 元起,有哪些功能亮点?你看好其市场前景吗?

小米 AI 眼镜发布,售价 1999 元起,有哪些功能亮点?你看好其市场前景吗?

作为少数同时拥有两款AI眼镜的男人(Meta和雷鸟V3), ...

2025-06-28
mkdocs无法部署到github怎么办?

mkdocs无法部署到github怎么办?

乍一看还以为是我开发的 mkdoc 呢,还寻思居然有人用了?...

2025-06-28
家里想搞个服务器,有什么好的建议方案吗?

家里想搞个服务器,有什么好的建议方案吗?

一般三个阶段:x99第一阶段、amd第二阶段、epyc第三阶...

2025-06-28
为什么软件公司很少用python开发web?

为什么软件公司很少用python开发web?

自荐一个数据构建小工具: pydantic-resolve,...

2025-06-28
为什么大部分人都认为2560x1440是2K?

为什么大部分人都认为2560x1440是2K?

你说这个我就精神了,咱们来讨论一下USB1.0 ,USB2....

2025-06-28