最近在做模型推理性能优化时，踩了不少坑，特来分享几个实用的性能瓶颈定位工具和使用心得。
1. 使用 PyTorch Profiler 定位热点函数
首先推荐 torch.profiler，它能帮助我们快速识别模型中的性能瓶颈。通过以下代码可以轻松获取详细的性能数据：
import torch
import torch.profiler
with profiler.profile(
activities=[profiler.ProfilerActivity.CPU, profiler.ProfilerActivity.CUDA],
record_shapes=True
) as prof:
output = model(input_data)
print(prof.key_averages().table(sort_by="self_cuda_time_total", row_limit=10))
2. 利用 NVIDIA Nsight Systems 进行系统级分析
对于 CUDA 相关性能问题，Nsight Systems 是神器。使用方式如下：
nsys profile --output=profile.nsys-rep python your_inference_script.py
然后打开 GUI 查看详细的 GPU 利用率、内存带宽等指标。
3. 关键问题总结
- 多卡推理时未正确设置
torch.nn.parallel.DistributedDataParallel会导致性能下降 50%+； - 模型推理前未启用
torch.backends.cudnn.benchmark=True可能损失 10-20ms 的推理时间。
希望这些踩坑经验对大家有帮助！
讨论