TensorRT推理优化中的关键技术点解析
作为一名长期在模型部署一线摸爬滚打的算法工程师，今天来分享几个TensorRT推理优化中的实战坑点。这些经验都是血泪史，希望能帮大家少走弯路。
1. 动态形状vs静态形状的权衡
很多同学在用TensorRT时会遇到这样的问题：模型输入shape不固定，但又想获得最佳性能。我们曾经踩过这个坑：
# 错误做法 - 不设置dynamic shape
builder.max_batch_size = 1
# 正确做法 - 设置dynamic shape
builder.max_batch_size = 1
profile = builder.create_optimization_profile()
profile.set_shape('input', [1,3,224,224], [1,3,224,224], [8,3,224,224])
2. INT8量化精度损失控制
我们曾经在ResNet50上做INT8量化，结果发现精度暴跌了3%。问题出在：
# 量化数据准备
import numpy as np
# 准备1000张图像作为校准集
with open('calibration_data.npy', 'rb') as f:
calib_data = np.load(f)
# 手动设置校准器
engine = builder.build_engine(network, config)
# 重点：校准数据分布要覆盖训练时的输入分布
3. 层级优化器策略
通过--minShapes、--optShapes和--maxShapes参数可以显著提升性能，但要注意不同层的兼容性。我们发现：
# 构建时添加优化参数
trtexec --onnx=model.onnx \
--explicitBatch \
--minShapes=input:1x3x224x224 \
--optShapes=input:4x3x224x224 \
--maxShapes=input:8x3x224x224 \
--fp16
4. 硬件适配性检查
在不同GPU上测试时，发现TensorRT性能差异巨大。比如：
# 检查硬件支持的精度
print(engine.max_workspace_size)
print(engine.max_batch_size)
# 重点：不同GPU对INT8的支持程度不一样
优化后，我们从150ms降低到75ms，性能提升翻倍。记住：TensorRT调优不是一蹴而就的，需要反复测试和验证！
讨论