使用 TensorRT 加速 Stable Diffusion 推理，核心是将 PyTorch 模型导出为 ONNX 格式并构建 TensorRT 引擎，适用于 NVIDIA GPU 环境，需注意算子兼容性和精度校准风险。

命令速用版

由于不同框架（如 ComfyUI、WebUI）集成方式不同，此处提供通用处理思路而非单一命令。

1. 环境检查：确认 GPU 驱动支持 CUDA，安装 TensorRT 及 Python 绑定。

2. 模型导出：使用 torch.onnx.export 将 Stable Diffusion 组件（UNet、VAE、CLIP）导出为 ONNX。

3. 引擎构建：调用 trtexec 或 Python API 构建.engine 文件，指定精度（FP16/INT8）。

4. 推理替换：在推理脚本中加载.engine 文件替代原始 PyTorch 模型。

为什么会这样

TensorRT 加速的核心在于重构执行路径而非直接运行原模型。

主要依赖三项技术：层融合（Layer Fusion）将多个操作合并为单个内核，减少内存传输开销；精度校准（Precision Calibration）自动选择 FP16 或 INT8 精度，利用 Tensor Cores 提升吞吐；内核自动调优（Kernel Auto-Tuning）根据具体硬件选择最优计算方式。部分技术文档显示，相比原始 PyTorch 实现，优化后可带来显著的推理速度提升。

分步处理

1. 环境准备：安装 NVIDIA Deep Learning SDK，包含 TensorRT 和 CUDA，推荐使用官方 NGC 镜像保障环境一致性。

2. 模型转换：将 Stable Diffusion 的 CLIP 文本编码器、U-Net 主干、VAE 解码器分模块转换为 ONNX 中间表示，需规避 ONNX 不支持的算子（如 GroupNorm）。

3. 引擎构建：根据硬件构建静态或动态引擎。静态引擎针对固定输入维度极致优化；动态引擎支持可变输入维度，通过定义最小、最大和最优参数范围适配多种场景。

4. 量化配置：若使用 INT8 量化，须用真实分布样本进行校准，避免在关键去噪步骤产生结构性失真。

怎么验证是否生效

1. 时间对比：记录单张 512×512 图像生成的平均耗时，优化后应有明显下降。

2. 显存监控：使用 nvidia-smi 观察显存峰值，优化后显存占用通常降低。

3. 质量检查：对比优化前后生成图像的 SSIM 或 FID 指标，确保精度量化未导致画质受损。

常见坑

1. 算子兼容性：Stable Diffusion 包含大量自定义算子，需 TensorRT 解析器特殊处理，否则构建失败。

2. 硬件绑定：不同 GPU 架构应单独构建引擎，跨设备复用可能导致性能下降或运行错误。

3. 精度损失：INT8 量化在扩散模型早期去噪步骤敏感，校准不当会导致图像结构性失真。

常见问题

TensorRT 加速会影响图像质量吗？

合理配置下不会。FP16 通常无明显损失，INT8 需严格校准以避免关键步骤误差放大。

动态引擎和静态引擎怎么选？

固定工作流选静态引擎性能最优，需灵活调整分辨率或 Batch 大小选动态引擎。

所有 NVIDIA 显卡都支持吗？

需支持 CUDA 的 NVIDIA GPU，具体性能提升取决于显卡架构是否匹配 TensorRT 优化特性。

参考来源

1. TensorRT 优化 Stable Diffusion 推理：实现 3 倍性能提升的架构解析与实践验证

2. TensorRT 加速 Stable Diffusion 模型的技术解析与实践

3. 深入剖析 Stable Diffusion 性能优化：实现推理速度提升的最佳实践

4. 使用 TensorRT 加速 Stable Diffusion 部署全攻略

5. TensorRT 加速 Stable Diffusion 的 8 位量化实践

6. ComfyUI TensorRT 加速架构深度解析：实现 Stable Diffusion 3 倍性能提升