模型与环境
- 模型:32B 指令模型,Q4 量化
- 显卡:RTX 3090 24G × 1
- 运行时:vLLM 0.6.x
- 上下文:8K
实测
| 指标 | 数值 |
|---|---|
| TTFT | 420ms |
| 生成速度 | 38 tokens/s |
| 显存峰值 | 22.4G |
复现
启动参数与测试提示词见下,warmup 后取三次中位数。
限制
长上下文会显著增加显存占用,24G 卡建议不超过 16K。
| 预算档位 | 24G |
|---|---|
| 许可证 | Apache-2.0 |
| 成色来源 | 8-32B |
| 模型名称 | 32B-Instruct |
| 指标 | 数值 |
|---|---|
| TTFT | 420ms |
| 生成速度 | 38 tokens/s |
| 显存峰值 | 22.4G |
启动参数与测试提示词见下,warmup 后取三次中位数。
长上下文会显著增加显存占用,24G 卡建议不超过 16K。