在大模型推理服务中，建立科学的性能指标体系是保障服务质量的关键。本文将从延迟、吞吐量、资源利用率等核心维度，结合实际工程实践，构建一套可复现的评估框架。
核心指标定义
延迟（Latency）：从请求发出到响应返回的时间，通常用p90、p99等百分位数表示。在Python中可以使用以下代码计算：
import numpy as np
latencies = [10, 15, 20, 25, 30] # 示例延迟数据
p90 = np.percentile(latencies, 90)
print(f"P90延迟: {p90}ms")
吞吐量（Throughput）：单位时间内处理的请求数，可通过测试工具如wrk或locust进行压测。使用Python脚本模拟：
import time
start_time = time.time()
# 模拟1000次请求处理
for i in range(1000):
process_request() # 自定义处理函数
end_time = time.time()
throughput = 1000 / (end_time - start_time)
print(f"吞吐量: {throughput:.2f} req/s")
资源利用率：包括CPU、GPU利用率等，可使用nvidia-smi或prometheus监控系统获取。通过脚本定期采集并记录：
import subprocess
result = subprocess.run(["nvidia-smi", "--query-gpu=utilization.gpu,memory.used,memory.total", "--format=csv"],
capture_output=True, text=True)
print(result.stdout)
工程实践建议
- 建立自动化监控告警机制
- 定期进行压力测试，建立基线性能数据
- 针对不同业务场景设置差异化指标阈值
通过这套指标体系，可以有效量化推理服务的性能表现，为优化提供数据支撑。
讨论