LLM服务日志聚合与分析方案

LLM服务日志聚合与分析方案

在大模型微服务架构中，日志聚合是治理的关键环节。本文分享一个完整的LLM服务日志处理方案。

方案概述

采用ELK（Elasticsearch + Logstash + Kibana）栈进行日志收集、处理和可视化。针对LLM服务特点，需要重点关注推理耗时、token使用量等关键指标。

部署步骤

1. Logstash配置（logstash.conf）:

input {
  tcp {
    port => 5959
    codec => json
  }
}
filter {
  mutate {
    add_field => { "timestamp" => "%{@timestamp}" }
  }
}
output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "llm-logs-%{+YYYY.MM.dd}"
  }
}

2. Nginx日志格式配置:

log_format llm_format '{
  "timestamp": "$time_iso8601",
  "remote_addr": "$remote_addr",
  "request": "$request",
  "status": "$status",
  "body_bytes_sent": "$body_bytes_sent",
  "request_time": "$request_time"
}';

3. Kibana仪表板可监控：平均响应时间、错误率、并发请求数等核心指标。

实践建议

• 配置日志轮转避免磁盘满载
• 设置告警阈值，如响应时间超过10s触发告警
• 定期清理过期索引，维护系统性能

该方案已应用于多个LLM服务实例，有效支撑了服务监控与问题定位。