基于Fluentd的模型日志收集系统配置

基于Fluentd的模型日志收集系统配置

环境准备

首先安装Fluentd：

sudo apt-get install -y td-agent

核心配置文件

在/etc/td-agent/td-agent.conf中添加以下配置：

# 模型推理日志收集
<source>
  @type tail
  path /var/log/model/inference.log
  pos_file /var/log/td-agent/inference.pos
  tag model.inference
  read_from_head true
  format json
</source>

# 模型训练日志收集
<source>
  @type tail
  path /var/log/model/training.log
  pos_file /var/log/td-agent/training.pos
  tag model.training
  read_from_head true
  format json
</source>

# 性能监控指标
<source>
  @type monitor_agent
  tag model.metrics
  interval 30s
</source>

# 输出到Elasticsearch
<match model.**>
  @type elasticsearch
  host localhost
  port 9200
  logstash_format true
  logstash_prefix model
</match>

关键监控指标

• 推理延迟：response_time > 500ms 告警
• 模型准确率：accuracy < 0.85 告警
• 内存使用率：memory_usage > 85% 告警
• CPU使用率：cpu_usage > 90% 告警

告警配置

创建告警规则文件/etc/td-agent/alert_rules.conf：

# 推理延迟告警
<filter model.inference>
  @type grep
  <regexp>
    key response_time
    pattern /^\d+$/
  </regexp>
</filter>

# 性能异常检测
<filter model.training>
  @type record_transformer
  <record>
    alert_level ${if (record['accuracy'] < 0.85) "HIGH" else "NORMAL"}
  </record>
</filter>

验证配置

重启服务并测试：

sudo systemctl restart td-agent
sudo systemctl status td-agent

通过Kibana验证日志是否正常收集。