LLM微服务中的服务治理工具选型

LLM微服务中的服务治理工具选型踩坑记录

最近在做LLM微服务改造时，被服务治理工具的选择问题折磨得死去活来。作为一个DevOps老司机，本以为会轻松搞定，结果发现这坑比想象中深。

我的选型思路

首先明确需求：需要监控服务健康状态、追踪请求链路、处理熔断降级。基于社区规则，不能过度拆分服务，所以选择了轻量级方案。

实战过程

我尝试了三种工具组合：

1. Prometheus + Grafana：配置简单，但对LLM服务的指标收集不够精细，特别是模型推理时间这个关键指标。
2. OpenTelemetry + Jaeger：链路追踪功能强大，但配置复杂度高，需要改造大量代码。
3. Spring Cloud Gateway + Resilience4j：最终选择了这个组合，配置相对简单，且能有效处理服务治理核心需求。

复现步骤

spring:
  cloud:
    gateway:
      routes:
        - id: llm-service
          uri: lb://llm-service
          predicates:
            - Path=/api/llm/**
          filters:
            - name: Retry
              args:
                retries: 3
                backoff:
                  firstBackoff: 100ms

总结

服务治理工具选型需要根据实际业务场景权衡，不要盲目追求功能全面。