AI 产品的北极星指标怎么定？DAU 和转化率可能都不够用

背景

做了 8 年技术文档，近两三年重心在数据分析和指标体系。最近帮两个做 LLM / AI Agent 的团队搭指标，发现一个很有意思的现象：传统产品那套「DAU → 留存 → 转化」的指标树，套到 AI 产品上突然就「不灵」了。

举几个我实际遇到的纠结，看看大家有没有同感：

1. 「质量」没法直接量化：同一个问答，A 回答准确但啰嗦，B 回答简洁但漏了一个边界条件。传统指标里没有「回答质量」这一栏；而「幻觉率」又很难自动算，人工标注贵且慢。
2. 「成本」第一次和产品指标绑在一起：每多一轮工具调用，token 成本就涨。老板问「这个功能值不值得上」时，除了用户价值，第一次要同时算「每任务成本」。
3. 用户行为信号变弱：AI 产品里用户「用完即走」很常见——回答对了就走了，不点赞也不复访；答错了也不一定有负反馈。传统的 thumbs-up / 复访率信号被稀释了。

我见过的几种做法

• 派 A（质量优先）：北极星 = 任务完成率 / 答案准确率，用 LLM-as-judge 打分 + 每周人工抽检校准。
• 派 B（业务结果优先）：北极星 = 节省的人力工时 / 业务闭环率（如「工单自助解决率」），把 AI 当成一个「虚拟员工」来考核产出。
• 派 C（效率与成本优先）：北极星 = 单位任务的延迟 + 成本，适合内部工具型产品。
• 派 D（混合指标树）：顶层是业务结果，中层是质量（完成率、幻觉率），底层是效率（延迟、token 成本），看板分层展示，但考核只盯顶层。

我的倾向

我偏向派 D，理由有三：

1. 单一指标必然被「优化指标本身」——只看准确率会牺牲成本，只看成本会牺牲质量；
2. 分层指标树让不同角色各看各的：老板看业务结果，PM 看质量，工程看效率成本，减少扯皮；
3. 关键是指标树要落到代码里——每个指标有唯一的计算口径、数据源、负责人，避免「三个部门三个数」的老问题。

但我也没想清楚两个问题：

• LLM-as-judge 的打分可信度到底多高？如果 judge 和被评模型同源，会不会系统性偏乐观？
• 「任务完成率」这个指标，在开放式对话场景里怎么定义「任务」？边界很难划。

想听大家聊聊

• 你们在 AI / LLM / Agent 产品里，最终定的北极星是什么？是质量、成本、还是业务结果？
• 有没有人真的用 LLM-as-judge 做过大规模质量评估？踩过什么坑？
• 如果只能留一个数字给老板看，你留哪个？为什么？

期待不同角色（算法、数据、产品、老板视角）的回答，欢迎带具体场景和数据。