别再卷模型了：To B Agent 创业，用户反馈才是生死线

团队 A：3 个 AI 研究员，从大厂出来，花 6 个月微调了一个行业模型
团队 B：5 个工程师 + 2 个行业专家，花 3 个月搭了一套 Agent 工作流
团队 C：3 个产品经理 + 3 个工程师，花 2 个月做了个能用的 MVP，然后每天泡在客户现场

任务类型：合同审查
  多: 权重 0.2 — 场景相对固定
  快: 权重 0.2 — 不急，但不能超过 1 小时
  好: 权重 0.5 — 错一个条款后果严重
  省: 权重 0.1 — 对比律师费用，成本不敏感

任务类型：客服工单分类
  多: 权重 0.3 — 要能覆盖各种奇怪的问题
  快: 权重 0.3 — 实时响应，秒级
  好: 权重 0.2 — 分类错了可以人工纠正
  省: 权重 0.2 — 量大，成本敏感

采集 → 归因 → 实验 → 部署
 ↑                      │
 └──────────────────────┘

class FeedbackCollector:
    def on_task_complete(self, task_id, agent_output, user_actions):
        signals = []

        # 隐式信号自动采集
        if user_actions.accepted_directly:
            signals.append(("implicit_accept", 1.0))
        elif user_actions.edit_ratio < 0.2:
            signals.append(("minor_edit", 0.5))
        elif user_actions.edit_ratio > 0.5:
            signals.append(("major_edit", -0.5))
            # 触发显式反馈采集
            self.request_explicit_feedback(task_id, "large_edit")
        if user_actions.forwarded_to_others:
            signals.append(("forwarded", 1.5))

        self.store(task_id, signals)
    # generated by hugo's coding agent

上周 Agent 执行了 500 个任务：
├── 合同审查（120 次）: 满意率 85% ✅
├── 报价单生成（200 次）: 满意率 62% ⚠️ ← 重点关注
├── 会议纪要整理（100 次）: 满意率 91% ✅
└── 数据报表制作（80 次）: 满意率 45% ❌ ← 紧急处理

报价单生成满意率 62%，76 次不满意：
├── 格式错误（30 次，39%）: 客户 A 要横版，Agent 输出竖版
├── 价格计算错误（22 次，29%）: 阶梯定价逻辑出错
├── 缺少必要信息（15 次，20%）: 未带入客户的历史折扣
└── 其他（9 次，12%）: 包含过时的产品型号

价格计算错误（22 次）根因分析：
├── 12 次：阶梯定价规则没有写进 Prompt → Prompt 优化
├── 7 次：客户的定价规则更新了，Agent 用的是旧版 → 知识库更新机制
└── 3 次：模型推理错误（数学计算） → 需要增加计算校验步骤

class ScenarioEvalBuilder:
    def build_eval_set(self, task_type, min_cases=50):
        """从真实执行记录中构建评测数据集"""
        cases = []
        for record in self.get_recent_records(task_type):
            cases.append({
                "input": record.user_instruction,
                "context": record.business_context,
                "agent_output": record.output,
                "user_feedback": record.feedback_score,
                "user_edits": record.edited_version,  # 用户修正后的版本 = 黄金标准
                "failure_mode": record.diagnosed_failure,
            })

        # 优先选择有明确正/负信号的 case
        positive = [c for c in cases if c["user_feedback"] > 0.5]
        negative = [c for c in cases if c["user_feedback"] < -0.3]

        return {
            "golden_set": positive[:25] + negative[:25],
            "size": len(cases),
            "positive_ratio": len(positive) / len(cases),
        }
    # generated by hugo's coding agent

识别要优化的任务类型（如：报价单生成）
    │
    ▼
分析失败模式，选择最高频的问题（如：格式错误）
    │
    ▼
提出优化假设（如：在 Prompt 中增加客户特定的格式模板）
    │
    ▼
在 Eval 数据集上运行 A/B 测试
    │
    ├── 原始 Prompt：格式正确率 61%
    └── 修改后 Prompt：格式正确率 89%
    │
    ▼
检查是否引入副作用
    │
    ├── 价格准确率：94% → 93%（可接受）
    └── 信息完整度：88% → 87%（可接受）
    │
    ▼
主指标显著提升 + 无严重副作用 → 上线
    │
    ▼
在真实流量中持续监控 48 小时
    │
    ├── 确认改善 → 永久保留，更新 Eval 基线
    └── 未达预期 → 回滚，分析原因

修改通过 Eval 验证
    │
    ▼
Phase 1: 内部测试（团队自己用 2 天）
    │
    ▼
Phase 2: 种子客户灰度（选 2-3 个关系好的客户，开放 1 周）
    │    收集反馈，确认无回归
    ▼
Phase 3: 全量发布（监控指标 48 小时）
    │
    ├── 指标正常 → 完成
    └── 指标异常 → 一键回滚到上一版本

Week 1:  100 个任务记录 → 粗粒度优化 → 满意率 60%
Week 4:  2000 个任务记录 → 精细化归因 → 满意率 72%
Week 12: 10000 个任务记录 → 按客户/场景精准优化 → 满意率 85%
Week 24: 50000 个任务记录 → Agent 比新来的实习生靠谱 → 满意率 92%

                          场景数据飞轮

         ┌─────────────────────────────────┐
         │                                 │
         ▼                                 │
    用户使用 Agent ──→ 产生执行记录 ──→ 采集反馈信号
                                           │
                                           ▼
    Agent 能力提升 ←── 部署优化 ←── 实验验证 ←── 归因分析
         │
         ▼
    用户更愿意用 ──→ 更多执行记录 ──→ 更多反馈信号 ──→ ...

早期（< 10 人）:
  产品/运营 × 1 — 每天看反馈，定义优化优先级
  全栈工程师 × 2 — 搭建反馈采集和 Eval 管线
  AI 工程师 × 1 — Prompt 优化和工作流设计
  行业专家 × 1 — 提供领域知识，审查 Agent 输出质量

不要一开始就招 ML Research：
  ❌ 花 6 个月微调一个行业模型
  ✅ 花 6 个月把反馈闭环跑到飞轮效应