人写规则，Token做实验：从Karpathy的autoresearch看AI应用优化新范式

Agent 读取 program.md（人定义的策略）
    │
    ▼
Agent 修改 train.py（提出一个假设）
    │
    ▼
训练 5 分钟（固定时间预算）
    │
    ▼
评估 val_bpb（固定指标）
    │
    ├─ 指标提升 → 保留修改
    └─ 指标下降 → 回滚
    │
    ▼
记录实验日志 → 开始下一轮

✅ 指标可量化且低噪声
   temperature=0 时，同一 prompt + 同一问题 = 高度稳定的输出
   用 LLM-as-Judge 自动评分，无需人工

✅ 反馈循环极快
   跑 500 条测试 case 只需 30-60 秒
   一夜可以跑 500+ 轮迭代

✅ 搜索空间有约束
   只改一个文件：system_prompt.txt

✅ 变异是智能的
   LLM 天然理解自然语言，改 prompt 比改代码更在行

✅ 实验成本低且完全可逆
   成本 = API token 费用（几美分/轮）
   零外部性：不接触真实客户，改坏了回滚即可

# prompt_autoresearch.py — 核心循环（伪代码）

import json

def run_experiment(current_prompt, eval_dataset, agent):
    # 1. Agent 提出修改假设
    hypothesis = agent.propose_change(
        current_prompt=current_prompt,
        experiment_log=load_log(),  # 历史实验记录
        strategy=load_file("program.md")  # 人定义的优化方向
    )

    # 2. Agent 修改 prompt
    new_prompt = agent.apply_change(current_prompt, hypothesis)

    # 3. 跑评估
    scores = []
    for case in eval_dataset:
        response = llm.chat(system=new_prompt, user=case["question"])
        score = judge.evaluate(
            response=response,
            expected=case["expected_answer"],
            criteria=case.get("criteria", "accuracy")
        )
        scores.append(score)

    avg_score = sum(scores) / len(scores)

    # 4. 保留或回滚
    if avg_score > current_best_score:
        save_prompt(new_prompt)
        log_experiment(hypothesis, avg_score, status="accepted")
        return new_prompt, avg_score
    else:
        log_experiment(hypothesis, avg_score, status="rejected")
        return current_prompt, current_best_score

# 主循环：一夜 500 轮
# generated by hugo's coding agent

# AI 客服 Prompt 优化策略

## 优化目标
- 主指标：问题解决准确率（当前 78%，目标 90%+）
- 副指标：回复简洁度（当前平均 180 字，目标 < 120 字）
- 合规红线：不得出现价格承诺、不得编造政策

## 优化方向建议
1. 先优化退款类问题（当前准确率最低，62%）
2. 尝试增加 few-shot 示例
3. 尝试将长规则拆分为条件分支
4. 注意：不要删除合规相关的规则

## 实验纪律
- 每次只改一个方面，便于归因
- 如果连续 3 轮无提升，尝试完全不同的方向
- 记录每次修改的假设和结果

人类产生假设 → 人类实施 → 人类评估 → 人类决策 → 重复
     ↑                                           │
     └───────────── 周级循环 ─────────────────────┘

人类定义规则和边界（program.md）
         │
         ▼
    AI 产生假设 → AI 实施 → AI 评估 → AI 决策 → 重复
         ↑                                        │
         └──────────── 分钟级循环 ────────────────┘