# 3.9 / 3.11 实验合同：自我调优、留出集与门禁

## 要回答的问题

3.9 的论点：经理这一层也可以交给 AI，用一段元提示加评估分数，让它对照失败自己改提示词。但它优化的是你给它看的那个分数，不是你真正的目标。如果判它好坏的就是它调优时看过的那批例子，你分不清它是真的变好了，还是学会了应付这批题。所以要留一部分它从来没见过的例子，只用来判它。

3.11 的论点：AI 跑闭环，人管边界。门禁（留出集分数不降、原来对的不能改错、连续被拒就停）能在它开始应付考题时拦下它。

## 逆向推导出的设计

- **任务要贴着读者的项目。** 用 3.2 建好的那套评估：工人模型拿 skill 和人名术语表修正语音识别转写。分数 =（写对的人名术语数 − 乱改出来的人名术语数）/ 应写对总数。只看人名术语，是因为这是第二章以来项目的核心指标，读者也最容易自己复现。
- **工人模型要便宜，调优器要强。** 工人是 deepseek-v4-flash（AI Builder Space），这正是 VoiceFlow 上线会用的那一档模型。调优器是 gpt-6.1-sol（ChatGPT 订阅，推理强度 high），扮演经理。
- **调优器能看到的，就是读者自己会给它看的。** 元提示里有当前 skill、人名表、分数，以及每条失败的原始转写、模型输出、正确答案。读者照着做时，最自然的就是这样把答案摊给它看；这也是过拟合压力最大的设定。元提示里不提醒它“别过拟合”，因为读者的第一版通常也不会写这一句。
- **三份数据。** 164 条（第二章 38 条备忘录 + 3.7 会议的 126 句台词，每句单独转写、不给词表），随机分成调优集 24 条（调优器看得到）、留出集 60 条（门禁用，调优器看不到）、测试集 80 条（只在最后报告）。调优集故意小，因为读者手里的第一份评估集通常就这么大。
- **会议台词里有天然的陷阱。** 有几句台词本身就在讨论人名识别（“同一段音频把仝欣然写成童心然”“看见韩宇就改成韩昱会把真的韩宇改错”），正确答案恰恰是不改。这不是专门埋的，是生成会议脚本时自然出现的，但它让“只要音近就替换”的规则在留出集上付出代价。
- **两种跑法。** 不设门禁：每轮的提议都接受，只记录三份数据的分数和 skill 长度。设门禁：提议只有在留出集分数不降、且留出集里原来全对的条目没有被改错时才接受；连续 3 次被拒就停。两种都用同样的随机切分，各跑 3 个种子。

## 理想结论与其他可能

- **理想：** 不设门禁时，调优集分数一轮比一轮高；留出集和测试集先涨，然后停住甚至回落；skill 越写越长，后期出现只对个别条目成立的规则。设门禁时，最终 skill 在测试集上不比不设门禁差，而且更短。
- **如果两条曲线一起涨：** 说明在这个任务上调优集已经足够代表，没有过拟合。那就如实写：这次没出问题，但不留出你就无从知道；同时报告 skill 长度的变化。
- **如果门禁一次都没拦：** 如实写，门禁的价值在于出问题时兜底。

## 安全与成本

- 工人模型走 AI Builder Space，每轮 164 次调用，成本以分计。调优器走订阅，不计费。
- 不涉及任何真实用户数据，全部是合成语料。