# 2.4 skill：成功标准与边界

## 怎么跑

```bash
op run --env-file experiments/aib.env -- .venv/bin/python experiments/2_4_skill/run.py
```

接口是 AI Builder Space，模型为 deepseek-v4.1-flash 和 gemini-3.8-flash。输入是 `corpus/transcripts_grok.json`（见 `corpus/README.md`）。实验设计写在 `run.py` 顶部的说明里，原始输出在 `out_*.json`，汇总在 `results*.json`。

## 结果（2026-10-14，与 `contracts/source_contract.md` 的 B4 一节同步）

- skill 文件 `cleanup_skill.md` 定义了成功标准与边界：
    - 删掉“嗯”“啊”“呃”这类纯停顿语气词，补齐标点，只纠正明显的同音错字；
    - 人名和专业术语按名单（`names.md`）的写法修正；
    - 中英文、中文和数字之间加空格；
    - 保持原本的口语用词和说话习惯（包括连接词“就是说”等），不要把随想改写成工整的书面语或公文腔；
    - 不合并句子、不删减细节、不总结成摘要。
- 做法：28 条工作和生活备忘，在新会话里说“帮我整理一下这段语音转写”，两种条件都附名单，区别只在有没有 skill。
- 判分：四条规则（无纯停顿词、口语连接词保留、中英空格、长度在原文的 85% 到 115% 之间）全部满足，才算一次通过。
- deepseek-v4.1-flash：

| 条件 | 一次通过 | 口语连接词保留 | 无停顿词 | 没被改写或总结 | 违规合计 |
|---|---|---|---|---|---|
| 没有 skill | 10/28 | 13/28 | 25/28 | 25/28 | 21 处 |
| 有 skill | 28/28 | 28/28 | 28/28 | 28/28 | 0 处 |

- gemini-3.8-flash：

| 条件 | 一次通过 | 口语连接词保留 | 无停顿词 | 中英空格 | 没被改写或总结 | 违规合计 |
|---|---|---|---|---|---|---|
| 没有 skill | 4/28 | 4/28（28 条里 24 条把口语连接词删改了） | 28/28 | 28/28 | 26/28 | 26 处 |
| 有 skill | 25/28 | 25/28 | 28/28 | 28/28 | 28/28 | 3 处 |

## 教材正文移出的细节

- 28 条备忘是语料里的工作备忘 W01–W20 和生活备忘 L01–L08。
- deepseek-v4.1-flash 的违规合计从 21 处降到 0 处，gemini-3.8-flash 从 26 处降到 3 处。
- gemini-3.8-flash 有 skill 时未通过的 3 条（W11、W16、W19），是因为语音识别转写稿（`transcripts_grok.json`）把原话的“就是说”听成了“就说”，模型忠实保留了转写稿里的口语词“就说”，而判分脚本按原稿 `memos.json` 严格匹配“就是说”三字计数。
- 正文引用的 skill 论文（arXiv 2608.14036）里的对照数字：不给材料的组任务成功率 59.1%；原样的工作记录组 55.9%，比不给材料还低；提炼成指南的组 61.9%，比原始记录组高约 6 个百分点。正文只保留“65.7% 对 4.5%”这一组，三组的比较用文字叙述。论文的分析基于 8,135 次 agent 运行记录（不在事实底稿里，正文不用）。