README.md

2.4 skill：成功标准与边界

怎么跑

op run --env-file experiments/aib.env -- .venv/bin/python experiments/2_4_skill/run.py

接口是 AI Builder Space，模型为 deepseek-v4.1-flash 和 gemini-3.8-flash。输入是 corpus/transcripts_grok.json（见 corpus/README.md）。实验设计写在 run.py 顶部的说明里，原始输出在 out_*.json，汇总在 results*.json。

结果（2026-10-14，与 contracts/source_contract.md 的 B4 一节同步）

• skill 文件 cleanup_skill.md 定义了成功标准与边界：
  • 删掉“嗯”“啊”“呃”这类纯停顿语气词，补齐标点，只纠正明显的同音错字；
  • 人名和专业术语按名单（names.md）的写法修正；
  • 中英文、中文和数字之间加空格；
  • 保持原本的口语用词和说话习惯（包括连接词“就是说”等），不要把随想改写成工整的书面语或公文腔；
  • 不合并句子、不删减细节、不总结成摘要。
• 做法：28 条工作和生活备忘，在新会话里说“帮我整理一下这段语音转写”，两种条件都附名单，区别只在有没有 skill。
• 判分：四条规则（无纯停顿词、口语连接词保留、中英空格、长度在原文的 85% 到 115% 之间）全部满足，才算一次通过。
• deepseek-v4.1-flash：

• gemini-3.8-flash：

教材正文移出的细节

• 28 条备忘是语料里的工作备忘 W01–W20 和生活备忘 L01–L08。
• deepseek-v4.1-flash 的违规合计从 21 处降到 0 处，gemini-3.8-flash 从 26 处降到 3 处。
• gemini-3.8-flash 有 skill 时未通过的 3 条（W11、W16、W19），是因为语音识别转写稿（transcripts_grok.json）把原话的“就是说”听成了“就说”，模型忠实保留了转写稿里的口语词“就说”，而判分脚本按原稿 memos.json 严格匹配“就是说”三字计数。
• 正文引用的 skill 论文（arXiv 2608.14036）里的对照数字：不给材料的组任务成功率 59.1%；原样的工作记录组 55.9%，比不给材料还低；提炼成指南的组 61.9%，比原始记录组高约 6 个百分点。正文只保留“65.7% 对 4.5%”这一组，三组的比较用文字叙述。论文的分析基于 8,135 次 agent 运行记录（不在事实底稿里，正文不用）。