README.md

3.7 过程式表述与结果式表述

状态（2026 年 10 月）：中英文各 12 次（两档难度 × 两种表述 × 3 次）全部跑完。设计和判定规则见 CONTRACT.md。

问的是什么

把一件事交给 AI 有两种说法：

• 过程式：“做完这几件事，你就算完成了”。
• 结果式：“满足这几条标准，你就算完成了，路径你自己找”。

我们想知道的是：任务复杂到事先列不出能保证结果的步骤时，过程式会不会碰到天花板？如果会，这个天花板是不是来自表述，而不是来自模型或步骤写得差。

结果

复杂档：约五十五分钟的会议录音，分成两个文件

过程式没有一次是因为偷懒失败的。逐次看下来，有三件事：

1. 六份步骤清单都写下了同一个错误的假设。 规划者在开工前推断“第二个文件的起点等于第一个文件的时长”，这是没听过录音时最合理的推断，但录音中途换了设备，两个文件重叠了 40 秒。执行者照做，结果重叠区重复了，第二个文件的时间戳全部偏了。结果式的 agent 在对照“时间戳要对应整场会议”这条标准时，通过比对两段波形发现了重叠（例如 trials/zh_complex_outcome_1/log/transcript.jsonl 第 333 秒那条消息）。
2. 步骤写得很周全，但核对的是步骤自己的假设。 规划者都写了大量核对步骤，比如两遍独立识别、逐个窗口复核、最终覆盖检查。这些核对在 4/6 次里补回了电话参会者的发言，但都建立在“第二个文件接在第一个后面”这条时间轴上，所以查不出时间轴本身错了。
3. 步骤规定了执行者没有的手段。 好几份清单要求逐段回听原音频（中文清单写作“核听”），执行的 agent 听不了音频。有 4 次执行者如实报告步骤里有做不到的事，其中一次（中文第 2 次）干脆拒绝交付正式文件，只留了一份待核听的草稿。另外 2 次宣布完成，英文第 3 次还写着“通过了格式和时间戳检查”，但它检查的是自己那条错的时间轴。结果式不会遇到这个问题，因为怎么核对是它自己选的，它用的是响度检测、截段重转和波形比对。

简单档：一条 15 秒的备忘录（W01）

中文两种表述都没问题，说明过程式本身不是错的，事先列得出步骤时它照样管用。

英文过程式两次没通过，原因是同一处人名：带着词表转写时，识别接口把 Saoirse 认成了 Xochitl，而步骤里写着“只在音频能确认时才改人名”，执行者就保留了错的名字。这只是一处人名，样本也只有 3 次，不足以说明简单档里两种表述有差别，正文里如实写出即可。

人名和术语（不是本实验的变量，只作记录）

复杂档里，结果式的人名和术语几乎全对（中文 523/525，英文 482/486）。过程式在交付了正式文件的几次里也在 97% 左右。

设计要点

• 两组用同一个模型（gpt-6.1-sol，ChatGPT 订阅 OAuth，走 Codex Responses 接口，推理强度 medium），同样的工具（一个 shell），同样的文件夹。两组只差提示词。
• 过程式的步骤由 gpt-6.1-sol 自己写（推理强度 high）。规划者能看到任务、全部五条目标和文件清单（含文件大小和时长），但没有听过录音。执行者只拿到任务和步骤。每次试验各自生成一份清单，原文在 trials/*_process_*/plan.md。
• 两种“静默”的意外，事先都在真实接口上试过（pilot/）：
  • 电话参会者音量小、音质窄，夹在正常录音里时，Grok 转写接口会把他的部分发言整段丢掉，不报错；单独截出来再转就完整。中文用原音量的 0.12 倍；英文要到 0.06 倍才出现同样程度的丢段（0.12 倍时 8 段只丢 1 段）。
  • 两个文件重叠 40 秒，第二个文件从第一个文件结束前 40 秒开始。
  • 试点排除掉的意外：静音段（Grok 不会凭空编字）、五十分钟的整段长文件（一次就能完整转完）。
• 打分用台词真值（grade.py、grade_simple.py），执行者读不到。一句台词在逐字稿里找得到相似度 ≥70 的对应文字，就算覆盖；在去掉第一次匹配后还能再找到一次，就算重复；段落时间戳落在对应台词起止时间的 ±10 秒以外，就算偏了。“五条标准全部满足”指覆盖、不重复、时间戳都达标，人名另计。

文件

• CONTRACT.md：实验合同（问题、逆向推导的设计、理想结论与其他可能）。
• harness/mini_agent.py：最小 agent，一个模型加一个 shell 工具。命令在 macOS sandbox-exec 里执行：只能写工作文件夹，读不到 experiments/ 目录和本机凭据；输出里的 API key 一律替换成 <redacted>。
• run_trial.py：跑一次试验（建工作文件夹 → 过程式先生成步骤 → 运行 agent → 拷回交付物和日志 → 打分）。
• prompts_zh/、prompts_en/：任务、验收标准和三种提示词模板（规划者、过程式、结果式）。
• fixture_zh/、fixture_en/：工作文件夹里的 API.md 和 names.md。
• meeting_zh/、meeting_en/：台词脚本（script.json，由 gpt-6.1-sol 按 script_prompt.md 生成）、合成配置（config.json）、真值时间轴（truth.json）。音频用 Gemini TTS 的预置声音合成，不涉及任何人的克隆声音，用 build_meeting.py 重建。
• trials/<语言>_<难度>_<表述>_<次>/：每次试验的提示词、步骤清单、agent 日志（log/transcript.jsonl、log/summary.json）、交付物和打分（grade.json）。agent 放在隐藏目录里的中间文件没有拷回。
• results.json：summarize.py 汇总的全部结果。

怎么跑

都在 textbook 仓库根目录执行。

# 合成会议录音（需要 GEMINI_API_KEY；每句台词的音频有缓存）
op run --env-file <(printf 'GEMINI_API_KEY=op://dev/dev-api-keys/gemini_api_key\n') -- .venv/bin/python experiments/3_7_formulation/build_meeting.py zh

# 跑一次试验：语言 难度 表述 次数（需要 ChatGPT OAuth 登录，见 chat_gpt_oauth skill）
cd experiments/3_7_formulation
op run --env-file ../aib.env -- ../../.venv/bin/python run_trial.py zh complex outcome 1

# 汇总
../../.venv/bin/python summarize.py

成本

执行者和规划者都走 ChatGPT 订阅，不按 token 计费。单次复杂档试验大约读入一百万到两百万 token，用时 7 到 15 分钟。语音识别走 AI Builder Space，每小时音频约 0.1 美元，全部试验加试点不到 5 美元。Gemini TTS 合成两场会议不到 2 美元。

公开前要做的事

• 日志里有本机绝对路径（工作文件夹在 knowledge_working/tmp/3_7_runs/ 下），公开前替换掉。
• 已扫过 trials/，没有 key（sk_ 开头的字符串为零）。
• 录音文件（.m4a）和合成中间文件（.wav）不进 git，部署时单独上传 recordings/。