AI Builder 2027 · 模块 5 随书实验

模块 5 书中实验的完整代码、提示词、示例数据与样例输出(experiments/)。每个目录的 README.md 写了需要什么设备、怎么安装和运行。

目录文件列表

文件 / 目录说明大小
📁 experiments/模块 5 各节实验的代码、输入数据与样例输出-

各节对照实验直达索引(experiments/)

实验目录对应章节与实验内容
📁 experiments/5_1_logprobs/5.1 节实验:在本机加载小模型,逐步读出每个 token 的候选与概率,看温度和 top-p 怎样改变采样
📁 experiments/5_2_base_vs_instruct/5.2 与 5.4 节实验:同一组提示交给只做过预训练的 base 模型和后训练模型,对比续写、听指令、迎合与文风
📁 experiments/5_5_thinking/5.5 节实验:同一个模型开思考与关思考,在一批带标准答案的题上比准确率、延迟和花费
📁 experiments/5_6_prefill_cache/5.6 节实验:测读输入与逐个生成两段各花多少时间,以及开头插时间戳会不会让前缀缓存失效(API 版与本地 llama.cpp 版)
📁 experiments/5_7_local_speed/5.7 节实验:在你自己的机器上测小模型单流与并发速度,对比 4 bit 和 8 bit 两种量化(MLX、llama.cpp、vLLM)
📁 experiments/5_8_realtime/5.8 节实验:实时语音识别的首字与定稿延迟,以及人名名单放在识别时还是识别后,哪种写对的人名多
📁 experiments/5_10_payback/5.10 节回本计算器:按你的用量、显卡报价、电费和 API 价格,算买卡自托管几年回本
📁 experiments/5_11_lora/5.11 节实验:用“默认输出 → 改过的版本”配对给小模型训 LoRA,和少样本提示基线对比并做盲评