附录 B · AI 信息可信度分级手册¶
这不是本书某个章节的附注，而是写给每一个要在这行活下去的人的生存技能。
2026 年 10 月，一个只有 1 个月历史的新品类（决策模型）横空出世，全网都在转发它的"跑分"，而本书作者花了三小时review，发现最抢眼的那些数字，可信度最低。这份手册就是那次 review 的产物。
为什么必须写这一篇¶
传统技术书的写法是：结论 + 最佳实践，默认书里的东西都对。
AI 领域的现实是：
| 现象 | 你会看到什么 | 真相 |
|---|---|---|
| 厂商自曝 | "我们 76.6%，对手 72.7%" | 对比表是自己做的，往往挑对自己有利的口径 |
| 榜单战争 | "JevBench 第一！" | 榜单可能由被评测方运营，或选了有利的数据集 |
| 立场媒体 | "某公司抄袭！" | 早期论文的数据缺陷被放大成公关素材 |
| 开源平替 | "GitHub 4000 star，三天封神" | star 数衡量热度，不衡量效果 |
| 数字可信度 | 精确到小数点后一位 | 训练数据、评测集、prompt 模板都可能不同 |
一句话：在 AI 领域，"有数字"不等于"有证据"。 你必须自己给信息分级，这是本书与市面上绝大多数教程最大的区别。
分级标准（S 级最高，D 级最低）¶
| 等级 | 含义 | 判断标准 | 你该怎么用 |
|---|---|---|---|
| S | 可直接依赖 | ≥2 个独立来源交叉验证，且都不是利益相关方 | 当事实引用 |
| A | 方向可信，细节存疑 | 单一官方来源（厂商公告、官方博客、官方文档） | 引用时注明"官方说法" |
| B | 谨慎参考 | 立场性媒体或单一二手报道 | 只用来"知道有这事"，不引用具体数字 |
| C | 默认不信 | 厂商自己的对比表 / 自家榜单 / 自家评测 | 只当营销素材看，数字一律不引用 |
| D | 当成噪音 | 无法验证的传闻、截图、群聊转发 | 不进入你的技术决策 |
分级时问自己三个问题¶
- 谁在说话？（说话的人有没有钱从这个结论里赚？）
- TypeSafe 自己发的"Jev 比 GPT 准确" → C 级
- 微软官方博客发布的自家模型规格 → A 级
- 他们测的时候，对手是不是被打压了？（prompt 模板、量化、数据集、有没有剔除困难样本）
- 一切"我们 76.6% vs 他们 72.7%"先扣到 C 级，除非你能找到双方都用同一套方法的证据
- 有没有第三方？（独立于双方的评测方）
- 官方也承认跑分"不是受控对比"→ 说明连厂商自己都不完全信
一个真实案例：决策模型的跑分（本书 v2.1 的 review 记录）¶
2026 年 10 月，某 Java 转 AI 的读者（也就是本书作者）问："后训练和决策模型有关吗？最近好多决策模型，对这本书有冲击吗？"
这个问题的背景是：2026 年 9 月 15 日起，一个叫 Jev 的闭源决策模型发布，随后一个月内出现大量开源"平替"。全网都在讨论跑分。
我们按上面的标准分级：
| 事实/数字 | 来源 | 分级 | 结论 |
|---|---|---|---|
| 决策模型的形态（输出概率不写字） | Simon Willison 博客 + TechTarget 报道 + 官方文档 | S | 当事实讲 |
| JEV-27B 的训练方式（冻结 Qwen3.8-27B + 训 0.4% 决策块） | PRNewswire 官方新闻稿 | A | 当"官方做法"引用 |
| 开源跟进（JEV-27B / Laya / decider 等） | 官方新闻稿 + 多个独立项目 README | A | 可列举 |
接口统一（/v1/systemone） |
多个开源项目 README + 微软博客 | A | 工程可用性可信 |
| "Jev 准确率 67.8% vs GPT 74.1%" | Jev 自己发布的对比表 | C | 本书不引用 |
| "JevBench 榜单开源模型超过 Jev" | Jev 官网运营的榜单 | C | 本书不引用（无法独立验证） |
| 某开源模型"不微调准确率低于瞎猜基线" | 立场性技术媒体 | B | 只说"有报道称"，不给具体数字 |
我们写进书里的只有 S 和 A 级的结论，并且在 17 篇加了明确的可信度声明。跑分、榜单、"谁打败谁"一律不引用。
半年后复盘约定（2027 年 4 月）¶
本书第 17 篇提到，判别式后训练（决策模型）是一个只有 1 个月历史的新品类。我们约定：2027 年 4 月，本书作者会重新 review 一次这个品类。
到那天要回答三个问题： 1. 品类成立了吗？ 决策模型还在被主流采用，还是变成一个细分噱头？ 2. 跑分可信了吗？ 有没有独立第三方评测（不是利益相关方）给出稳定结论？ 3. 要不要补一篇 26 章？ 如果成立，补《System 1 vs System 2：你的系统该在哪一层用决策模型》；如果不成立，本书现有内容依然正确。
这次复盘的判据就是本附录的分级标准——半年后不管外面怎么吹，我们只信 S/A 级证据。
为什么这个约定值得写进书里？ 因为它是本书最想教你的能力——不是记住 2026 年的结论，而是掌握一套判断"新结论能不能信"的方法。 半年后所有模型榜单都会过时，但"给证据分级"这件事永远不过时。
本书自身的时效性声明（方法论用在自己身上）¶
教了方法论不执行，等于没教。所以我们把本书里会过时的地方自己列出来——这正是本附录分级标准的一次自我应用：
| 位置 | 引用的时效性信息 | 预估保鲜期 | 过时后怎么办 |
|---|---|---|---|
| 09 篇 | 上下文窗口数字（GPT-4o 128k / Claude 200k 等具体数值） | 约 1 年（这个数字每年都在涨） | 查各模型官方 Model Card |
| 11 篇 | DeepSeek API 的 base_url 和模型名 deepseek-chat |
约 1 年 | 查官方文档，OpenAI 兼容协议不变则只需改模型名 |
| 13 篇 3.5 | Unsloth Studio 的随机端口（作者机器 53967）与 key 文件名模式 | 约 6 个月（端口随机、路径随版本变） | 在 Unsloth 界面看端口；cat ~/.unsloth/studio/auth/llama_api_key_* 找 key；别背这个端口，以你界面上的为准 |
| 13 篇 3.5 | oMLX 的 507 报错文案与内存数字（4.59GB ceiling 等） |
约 1 年 | 数字是你那台机器当次的，别人的不能抄。用 omlx serve --help 看当前 flag |
| 17/18 篇 | 后训练算法排序（如 SFT 54.4% > DPO 49.1%） | 约 6 个月（这个领域半年一变） | 查近期综述论文，不要信博客 |
| 17 篇 | 决策模型（JEV-27B 的 0.4% 参数等） | 标了半年复盘，2027-04 | 到期按本附录分级标准重判 |
| 23 篇 | oMLX CLI 参数（--memory-guard 等） |
约 1 年 | omlx serve --help（该工具的 flag 漂移频繁） |
| 各篇 | 具体模型名（Qwen3.5、Claude Opus 5 等） | 约 1 年 | 换当下最新版本，方法论不变 |
| 不引用 | 各家模型的跑分对比、"谁打败谁" | — | 本书从不引用，见上方分级 |
不变的（这些可以放心信）： - 所有代码的结构与思路（工具链会变，YAML 的写法不会） - Java ↔ AI 的概念映射（对照室两张表） - 所有方法论：RAG 六工位、后训练五工位、评测三工位、KV Cache 算式 - 证据分级标准本身——模型月月换，这套标准不会
给读者的提醒：如果你在 2027 年读这本书，看到某个模型名或某个数字对不上，别急着怀疑你读错了——大概率只是这个世界走远了。 回到这张表，它标明了哪些该查新、哪些不会变。
给你的三句话¶
- 看到"某模型打败某模型"，先问"谁测的"——自己测的还是独立测的？
- 看到精确到小数点后一位的数字，先问"对照组同样条件吗"——如果条件不同，这数字就是噪音。
- 看到"全网都在转"，先问"源头是谁的营销部"——AI 领域的传播速度和证据质量经常成反比。
这三条比本书任何一章的技术细节都更保质。 因为模型会过时，但人骗你的方法不会。
返回目录 · 相关： 17 · 后训练地图（含可信度声明）