把一次 AI 实验，留成可以重做的记录

隔一段时间回看一次模型实验，最容易丢掉的不是结果，而是当时为什么这样设置。如果只剩下一段输出，就很难分清改进来自模型、资料还是参数。

让记录围绕一个问题展开

每份记录先写一个具体问题，例如“引用是否能对应到原资料中的段落”。问题足够具体，才能决定接下来该保存哪些信息。没有问题意识的日志容易越存越多，却难以回答为什么这次实验有价值。

随后保留输入样本、资料版本和运行设置。涉及真实个人信息或业务数据时，先做必要脱敏。实验可复现并不要求公开所有原始数据，更不需要把密码、接口密钥或用户隐私复制进笔记。

一份我会保留的记录骨架

问题：这次准备验证什么？
输入：问题样本与资料版本是什么？
设置：模型、参数及依赖版本是什么？
观察：实际得到什么，失败在哪里？
解释：哪些结论有证据，哪些只是推测？
下一步：只改变哪一个条件，再做比较？

这个骨架的重点不是格式，而是把观察与解释分开。例如“第三个问题未给出引用”属于观察；“重排模型不适合该任务”是解释，需要进一步的对照实验。直接把解释写成事实，会让后来的人很难判断是否还需要重新验证。

尽量一次只改变一个关键条件

同时更换模型、提示词、切分方式和候选数量，可能让结果变好，却很难知道哪一项真正起了作用。学习阶段可以先保持其他条件不变，只调整一个因素，再记录好处与代价。

有时环境无法完全固定，例如外部服务升级或请求负载变化。这些限制也应写下来。不能完全重现，不代表记录没有价值；但需要降低结论强度，避免把环境波动误认为稳定收益。

让笔记可以被修正

发布笔记时保留日期、参考资料和适用范围，发现错误后在原文修订，而不是只新增一篇相互矛盾的文章。对我来说，个人站的意义正是在这里：把学习过程变成可回看、可讨论依据、也可继续完善的记录。