提示词版本管理与效果对比：怎么判断改动是变好还是变坏

为什么"感觉变好了"不算数

提示词改到第三版之后，大多数人会遇到同一个困境：新的这版到底是不是更好，说不清。你记得它解决了上次那个问题，但忘了它是不是同时弄坏了别的例子。凭印象判断的结果是反复来回改，最后停在某一版，也不知道它是不是最好的那一版。

解决办法不复杂：把提示词当代码管，给它版本号、固定测试集，每次改动都跑一遍对比。

第一步：给提示词建立版本记录

不需要复杂工具，一个表格就够。每次改动记一行：

关键纪律是一次只改一处。同时改三处，结果变好你也不知道是哪一处起的作用，下次遇到别的问题就无法复用这个经验。

第二步：建一个固定测试集

测试集是这套方法里唯一需要花点心思的部分。建议 8-15 条，覆盖这三类：

1. 典型输入（5-8 条）：你日常最常遇到的情况。这部分决定提示词的基线质量。
2. 边界输入（2-4 条）：信息不全的、超长的、格式混乱的、和主题不太相关的。这部分决定提示词稳不稳。
3. 历史翻车案例（2-3 条）：以前真实出过错的那几次输入。这部分防止你改回去。

测试集一旦定下来就不要再改。如果测试集跟着提示词一起变，你就失去了比较的基准。新增案例可以，但旧案例不能删——除非它本身是错的。

第三步：怎么对比两版结果

直接让模型"评价哪个更好"是不可靠的，它倾向于选择更长、更详细、语气更自信的那个。更可靠的做法是盲评对比：

下面是对同一个任务的两次输出，分别标记为 A 和 B。
请按以下维度分别打分（1-5 分）并说明理由：
1. 是否严格满足约束（格式、篇幅、禁忌项）
2. 事实性：有无编造、有无无法溯源的数字
3. 是否处理了信息缺口（明确说"未提供"）
4. 可直接使用的程度（需要返工多少）

评分时不要考虑长度和语气。最后给出判断：哪个更好，或者"差异不明显"。

【原始输入】（粘贴）
【约束】（粘贴）
【输出 A】（粘贴）
【输出 B】（粘贴，A、B 顺序随机）

注意最后一句「或者差异不明显」——不给这个选项，模型会被迫选一个。

怎么用

1. 先定测试集再改提示词。顺序反了，你会不自觉地挑对自己的改法有利的例子。
2. 把「必须满足」和「最好满足」分开。格式、禁忌项属于前者，一旦违反直接判不通过，不进入打分环节。
3. 只比较同一次运行的两版结果。模型本身有随机性，v2 今天跑赢 v3 不代表 v2 更好，要在完整测试集上比。
4. 记录失败模式而不是失败次数。「v3 在边界输入上倾向于自己补数据」比「v3 错了 3 条」有用得多。
5. 接受"没有明显差异"。如果两版差别不大，就别再改了——继续改只会引入新的不确定性。

常见误区

• 用单个例子验证。在一条例子上变好，很可能在另一条上变差。这是提示词迭代中最常见的自我欺骗。
• 同时改提示词和测试集。比较基准变了，前面的记录全部作废。
• 把提示词越改越长。约束不断叠加，最后互相矛盾。超过 5 条硬约束时，应该考虑拆成两个提示词。
• 只记录成功版本。失败的版本同样有价值——它告诉你哪条路走不通。

延伸阅读

约束怎么写才可执行，见角色／任务／约束三分法；需要现成模板作为起点，见结构化提示词模板库。