大模型应用-筑基期【06:Prompt调试与迭代方法】

大模型应用-筑基期【06:Prompt调试与迭代方法】

W3 · 知识点06:Prompt调试与迭代方法

学习目标:以设备维修系统为场景,建立系统化的Prompt调试方法论,像调试代码一样调试提示词。


一、Prompt调试的核心原则

你的设备维修系统上线后,用户反馈"AI诊断的结果不靠谱"。这时候你不能瞎改Prompt,需要像debug代码一样,定位问题出在哪一句。

写Prompt → 用真实维修案例测试 → 分析输出哪里不对 → 定向修改 → 再测试 → 稳定可用

二、设备维修场景的常见"症状"与"处方"

症状可能的原因解决方案
诊断太笼统:“可能是机械故障”没有要求具体分析到部件加"请具体到哪个零部件"
给出不存在的零件型号模型幻觉加"如果不确定型号,请标注’需确认’"
安全注意事项遗漏没有明确要求加"必须列出操作前的安全确认步骤"
维修步骤顺序混乱没有约束结构加"按操作先后顺序排列"
每次都给出不同诊断Temperature太高降低到0.1-0.3
用词过于专业,客户看不懂角色设定不对切换为"面对非技术客户的客服角色"

三、实战迭代:设备故障诊断Prompt

第一轮:基础版(先跑通)

"分析这个设备故障:空压机运行时发出金属摩擦声,温度偏高。" → 输出:可能是轴承问题,建议检查。 ← 太笼统

第二轮:加角色和约束

"你是一位资深设备维修工程师。请分析以下故障: 空压机运行时发出金属摩擦声,温度偏高。 要求: - 列出前3个最可能的故障原因 - 给出每个原因的排查方法 - 说明维修优先级" → 好多了,但格式不统一

第三轮:加结构化输出

"你是一位资深设备维修工程师。请分析以下故障: 空压机运行时发出金属摩擦声,温度偏高。 请按以下格式输出: ## 故障分析 ### 可能原因(按可能性排序) 1. **[原因]** - 可能性:高/中/低 - 排查方法:___ - 所需工具:___ 2. ... ### 建议操作 1. 立即:___ 2. 短期:___ ### 安全提醒 - ___" → 格式稳定,内容专业。可以入库了。

第四轮:处理边界情况

...前面的内容不变... 额外要求: - 如果信息不足以判断,明确指出需要补充哪些信息 - 不要编造不确定的设备参数 - 如果故障涉及安全风险,必须在开头用 ⚠️ 标注

四、Prompt调试工具箱(设备维修版)

技巧1:让AI告诉你它需要什么信息

"我想让你帮我诊断设备故障。在开始之前,请告诉我你需要哪些信息才能做出准确的诊断?" AI回复可能包括: - 设备型号和生产年份 - 故障发生的时间和频率 - 最近一次保养时间 - 运行环境的温湿度 - 是否有异常声音/气味/振动 → 这就是你的维修工单应该收集的字段!

技巧2:让AI自我审查诊断结果

"请检查你刚才的故障诊断: 1. 是否有不符合实际物理规律的判断? 2. 是否遗漏了安全风险? 3. 维修步骤的操作顺序是否合理? 如果有问题,请修正。"

技巧3:用真实案例做回归测试

准备10个已知的设备故障案例(含标准答案),每次修改Prompt后全部跑一遍: | 案例 | 修改前 | 修改后 | 变化 | |------|--------|--------|------| | 轴承磨损 | ✅正确 | ✅正确 | 无 | | 电气短路 | ❌漏判 | ✅正确 | 改善 | | 液压油泄漏 | ✅正确 | ❌误判 | 退化! | → 发现修改导致了回归问题,需要调整

五、动手练习

练习1:Prompt迭代日志

选一个设备维修任务(例如"根据故障描述生成维修工单"),记录迭代过程:

版本1: [Prompt] → [输出] → [问题:格式不统一] 版本2: [加了格式模板] → [变化] → [问题:字段缺失] 版本3: [加了字段完整性要求] → [最终输出] → [满意]

练习2:建立设备维修Prompt测试集

收集10个不同类型的设备故障案例,作为你每次修改Prompt后的"单元测试"。

练习3:调试清单

设备维修Prompt调试检查清单: - [ ] 角色设定是否匹配目标用户(维修工/管理员/客户)? - [ ] 是否覆盖了安全风险提醒? - [ ] 输出格式是否可直接被系统使用? - [ ] 是否处理了信息不足的情况? - [ ] 是否在10个测试案例上全部通过?

六、本知识点检验标准

  • 能根据输出"症状"快速定位设备维修Prompt的问题
  • 建立了自己的Prompt迭代方法论和测试集
  • 完成至少1个Prompt从"不好用"到"稳定可用"的完整迭代记录