提示词工程

生产级提示词工程:从指令到可测量契约

OPNFTR 原创内容,围绕 AI、技术与实践展开。

OPNFTR 原创内容
提示词评测结构化输出可靠性

先定义输出契约

提示词不是一段神秘的文案,而是应用输入协议的一部分。先写清任务目标、允许使用的上下文、输出字段、拒答条件和验收规则,再决定如何组织文字。结构化的契约能让提示词进入版本管理和自动化测试。

一个可执行的最小契约如下:

任务:把工单归类并提取优先级
输入:标题、正文、客户等级
输出:{"category":"string","priority":"low|normal|high","reason":"string"}
约束:证据不足时 priority 必须为 normal,并说明缺少的信息

分层放置上下文

系统规则负责身份、边界和安全要求;用户消息携带本次任务;检索资料单独标记来源和时间。不要把权限判断写成“请模型自行决定”,权限必须在服务端执行。长资料应先筛选和压缩,避免把无关文本塞进每一次调用。

用样本驱动迭代

建立一组覆盖正常、边界、恶意和缺少字段的样本。每次修改提示词都比较结构化输出通过率、拒答准确率、引用覆盖率和平均 token。把提示词版本与模型版本一起记录,才能解释线上结果变化。

失败要可恢复

解析失败时先重试一次修复格式,再转人工或返回明确错误;不要无限重试。对外发送、写库和扣费等副作用必须由代码校验并带幂等键,模型只能提出候选动作。

资料来源

可参考 OpenAI 提示词工程指南、Anthropic 提示词工程 和 OWASP LLM 应用安全风险。

返回知识列表
大模型 API 接入与成本大模型 API 接入与成本优化API · 成本 · 可靠性AI 评测与可观测性AI 应用评测与可观测性:把回答质量变成信号评测 · 可观测性 · 质量模型微调参数高效微调:LoRA 选择、评测与上线边界LoRA · PEFT · 训练
产品中心 Demo · V0.3