提示工程

生產級提示工程:從指令到可量測契約

OPNFTR 原創內容,圍繞 AI、技術與實踐展開。

OPNFTR 原創內容
提示評測結構化輸出可靠性

先定義輸出契約

提示不是一段神秘文案,而是應用程式輸入協定的一部分。先寫清楚任務目標、可使用的上下文、輸出欄位、拒答條件和驗收規則,再決定文字如何組織。結構化契約能讓提示進入版本管理和自動化測試。

一個可執行的最小契約如下:

任務:將工單分類並擷取優先級
輸入:標題、內文、客戶等級
輸出:{"category":"string","priority":"low|normal|high","reason":"string"}
限制:證據不足時 priority 必須為 normal,並說明缺少的資訊

分層放置上下文

系統規則負責身分、邊界和安全要求;使用者訊息承載本次任務;檢索資料則獨立標示來源和時間。不要把權限判斷寫成「請模型自行決定」,權限必須由伺服器執行。長篇資料應先篩選和壓縮,避免每次呼叫都帶入無關文字。

用樣本驅動迭代

建立涵蓋正常、邊界、惡意和缺少欄位的樣本集。每次修改提示都比較結構化輸出通過率、拒答準確率、引用覆蓋率和平均 token。提示版本和模型版本要一起記錄,才能解釋線上結果變化。

讓失敗可以恢復

解析失敗時先重試一次修復格式,再轉交人工或回傳清楚錯誤;不要無限重試。對外發送、寫入資料庫和扣款等副作用必須由程式碼驗證並帶冪等鍵,模型只能提出候選動作。

資料來源

可參考 OpenAI 提示工程指南、Anthropic 提示工程 和 OWASP LLM 應用安全風險。

返回知識列表
大型語言模型 API 串接與成本大型語言模型 API 串接與成本最佳化API · 成本 · 可靠性AI 評測與可觀測性AI 應用程式評測與可觀測性:把回答品質變成訊號評測 · 可觀測性 · 品質模型微調參數高效微調:LoRA 選擇、評測與上線邊界LoRA · PEFT · 訓練
產品中心 Demo · V0.3