AI 应用的体验不只取决于最终文本。网络中断、工具超时和模型拒答都应在界面和事件中体现,客户端不能把半截响应当作完整成功。
核心概念
把请求分为 queued、streaming、completed、cancelled 和 failed。服务端发送带序号的事件,客户端检测断档并支持取消;最终状态由服务端明确结束事件决定。
可运行示例
def accept_event(last_sequence: int, event: dict) -> int:
sequence = int(event['sequence'])
if sequence != last_sequence + 1:
raise ValueError('stream gap')
if event['type'] not in {'delta', 'done', 'error'}:
raise ValueError('unknown event')
return sequence
assert accept_event(0, {'sequence': 1, 'type': 'delta'}) == 1
操作步骤
- 定义事件 schema、序号、结束事件和错误码,先用固定事件流测试客户端。
- 为模型和工具分别设置超时,超时后发送可解释状态并保留 request id。
- 客户端发现断档、取消或页面离开时停止渲染,提供重新请求而不是拼接未知内容。
- 统计完成、取消、超时和人工接管比例,避免把重试请求重复计为成功。
Use cases
适合客服、写作和资料分析界面;支付、权限和数据修改仍应使用显式确认的非流式写操作。
常见问题
断线后能继续流吗? 只有服务端支持按 request id 恢复,否则重新请求并标识为新运行。
部分文本要不要保存? 按隐私策略决定,默认只保存摘要和状态。
错误能让模型自己改写吗? 错误码由服务端产生,模型只能提出下一步建议。
延伸阅读
官方参考
OpenAI Structured Outputs;OpenAI Production best practices。
最后核对日期:2026-11-17。涉及版本、接口、模型行为和价格的结论以链接中的官方资料为准;本文不把一次本地运行结果表述为通用性能结论。
