← Back to learning path

This chapter has not been reviewed in English; the original Simplified Chinese is shown.

Chapter · Published

AI 应用流式输出与部分失败:让用户看见真实状态 (original language)

设计可取消的流式响应、超时和部分失败状态,避免把等待伪装成成功。

Source: knowledge/p27/ai-application-development/tutorials/ai-app-streaming-and-partial-failure.mdAI application development
Chapter progress 0%Learning path progress 0% · 0/10 chapters completedContinue learning path →

AI 应用的体验不只取决于最终文本。网络中断、工具超时和模型拒答都应在界面和事件中体现,客户端不能把半截响应当作完整成功。

核心概念

把请求分为 queued、streaming、completed、cancelled 和 failed。服务端发送带序号的事件,客户端检测断档并支持取消;最终状态由服务端明确结束事件决定。

可运行示例

def accept_event(last_sequence: int, event: dict) -> int:
    sequence = int(event['sequence'])
    if sequence != last_sequence + 1:
        raise ValueError('stream gap')
    if event['type'] not in {'delta', 'done', 'error'}:
        raise ValueError('unknown event')
    return sequence

assert accept_event(0, {'sequence': 1, 'type': 'delta'}) == 1

操作步骤

  1. 定义事件 schema、序号、结束事件和错误码,先用固定事件流测试客户端。
  2. 为模型和工具分别设置超时,超时后发送可解释状态并保留 request id。
  3. 客户端发现断档、取消或页面离开时停止渲染,提供重新请求而不是拼接未知内容。
  4. 统计完成、取消、超时和人工接管比例,避免把重试请求重复计为成功。

Use cases

适合客服、写作和资料分析界面;支付、权限和数据修改仍应使用显式确认的非流式写操作。

常见问题

断线后能继续流吗? 只有服务端支持按 request id 恢复,否则重新请求并标识为新运行。

部分文本要不要保存? 按隐私策略决定,默认只保存摘要和状态。

错误能让模型自己改写吗? 错误码由服务端产生,模型只能提出下一步建议。

延伸阅读

官方参考

OpenAI Structured Outputs;OpenAI Production best practices。

最后核对日期:2026-11-17。涉及版本、接口、模型行为和价格的结论以链接中的官方资料为准;本文不把一次本地运行结果表述为通用性能结论。

Related practical cases

Knowledge实战:AI 应用流式中断与恢复提示 (original language)
Product Hub Demo · V0.3