为什么需要流式输出
1. 更好的用户体验
传统方式:等待完整响应
1 | 用户:写一首诗 |
流式方式:实时显示
1 | 用户:写一首诗 |
2. 感知速度更快
- 完整响应:等待 5 秒 → 显示内容
- 流式响应:0.1 秒后开始显示 → 逐步更新
3. 交互更自然
- 可以提前看到内容方向
- 发现问题时可以中断
- 类似与真人对话的感觉
SSE 协议
Server-Sent Events 是流式输出的标准协议:
1 | data: {"content": "你", "done": false} |
导航
上一篇: 4.4 内置工具实现
下一篇: 5.2 SSE 协议实现