流式输出
-
流式输出不是“加速魔法”,而是 Agent 工程的体验关键
《从零手撸 Agent》第四篇讲解流式输出:从自回归生成原理、TTFT 指标,到 chunk 处理、结束信号和 Agent 内外调用差异,帮助开发者理解如何接住模型逐字生成。
-
LLM“打字机效果”背后:用 Node.js 与 SSE 实现流式输出
从 Node.js 手写 SSE 服务到 LLM API 的 stream: true,本文拆解大模型“打字机效果”背后的工程实现。
《从零手撸 Agent》第四篇讲解流式输出:从自回归生成原理、TTFT 指标,到 chunk 处理、结束信号和 Agent 内外调用差异,帮助开发者理解如何接住模型逐字生成。
从 Node.js 手写 SSE 服务到 LLM API 的 stream: true,本文拆解大模型“打字机效果”背后的工程实现。