AIニュース
用 Node 调大模型 API 时，「返回 200」不等于成功：我们怎么测 AI 中转站的流式稳定性
2026.10.17 4:52
Cnodejs.org
利益相关：文末的 Folkbench 是我们自己做的。
很多人在 Node 服务里接大模型都会走中转站。我们自己踩过一个很典型的坑：健康检查只看 res.status === 200，结果有的中转站在上游 429/401 的时候也返回 200，SSE 流到一半直接塞一个 data: [DONE]，甚至把 {"error": ...} 当成模型的回答流出来。监控一片绿，线上用户却在抱怨「话说到一半就断了」。
后来我们判断「成功」的标准改成了这样：
// 一个最小的判断：流式请求必须同时满足这几条，才算成功
let …
検索
人気記事
コメント一覧
まだコメントはありません。