核心概念

流式输出

以流式方式接收模型输出。

设置 stream: true 增量接收文本，无需等待完整响应。流式输出不改变模型上下文限制。

发起请求

从模型广场选择支持 OpenAI 兼容流式调用的模型。在 Bash 中执行整段，按提示输入令牌与模型名。需要 curl 和 Python 3；curl -N 关闭输出缓冲。

Bash

export API_BASE_URL='https://xtemapi.com/v1'
read -r -s -p 'API Key: ' API_KEY; printf '\n'
read -r -p 'Model: ' MODEL
export API_KEY MODEL
curl -N "$API_BASE_URL/chat/completions" \
  -H "Authorization: Bearer $API_KEY" \
  -H 'Content-Type: application/json' \
  --data "$(python3 -c 'import json,os; print(json.dumps({"model":os.environ["MODEL"],"messages":[{"role":"user","content":"Hello"}],"stream":True}))')"

读取与中断处理

OpenAI 兼容流使用 SSE，解析 data: 事件中的 JSON，从 choices 的 delta 中累积文本；忽略没有文本的事件，收到 data: [DONE] 时结束。不要把整个流作为一个 JSON 解析。Anthropic 的事件结构不同，请使用 Anthropic SDK 的流式接口。

连接中断时保留已收到的内容并提示输出未完成。不要将部分输出视为完整成功响应，也不要假定重试会从断点继续。查看报错码，检查本地代理与网络后再决定是否重新请求。实际用量以控制台日志为准，见计费说明。