 wizardchen
|
386df92582
|
fix(chat): LLM 兜底超时仅在上层无 deadline 时生效，并修复 ChatStream raw HTTP 路径的 cancel 泄漏
PR #1238 引入的 context.WithTimeout 会把上层 ctx 的 deadline 强制截断到
默认 120s/300s，导致调用方无法设置更长的合理超时（例如长推理模型场景）。
同时 ChatStream 在走 chatStreamWithRawHTTP 早返回路径时丢弃了 cancel
函数，timeoutCtx 要等 deadline 到期才释放，go vet/lostcancel 也会告警。
本次修复：
- 新增 withLLMTimeout 辅助函数：仅在上层 ctx 没有 deadline 时附加默认
超时；上层若已显式设置 deadline（无论比默认更短还是更长），都原样
尊重，把超时的最终决定权交还给调用方。
- 默认值通过环境变量可覆盖：
- WEKNORA_LLM_CHAT_TIMEOUT_SECONDS （默认 120s）
- WEKNORA_LLM_STREAM_TIMEOUT_SECONDS （默认 300s）
- 修复 ChatStream raw HTTP 早返回路径未调用 cancel 的泄漏：新增
wrapStreamCancel，在底层 channel 关闭后统一执行 cancel。
- 补充单测覆盖三种 deadline 场景与环境变量解析。
|
2026-05-10 00:16:12 +08:00 |
|