12 KiB
12 KiB
LLM Context Manager - 大模型上下文管理器
概述
LLM Context Manager 是一个专门用于管理大模型对话上下文的组件,它独立于消息存储系统,专注于管理发送给大模型的上下文窗口。
关键特性
- 独立管理: 与消息的数据库存储分离,专门管理发送给 LLM 的上下文
- Token 限制管理: 自动监控和管理上下文的 Token 数量
- 智能压缩: 当上下文超出限制时,自动应用压缩策略
- 按 Session 维护: 每个会话独立管理其上下文
- 灵活配置: 支持会话级别的自定义配置
为什么需要 Context Manager?
问题背景
-
消息存储 vs LLM 上下文:
- 消息存储:完整保存所有对话历史,用于展示和审计
- LLM 上下文:有 Token 限制,需要精简管理
-
Token 限制: 不同模型有不同的上下文窗口限制(如 4K, 8K, 16K tokens)
-
性能优化: 过长的上下文会增加推理时间和成本
解决方案
Context Manager 提供:
- 自动管理上下文窗口大小
- 智能压缩历史消息
- 保留最重要的上下文信息
- 与消息存储解耦
架构设计
┌─────────────────────────────────────────────────────────────┐
│ Session Service │
│ │
│ ┌──────────────────┐ ┌──────────────────┐ │
│ │ Message Repo │ │ Context Manager │ │
│ │ (Complete │ │ (LLM Context │ │
│ │ History) │ │ Window) │ │
│ └──────────────────┘ └──────────────────┘ │
│ │ │ │
│ │ Save all messages │ Manage LLM │
│ │ for display │ context │
│ ▼ ▼ │
│ ┌──────────────────┐ ┌──────────────────┐ │
│ │ Database │ │ In-Memory │ │
│ │ (Persistent) │ │ (Session-based) │ │
│ └──────────────────┘ └──────────────────┘ │
└─────────────────────────────────────────────────────────────┘
压缩策略
1. 滑动窗口策略 (Sliding Window)
保留最近的 N 条消息,丢弃更早的消息。
优点:
- 简单高效
- 不需要额外的 LLM 调用
- 适合短期对话
配置示例:
{
"enabled": true,
"max_tokens": 8192,
"compression_strategy": "sliding_window",
"recent_message_count": 20
}
工作原理:
原始消息: [system, msg1, msg2, msg3, ..., msg18, msg19, msg20, msg21, msg22]
↑
保留最近20条消息
压缩结果: [system, msg3, msg4, ..., msg20, msg21, msg22]
└─────┘ └──────────────────────────────────┘
保留系统消息 保留最近的20条消息
2. 智能压缩策略 (Smart Compression)
使用 LLM 总结旧消息,保留最近消息的完整内容。
优点:
- 保留历史关键信息
- 更好的上下文连贯性
- 适合长期对话
配置示例:
{
"enabled": true,
"max_tokens": 8192,
"compression_strategy": "smart",
"recent_message_count": 10
}
工作原理:
原始消息: [system, msg1, msg2, ..., msg15, msg16, msg17, msg18, msg19, msg20]
└───────────────┘ └─────────────────────────────┘
旧消息(总结) 最近消息(保留)
压缩结果: [system, summary, msg16, msg17, msg18, msg19, msg20]
└─────┘ └──────┘ └──────────────────────────────┘
系统消息 总结 保留最近的10条消息(完整)
使用方法
1. 默认配置
如果不设置 context_config,系统使用默认配置:
- 最大 Token: 8192
- 策略: 滑动窗口
- 保留消息数: 20
// 不需要特别配置,自动使用默认设置
session := &types.Session{
TenantID: tenantID,
KnowledgeBaseID: kbID,
// context_config 为 nil,使用默认配置
}
2. 自定义配置 - 滑动窗口
session := &types.Session{
TenantID: tenantID,
KnowledgeBaseID: kbID,
ContextConfig: &types.ContextConfig{
Enabled: true,
MaxTokens: 16384, // GPT-4 的上下文窗口
CompressionStrategy: types.ContextCompressionSlidingWindow,
RecentMessageCount: 30, // 保留最近30条消息
},
}
3. 自定义配置 - 智能压缩
session := &types.Session{
TenantID: tenantID,
KnowledgeBaseID: kbID,
SummaryModelID: "gpt-4", // 用于总结的模型
ContextConfig: &types.ContextConfig{
Enabled: true,
MaxTokens: 8192,
CompressionStrategy: types.ContextCompressionSmart,
RecentMessageCount: 15, // 保留最近15条完整消息
},
}
4. 通过 API 创建/更新会话
# 创建带上下文配置的会话
curl -X POST http://localhost:8080/api/v1/sessions \
-H "Content-Type: application/json" \
-H "X-Tenant-ID: 1" \
-d '{
"knowledge_base_id": "kb-123",
"context_config": {
"enabled": true,
"max_tokens": 8192,
"compression_strategy": "sliding_window",
"recent_message_count": 20
}
}'
工作流程
对话流程
1. 用户发送消息
↓
2. 保存消息到数据库 (Message Repo)
↓
3. 添加消息到上下文管理器 (Context Manager)
↓
4. Context Manager 检查 Token 限制
↓
5. 如果超出限制,应用压缩策略
↓
6. 获取压缩后的上下文
↓
7. 发送给 LLM
↓
8. 保存响应到数据库
↓
9. 添加响应到上下文管理器
代码示例
// 在 AgentQA 中的使用
func (s *sessionService) AgentQA(ctx context.Context, sessionID, query string, assistantMessageID string) (
[]*types.SearchResult, <-chan types.StreamResponse, error,
) {
// 1. 获取会话配置
session, err := s.sessionRepo.Get(ctx, tenantID, sessionID)
// 2. 从上下文管理器获取 LLM 上下文(自动应用压缩)
history, err := s.getContextForSession(ctx, session, sessionID)
// history 是压缩后的,适合发送给 LLM 的消息列表
// 3. 执行 Agent
eventChan, err := engine.ExecuteStreamWithHistory(ctx, query, history)
// 4. 保存新消息后,添加到上下文管理器
// s.AddMessageToContext(ctx, session, sessionID, newMessage)
return searchResults, responseChan, nil
}
配置参数说明
ContextConfig 字段
| 字段 | 类型 | 说明 | 默认值 |
|---|---|---|---|
enabled |
bool | 是否启用上下文管理 | true |
max_tokens |
int | 最大 Token 数 | 8192 |
compression_strategy |
string | 压缩策略: "sliding_window" 或 "smart" | "sliding_window" |
recent_message_count |
int | 保留的最近消息数 | 20 (sliding_window) 10 (smart) |
推荐配置
短期对话(客服、问答)
{
"enabled": true,
"max_tokens": 4096,
"compression_strategy": "sliding_window",
"recent_message_count": 15
}
长期对话(咨询、助手)
{
"enabled": true,
"max_tokens": 8192,
"compression_strategy": "smart",
"recent_message_count": 10
}
高端模型(GPT-4 Turbo, Claude)
{
"enabled": true,
"max_tokens": 16384,
"compression_strategy": "smart",
"recent_message_count": 20
}
监控和调试
查看上下文统计
// 获取上下文统计信息
stats, err := contextManager.GetContextStats(ctx, sessionID)
if err == nil {
log.Printf("Session %s context stats:", sessionID)
log.Printf(" Messages: %d", stats.MessageCount)
log.Printf(" Tokens: ~%d", stats.TokenCount)
log.Printf(" Compressed: %v", stats.IsCompressed)
log.Printf(" Original messages: %d", stats.OriginalMessageCount)
}
日志示例
INFO Using custom context config for session abc123: strategy=smart, max_tokens=8192, recent_count=10
INFO Context exceeds max tokens (9500 > 8192), applying compression
INFO Summarizing 15 old messages
INFO Successfully summarized 15 messages
INFO Smart compression: 25 -> 11 messages (system: 1, compressed: 1, recent: 10)
INFO LLM context stats for session abc123: messages=11, tokens=~7800, compressed=true
与消息存储的区别
| 特性 | 消息存储 (Message Repo) | 上下文管理器 (Context Manager) |
|---|---|---|
| 目的 | 完整保存对话历史 | 管理 LLM 输入上下文 |
| 存储 | 数据库(持久化) | 内存(会话级别) |
| 内容 | 所有消息(完整) | 压缩后的消息 |
| 大小限制 | 无限制 | 受 Token 限制 |
| 使用场景 | 展示历史、审计 | LLM 推理输入 |
| 生命周期 | 永久保存 | 会话期间 |
最佳实践
-
选择合适的策略:
- 短对话 → 滑动窗口(性能更好)
- 长对话 → 智能压缩(保留更多上下文)
-
配置 Token 限制:
- 设置为模型上下文窗口的 70-80%
- 为响应留出足够空间
-
调整保留消息数:
- 滑动窗口: 15-30 条消息
- 智能压缩: 8-15 条最近消息
-
监控压缩效果:
- 定期检查 Token 使用情况
- 观察压缩是否影响对话质量
-
性能考虑:
- 智能压缩会额外调用 LLM(有成本)
- 滑动窗口无额外开销
数据库迁移
运行以下迁移脚本添加 context_config 字段:
MySQL
mysql -u root -p your_database < migrations/mysql/06-add-context-config-to-sessions.sql
ParadeDB/PostgreSQL
psql -U postgres -d your_database -f migrations/paradedb/06-add-context-config-to-sessions.sql
常见问题
Q1: 上下文管理器的数据会持久化吗?
A: 不会。上下文管理器是内存级别的,按 Session 维护。重启后会清空,需要从消息历史重新构建。
Q2: 如何清空某个会话的上下文?
A:
err := contextManager.ClearContext(ctx, sessionID)
Q3: 压缩后的消息会影响数据库中的消息吗?
A: 不会。压缩只影响发送给 LLM 的上下文,数据库中的消息完整保留。
Q4: 智能压缩的总结质量如何保证?
A:
- 使用会话配置的
summary_model_id模型 - 可以使用更强的模型(如 GPT-4)进行总结
- 总结时使用低 temperature (0.3) 确保一致性
Q5: 如何为现有会话启用上下文管理?
A:
# 更新会话配置
curl -X PUT http://localhost:8080/api/v1/sessions/{session_id} \
-H "Content-Type: application/json" \
-H "X-Tenant-ID: 1" \
-d '{
"context_config": {
"enabled": true,
"max_tokens": 8192,
"compression_strategy": "sliding_window",
"recent_message_count": 20
}
}'
未来改进
- 支持更多压缩策略(如 MapReduce 总结)
- 支持自定义 Token 计算器
- 持久化压缩后的上下文摘要
- 支持跨会话的上下文共享
- 添加更详细的压缩指标和监控
- 支持上下文恢复机制