129 lines
4.4 KiB
Go
129 lines
4.4 KiB
Go
package chat
|
||
|
||
import (
|
||
"context"
|
||
"encoding/json"
|
||
"fmt"
|
||
"strings"
|
||
|
||
"github.com/Tencent/WeKnora/internal/models/provider"
|
||
"github.com/Tencent/WeKnora/internal/models/utils/ollama"
|
||
"github.com/Tencent/WeKnora/internal/types"
|
||
)
|
||
|
||
// Tool represents a function/tool definition
|
||
type Tool struct {
|
||
Type string `json:"type"` // "function"
|
||
Function FunctionDef `json:"function"`
|
||
}
|
||
|
||
// FunctionDef represents a function definition
|
||
type FunctionDef struct {
|
||
Name string `json:"name"`
|
||
Description string `json:"description"`
|
||
Parameters json.RawMessage `json:"parameters"`
|
||
}
|
||
|
||
// ChatOptions 聊天选项
|
||
type ChatOptions struct {
|
||
Temperature float64 `json:"temperature"` // 温度参数
|
||
TopP float64 `json:"top_p"` // Top P 参数
|
||
Seed int `json:"seed"` // 随机种子
|
||
MaxTokens int `json:"max_tokens"` // 最大 token 数
|
||
MaxCompletionTokens int `json:"max_completion_tokens"` // 最大完成 token 数
|
||
FrequencyPenalty float64 `json:"frequency_penalty"` // 频率惩罚
|
||
PresencePenalty float64 `json:"presence_penalty"` // 存在惩罚
|
||
Thinking *bool `json:"thinking"` // 是否启用思考
|
||
Tools []Tool `json:"tools,omitempty"` // 可用工具列表
|
||
ToolChoice string `json:"tool_choice,omitempty"` // "auto", "required", "none", or specific tool
|
||
Format json.RawMessage `json:"format,omitempty"` // 响应格式定义
|
||
}
|
||
|
||
// Message 表示聊天消息
|
||
type Message struct {
|
||
Role string `json:"role"` // 角色:system, user, assistant, tool
|
||
Content string `json:"content"` // 消息内容
|
||
Name string `json:"name,omitempty"` // Function/tool name (for tool role)
|
||
ToolCallID string `json:"tool_call_id,omitempty"` // Tool call ID (for tool role)
|
||
ToolCalls []ToolCall `json:"tool_calls,omitempty"` // Tool calls (for assistant role)
|
||
}
|
||
|
||
// ToolCall represents a tool call in a message
|
||
type ToolCall struct {
|
||
ID string `json:"id"`
|
||
Type string `json:"type"` // "function"
|
||
Function FunctionCall `json:"function"`
|
||
}
|
||
|
||
// FunctionCall represents a function call
|
||
type FunctionCall struct {
|
||
Name string `json:"name"`
|
||
Arguments string `json:"arguments"` // JSON string
|
||
}
|
||
|
||
// Chat 定义了聊天接口
|
||
type Chat interface {
|
||
// Chat 进行非流式聊天
|
||
Chat(ctx context.Context, messages []Message, opts *ChatOptions) (*types.ChatResponse, error)
|
||
|
||
// ChatStream 进行流式聊天
|
||
ChatStream(ctx context.Context, messages []Message, opts *ChatOptions) (<-chan types.StreamResponse, error)
|
||
|
||
// GetModelName 获取模型名称
|
||
GetModelName() string
|
||
|
||
// GetModelID 获取模型ID
|
||
GetModelID() string
|
||
}
|
||
|
||
type ChatConfig struct {
|
||
Source types.ModelSource
|
||
BaseURL string
|
||
ModelName string
|
||
APIKey string
|
||
ModelID string
|
||
Provider string
|
||
Extra map[string]any
|
||
}
|
||
|
||
// NewChat 创建聊天实例
|
||
func NewChat(config *ChatConfig, ollamaService *ollama.OllamaService) (Chat, error) {
|
||
switch strings.ToLower(string(config.Source)) {
|
||
case string(types.ModelSourceLocal):
|
||
return NewOllamaChat(config, ollamaService)
|
||
case string(types.ModelSourceRemote):
|
||
return NewRemoteChat(config)
|
||
default:
|
||
return nil, fmt.Errorf("unsupported chat model source: %s", config.Source)
|
||
}
|
||
}
|
||
|
||
// NewRemoteChat 根据 provider 创建远程聊天实例
|
||
func NewRemoteChat(config *ChatConfig) (Chat, error) {
|
||
providerName := provider.ProviderName(config.Provider)
|
||
if providerName == "" {
|
||
providerName = provider.DetectProvider(config.BaseURL)
|
||
}
|
||
|
||
switch providerName {
|
||
case provider.ProviderLKEAP:
|
||
// LKEAP 有特殊的 thinking 参数格式
|
||
return NewLKEAPChat(config)
|
||
case provider.ProviderAliyun:
|
||
// 检查是否为 Qwen3 模型(需要特殊处理 enable_thinking)
|
||
if provider.IsQwen3Model(config.ModelName) {
|
||
return NewQwenChat(config)
|
||
}
|
||
return NewRemoteAPIChat(config)
|
||
case provider.ProviderDeepSeek:
|
||
// DeepSeek 不支持 tool_choice
|
||
return NewDeepSeekChat(config)
|
||
case provider.ProviderGeneric:
|
||
// Generic provider (如 vLLM) 使用 ChatTemplateKwargs
|
||
return NewGenericChat(config)
|
||
default:
|
||
// 其他 provider 使用标准 OpenAI 兼容实现
|
||
return NewRemoteAPIChat(config)
|
||
}
|
||
}
|