refactor: 合并 FAQ 导入和验证逻辑

This commit is contained in:
wizardchen
2026-01-06 15:17:08 +08:00
parent 100484f13d
commit a63a2a8daf
8 changed files with 240 additions and 463 deletions
+4 -13
View File
@@ -3,8 +3,7 @@ package types
const (
TypeChunkExtract = "chunk:extract"
TypeDocumentProcess = "document:process" // 文档处理任务
TypeFAQImport = "faq:import" // FAQ导入任务
TypeFAQDryRun = "faq:dryrun" // FAQ导入预检任务
TypeFAQImport = "faq:import" // FAQ导入任务(包含dry run模式)
TypeQuestionGeneration = "question:generation" // 问题生成任务
TypeSummaryGeneration = "summary:generation" // 摘要生成任务
TypeKBClone = "kb:clone" // 知识库复制任务
@@ -36,23 +35,15 @@ type DocumentProcessPayload struct {
QuestionCount int `json:"question_count,omitempty"` // 每个chunk生成的问题数量
}
// FAQImportPayload represents the FAQ import task payload
// FAQImportPayload represents the FAQ import task payload (including dry run mode)
type FAQImportPayload struct {
TenantID uint64 `json:"tenant_id"`
TaskID string `json:"task_id"`
KBID string `json:"kb_id"`
KnowledgeID string `json:"knowledge_id"`
KnowledgeID string `json:"knowledge_id,omitempty"` // 仅非 dry run 模式需要
Entries []FAQEntryPayload `json:"entries"`
Mode string `json:"mode"`
}
// FAQDryRunPayload represents the FAQ dry run validation task payload
type FAQDryRunPayload struct {
TenantID uint64 `json:"tenant_id"`
TaskID string `json:"task_id"`
KBID string `json:"kb_id"`
Entries []FAQEntryPayload `json:"entries"`
Mode string `json:"mode"`
DryRun bool `json:"dry_run"` // dry run 模式只验证不导入
}
// QuestionGenerationPayload represents the question generation task payload
+23 -36
View File
@@ -223,8 +223,8 @@ type FAQBatchUpsertPayload struct {
DryRun bool `json:"dry_run"` // 仅验证,不实际导入
}
// FAQDryRunFailedEntry 表示 dry_run 模式下验证失败的条目
type FAQDryRunFailedEntry struct {
// FAQFailedEntry 表示导入/验证失败的条目
type FAQFailedEntry struct {
Index int `json:"index"` // 条目在批次中的索引(从0开始)
Reason string `json:"reason"` // 失败原因
TagName string `json:"tag_name,omitempty"` // 分类
@@ -238,29 +238,11 @@ type FAQDryRunFailedEntry struct {
// FAQDryRunResult 表示 dry_run 模式的验证结果
type FAQDryRunResult struct {
TaskID string `json:"task_id,omitempty"` // 异步任务ID(异步模式时返回)
Total int `json:"total"` // 总条目数
SuccessCount int `json:"success_count"` // 验证通过的条目数
FailedCount int `json:"failed_count"` // 验证失败的条目数
FailedEntries []FAQDryRunFailedEntry `json:"failed_entries"` // 失败条目详情
}
// FAQDryRunProgress 表示 dry_run 异步任务的进度(存储在 Redis)
type FAQDryRunProgress struct {
TaskID string `json:"task_id"`
KBID string `json:"kb_id"`
Status FAQImportTaskStatus `json:"status"` // pending, processing, completed, failed
Progress int `json:"progress"` // 0-100 percentage
Total int `json:"total"` // 总条目数
Processed int `json:"processed"` // 已处理条目数
SuccessCount int `json:"success_count"` // 验证通过的条目数
FailedCount int `json:"failed_count"` // 验证失败的条目数
FailedEntries []FAQDryRunFailedEntry `json:"failed_entries,omitempty"` // 失败条目详情(少量时直接返回)
FailedEntriesURL string `json:"failed_entries_url,omitempty"` // 失败条目CSV下载URL(大量时返回URL)
Message string `json:"message"` // 状态消息
Error string `json:"error,omitempty"` // 错误信息
CreatedAt int64 `json:"created_at"`
UpdatedAt int64 `json:"updated_at"`
TaskID string `json:"task_id,omitempty"` // 异步任务ID(异步模式时返回)
Total int `json:"total"` // 总条目数
SuccessCount int `json:"success_count"` // 验证通过的条目数
FailedCount int `json:"failed_count"` // 验证失败的条目数
FailedEntries []FAQFailedEntry `json:"failed_entries"` // 失败条目详情
}
// FAQSearchRequest FAQ检索请求参数
@@ -312,17 +294,22 @@ const (
// FAQImportProgress represents the progress of an FAQ import task stored in Redis
type FAQImportProgress struct {
TaskID string `json:"task_id"` // UUID for the import task
KBID string `json:"kb_id"` // Knowledge Base ID
KnowledgeID string `json:"knowledge_id"` // FAQ Knowledge ID
Status FAQImportTaskStatus `json:"status"` // Task status
Progress int `json:"progress"` // 0-100 percentage
Total int `json:"total"` // Total entries to import
Processed int `json:"processed"` // Entries processed so far
Message string `json:"message"` // Status message
Error string `json:"error"` // Error message if failed
CreatedAt int64 `json:"created_at"` // Task creation timestamp
UpdatedAt int64 `json:"updated_at"` // Last update timestamp
TaskID string `json:"task_id"` // UUID for the import task
KBID string `json:"kb_id"` // Knowledge Base ID
KnowledgeID string `json:"knowledge_id"` // FAQ Knowledge ID
Status FAQImportTaskStatus `json:"status"` // Task status
Progress int `json:"progress"` // 0-100 percentage
Total int `json:"total"` // Total entries to import
Processed int `json:"processed"` // Entries processed so far
SuccessCount int `json:"success_count"` // 成功导入/验证通过的条目数
FailedCount int `json:"failed_count"` // 失败的条目数
FailedEntries []FAQFailedEntry `json:"failed_entries,omitempty"` // 失败条目详情(少量时直接返回)
FailedEntriesURL string `json:"failed_entries_url,omitempty"` // 失败条目CSV下载URL(大量时返回URL)
Message string `json:"message"` // Status message
Error string `json:"error"` // Error message if failed
CreatedAt int64 `json:"created_at"` // Task creation timestamp
UpdatedAt int64 `json:"updated_at"` // Last update timestamp
DryRun bool `json:"dry_run,omitempty"` // 是否为 dry run 模式
}
// FAQImportMetadata 存储在Knowledge.Metadata中的FAQ导入任务信息
+1 -7
View File
@@ -86,15 +86,9 @@ type KnowledgeService interface {
sortOrder string,
) (*types.PageResult, error)
// UpsertFAQEntries imports or appends FAQ entries asynchronously.
// When DryRun is true, only validates entries without actually importing.
// Returns task ID (Knowledge ID) for tracking import progress.
UpsertFAQEntries(ctx context.Context, kbID string, payload *types.FAQBatchUpsertPayload) (string, error)
// ValidateFAQEntriesDryRun validates FAQ entries asynchronously without actually importing them.
// Returns task ID for tracking validation progress.
ValidateFAQEntriesDryRun(ctx context.Context, kbID string, payload *types.FAQBatchUpsertPayload) (string, error)
// GetFAQDryRunProgress retrieves the progress of an FAQ dry run validation task.
GetFAQDryRunProgress(ctx context.Context, taskID string) (*types.FAQDryRunProgress, error)
// ProcessFAQDryRun handles Asynq FAQ dry run validation tasks.
ProcessFAQDryRun(ctx context.Context, t *asynq.Task) error
// CreateFAQEntry creates a single FAQ entry synchronously.
CreateFAQEntry(ctx context.Context, kbID string, payload *types.FAQEntryPayload) (*types.FAQEntry, error)
// GetFAQEntry retrieves a single FAQ entry by ID.