Files
knowledge-governance/cmd/worker/library_writeset.go
T
姚章浩 f0bd6fb0d2 fix(library): 版本台账改按身份精确查询
写集合台账的取回走的是"按 scope 列最近 N 条再筛",而真实 Store 只接受 1..100,
于是真作业在预备份已落盘之后登记失败(library version limit out of range),
写集合引用没能持久化。假版本库没有这个上限,单测因此一路绿。

只把 200 改成 100 不够:历史超过窗口后,存在会被读成不存在(本机实测:把记录推到
250 条更新版本之后,接管/恢复就找不到它)。改为 Store.LibraryVersionByRef:
scope+kind+作业+快照 一条 SQL 精确命中;命中多行拒绝挑选,命中别的作业拒绝借用,
真的没有才返回 found=false。登记/接管/恢复三处共用它,公开分页上限保持 1..100 不变。
版本行解码抽成 scanLibraryVersions,窗口列表与精确查询共用一份。
2026-10-30 02:32:23 +08:00

154 lines
6.7 KiB
Go
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
package main
import (
"context"
"errors"
"fmt"
"sort"
"time"
"knowledge-governance/internal/governance"
"knowledge-governance/internal/libraryrelease"
v071 "knowledge-governance/internal/releaseadapter/v071"
)
// 写集合台账在治理侧的锚点:摘要登记在"这次作业的预备份版本"证据里。
// 为什么不用新表:版本记录本来就绑定 scope + snapshot + 作业,且 id 由这三者
// 决定;把摘要挂上去,重启后按同一身份就能取回,不需要改 schema。
// libraryVersionLookup 只暴露"按身份取一条版本记录"这一件事。
//
// 为什么不是"按 scope 列表":列表是有排序窗口的(真实 Store 上限 100),
// 历史超过窗口后登记/接管/恢复会把"存在"读成"不存在"。身份查询必须是精确条件,
// 而 found=false 只表示"这个身份没有记录",冲突由 store 返回错误(不许挑一条)。
type libraryVersionLookup interface {
LibraryVersionByRef(ctx context.Context, scope string, kind governance.LibraryVersionKind,
sourceJobID, snapshotID string) (governance.LibraryVersion, bool, error)
}
// writeSetDigestOf 读某次作业/某份预备份登记的写集合摘要。
// 读不到就返回错误:缺失必须让调用方失败,不能降级成"没有记录就当没写过"。
func writeSetDigestOf(ctx context.Context, store libraryVersionLookup, scope, jobID, snapshotID string) (string, error) {
version, found, err := store.LibraryVersionByRef(ctx, scope, governance.LibraryVersionProductionPrebackup, jobID, snapshotID)
if err != nil {
return "", fmt.Errorf("读不到版本记录:%w", err)
}
if !found {
return "", fmt.Errorf("找不到作业 %s 的预备份版本记录(快照 %s)", jobID, snapshotID)
}
raw, _ := version.Evidence["writeset_digest"].(string)
if raw == "" {
return "", fmt.Errorf("预备份 %s 没有登记写集合摘要(作业 %s)", snapshotID, jobID)
}
return raw, nil
}
// loadWriteSetForJob 按"作业 + 目标 + 预备份"取回写集合并逐项核对绑定。
// 任何一步不符都返回错误:恢复宁可保持维护,也不许用一份对不上的记录去删目标数据。
func loadWriteSetForJob(ctx context.Context, store libraryVersionLookup, archiveRoot, scope, jobID, snapshotID string) (*libraryrelease.WriteSet, error) {
digest, err := writeSetDigestOf(ctx, store, scope, jobID, snapshotID)
if err != nil {
return nil, err
}
set, err := v071.LoadWriteSet(archiveRoot, digest)
if err != nil {
return nil, err
}
if set.JobID != jobID {
return nil, fmt.Errorf("写集合记录属于作业 %s,不是 %s", set.JobID, jobID)
}
if set.Target != scope {
return nil, fmt.Errorf("写集合记录属于目标 %s,不是 %s", set.Target, scope)
}
if set.BackupSnapshotID != snapshotID {
return nil, fmt.Errorf("写集合记录绑定预备份 %s,不是 %s", set.BackupSnapshotID, snapshotID)
}
return set, nil
}
// writeSetEvidence 在预备份原有证据上追加写集合锚点(纯函数,便于单独验证)。
// 不能整份替换:备份字节、索引映射这些字段是页面与恢复都在用的。
func writeSetEvidence(existing map[string]any, set libraryrelease.WriteSet, mappingDigest string) map[string]any {
evidence := map[string]any{}
for key, value := range existing {
evidence[key] = value
}
evidence["backup_snapshot"] = set.BackupSnapshotID
evidence["job"] = set.JobID
if mappingDigest != "" {
evidence["index_mapping_sha256"] = mappingDigest
}
evidence["writeset_digest"] = set.Digest
evidence["writeset_universe_digest"] = set.UniverseDigest()
evidence["writeset_target_snapshot"] = set.TargetSnapshotID
evidence["writeset_rows"] = len(set.Rows)
evidence["writeset_reused_rows"] = len(set.ReusedIDs("resources"))
return evidence
}
// WriteSetPlanned 把写集合摘要登记进"这次作业的预备份版本"证据。
// 它在第一笔写入之前被调用;失败即中止(调用方据此不写目标)。
//
// 这里读的是"这一条预备份记录"(scope+kind+作业+快照),不是"最近 N 条":
// 现场正是历史上限把这条记录顶出窗口,才在预备份已经落盘之后登记失败。
// 记录不存在同样拒绝——把锚点写到一个不存在的证据行上,会让后续接管/恢复
// 读不到备份字节与索引映射,等于伪造一份台账。
func (r libraryStageRecorder) WriteSetPlanned(ctx context.Context, set libraryrelease.WriteSet) error {
version, found, err := r.store.LibraryVersionByRef(ctx, r.scope, governance.LibraryVersionProductionPrebackup,
r.jobID, set.BackupSnapshotID)
if err != nil {
return fmt.Errorf("读不到现有版本证据:%w", err)
}
if !found {
return fmt.Errorf("预备份 %s 的版本证据不存在(作业 %s):拒绝把写集合挂到不存在的记录上",
set.BackupSnapshotID, r.jobID)
}
evidence := writeSetEvidence(version.Evidence, set, r.mappingDigest)
return r.store.RecordLibraryVersion(ctx, governance.LibraryVersion{
ID: governance.LibraryVersionID(governance.LibraryVersionProductionPrebackup, r.scope, set.BackupSnapshotID),
Scope: r.scope, Kind: governance.LibraryVersionProductionPrebackup, SnapshotID: set.BackupSnapshotID,
SourceJobID: r.jobID, CreatedBy: "worker", Evidence: evidence, CreatedAt: time.Now().UTC(),
})
}
// ledgerBackupStore 是"接管/恢复"用的预备份来源:只认已经持久化的那一份,
// 并把它绑定的写集合一起带出来。
//
// 为什么不能像以前那样只返回 snapshot id:那一刻目标已经被写过,恢复若拿不到
// 写集合就只能按目标现状推断残渣——那正是会误删历史资源的路径。所以这里取不到
// 记录就直接失败,而不是返回一个"没有 Universe 的引用"。
type ledgerBackupStore struct {
ref libraryrelease.BackupRef
write *libraryrelease.WriteSet
}
func (s ledgerBackupStore) Prepare(context.Context, string, libraryrelease.CurrentState) (libraryrelease.BackupRef, error) {
if s.write == nil {
return libraryrelease.BackupRef{}, errors.New("恢复缺少持久化的写集合记录:拒绝在没有可追溯写集合的情况下继续")
}
ref := s.ref
ref.WriteSet = s.write
return ref, nil
}
// sortedWriteSetSummary 只用于日志/证据:把本次写集合按表汇总成稳定的短摘要。
func sortedWriteSetSummary(set libraryrelease.WriteSet) string {
counts := map[string]int{}
for _, row := range set.Rows {
counts[row.Table]++
}
tables := make([]string, 0, len(counts))
for table := range counts {
tables = append(tables, table)
}
sort.Strings(tables)
summary := ""
for _, table := range tables {
if summary != "" {
summary += ","
}
summary += fmt.Sprintf("%s=%d", table, counts[table])
}
return summary
}