0088004cd6
接管分类、基线判定、已知索引映射、同步闸口的创建判据与归档保留的保护标记, 原来都用 LibraryVersions(scope, 50/100) 这个分页窗口再在内存里筛。生效版本每 scope 只有一行、可能很久以前登记,历史一长就被挤出窗口 —— 于是"已生效"被读成 "没有生效":接管会把已经上线的目标重写一遍,基线入口会给已有权威版本的目标 再建一次基线。 现在统一走两条精确查询:LibraryCurrentVersion(kind='production_effective' AND superseded_at IS NULL,每 scope 至多一行)与 LibraryVersionOfSnapshot(按快照 身份取回"已顶替"证据)。多行、自相矛盾、读不到一律 fail closed;同一含义只留 一份实现(knownIndexMapping 同步与恢复共用)。LibraryVersions 仍是 1..100 的 展示窗口,只用于列表。 验证:真实 PG 上先复现(窗口实现 ⇒ found=false),改后 7 条 store 契约用例与 worker 端到端判定用例全绿;本机 make verify 15 项 success(用例 1264 通过 / 0 失败 / 93 已声明可选跳过)。
175 lines
8.8 KiB
Go
175 lines
8.8 KiB
Go
package main
|
||
|
||
import (
|
||
"context"
|
||
"errors"
|
||
"fmt"
|
||
"time"
|
||
|
||
"knowledge-governance/internal/governance"
|
||
postgresstore "knowledge-governance/internal/platform/postgres"
|
||
)
|
||
|
||
// libraryMaintenanceStore 是"成功收尾"用到的存储能力。抽成接口是为了能在测试里
|
||
// 让某一步失败,验证"没全部完成就不许暴露成功"。
|
||
type libraryMaintenanceStore interface {
|
||
SetInstanceMaintenanceIngress(ctx context.Context, instance, ownerJobID, state, note string, now time.Time) error
|
||
SetLibraryMaintenanceIngress(ctx context.Context, scope, ownerJobID, state, note string, now time.Time) error
|
||
UpdateInstanceMaintenanceState(ctx context.Context, instance, ownerJobID, state, note string, now time.Time) error
|
||
UpdateLibraryMaintenanceState(ctx context.Context, scope, ownerJobID, state, note string, now time.Time) error
|
||
ReleaseInstanceMaintenance(ctx context.Context, instance, ownerJobID string, now time.Time) error
|
||
ReleaseLibraryMaintenance(ctx context.Context, scope, ownerJobID string, now time.Time) error
|
||
AdvanceLibraryJob(ctx context.Context, jobID string, state governance.LibraryJobState, stage, message, recovery, snapshotID, targetSnapshotID string, now time.Time) error
|
||
}
|
||
|
||
// releaseWindowLocks 是唯一释放路径。
|
||
//
|
||
// 顺序刻意是"scope 先、instance 后":instance 行是跨 scope 的互斥来源,最后放它
|
||
// 才能保证任何新作业在全部记录落定之前都进不来。每一步的错误都必须向上暴露——
|
||
// 只丢日志会让"锁其实没放"这件事变成页面上的成功。
|
||
func releaseWindowLocks(ctx context.Context, store libraryMaintenanceStore, instance, scope, jobID, note string, now time.Time) error {
|
||
if err := store.SetLibraryMaintenanceIngress(ctx, scope, jobID, "open", note, now); !releasedOrNil(err) {
|
||
return fmt.Errorf("记录入口已开放失败(scope):%w", err)
|
||
}
|
||
if err := store.SetInstanceMaintenanceIngress(ctx, instance, jobID, "open", note, now); !releasedOrNil(err) {
|
||
return fmt.Errorf("记录入口已开放失败(instance):%w", err)
|
||
}
|
||
if err := store.UpdateLibraryMaintenanceState(ctx, scope, jobID, "verified", note, now); !releasedOrNil(err) {
|
||
return fmt.Errorf("维护状态写入失败(scope):%w", err)
|
||
}
|
||
if err := store.ReleaseLibraryMaintenance(ctx, scope, jobID, now); !releasedOrNil(err) {
|
||
return fmt.Errorf("维护占用释放失败(scope):%w", err)
|
||
}
|
||
if err := store.UpdateInstanceMaintenanceState(ctx, instance, jobID, "verified", note, now); !releasedOrNil(err) {
|
||
return fmt.Errorf("维护状态写入失败(instance):%w", err)
|
||
}
|
||
if err := store.ReleaseInstanceMaintenance(ctx, instance, jobID, now); !releasedOrNil(err) {
|
||
return fmt.Errorf("实例占用释放失败(instance):%w", err)
|
||
}
|
||
return nil
|
||
}
|
||
|
||
// healthChecker 是"目标写入者与入口是否真的恢复健康"的判定口(测试可注入失败)。
|
||
type healthChecker interface {
|
||
VerifyRunning(ctx context.Context) error
|
||
}
|
||
|
||
// successBoundary 描述一次"内容已通过验证与版本登记,但还没到可以对外报成功"的作业。
|
||
type successBoundary struct {
|
||
Ready bool
|
||
Backup string
|
||
Target string
|
||
FinishedAt time.Time
|
||
}
|
||
|
||
// finishLibrarySuccess 是唯一的成功收尾入口:只有以下全部成立才暴露 succeeded——
|
||
// 目标服务健康、入口开放、scope 与 instance 两把维护锁都释放完成、终态写入成功。
|
||
//
|
||
// 为什么不能先标成功再释放:恢复/开入口/放锁都可能失败,先写 succeeded 会让外部
|
||
// (页面、API、重启后的接管逻辑)看到一条"成功了但目标仍在维护"的作业;而
|
||
// InterruptedLibraryJobs 只接管非终态,终态作业不会再被接管,锁就永远挂着。
|
||
func finishLibrarySuccess(ctx context.Context, store libraryMaintenanceStore, health healthChecker,
|
||
instance, scope, jobID string, boundary successBoundary) error {
|
||
// 释放与终态写入必须能在 ctx 取消后继续:停机不该留下"锁放了但作业还在跑"或
|
||
// 反过来"作业成功了锁还挂着"的任一半成品。
|
||
bounded, cancel := context.WithTimeout(context.WithoutCancel(ctx), 60*time.Second)
|
||
defer cancel()
|
||
|
||
holdForRepair := func(reason string) error {
|
||
note := "内容已验证,但收尾未完成,目标保持维护:" + reason
|
||
_ = store.UpdateLibraryMaintenanceState(bounded, scope, jobID, "needs_restore", note, time.Now().UTC())
|
||
_ = store.UpdateInstanceMaintenanceState(bounded, instance, jobID, "needs_restore", note, time.Now().UTC())
|
||
_ = store.AdvanceLibraryJob(bounded, jobID, governance.LibraryJobFailed, "finalize", note,
|
||
"生产内容已写入并校验;维护保持,按预备份或人工核验后再开放", boundary.Backup, boundary.Target, time.Now().UTC())
|
||
return errors.New(note)
|
||
}
|
||
|
||
if err := health.VerifyRunning(bounded); err != nil {
|
||
return holdForRepair("目标服务或入口未恢复健康:" + err.Error())
|
||
}
|
||
if err := releaseWindowLocks(bounded, store, instance, scope, jobID,
|
||
"写入与校验完成,目标已按原运行状态恢复", time.Now().UTC()); err != nil {
|
||
return holdForRepair(err.Error())
|
||
}
|
||
finishedAt := time.Now().UTC()
|
||
if err := store.AdvanceLibraryJob(bounded, jobID, governance.LibraryJobSucceeded, "finalize", "", "",
|
||
boundary.Backup, boundary.Target, finishedAt); err != nil {
|
||
// 锁已释放但终态没写下去:作业保持非终态,重启后会被接管(接管走
|
||
// finalize-only,只复核与登记,不重写生产)。
|
||
return fmt.Errorf("维护已释放但作业终态写入失败(等待接管):%w", err)
|
||
}
|
||
return nil
|
||
}
|
||
|
||
// takeoverKind 是接管时"这个作业走到哪一步"的分类。
|
||
//
|
||
// 四类必须分开:把"版本查不到"当成"没有收尾证据",就会把只差收尾的作业重新写一遍
|
||
// 目标;把"曾被顶替"当成正常重放,就会用旧快照覆盖更新的生产版本。
|
||
type takeoverKind string
|
||
|
||
const (
|
||
// takeoverFresh:没有任何收尾证据,按正常流程(有预备份则复用,写前仍备份)。
|
||
takeoverFresh takeoverKind = "fresh"
|
||
// takeoverPendingFinal:内容与版本已落定,只差收尾(只复核与登记,不重写)。
|
||
takeoverPendingFinal takeoverKind = "pending_final"
|
||
// takeoverSuperseded:本快照曾经生效、后来被别的快照顶替,不得自动覆盖。
|
||
takeoverSuperseded takeoverKind = "superseded"
|
||
// takeoverUnknown:版本状态读不到且没有阶段证据,属"未知",不得写入。
|
||
takeoverUnknown takeoverKind = "unknown"
|
||
)
|
||
|
||
// classifyTakeover 只按证据分类:
|
||
// - finalize 阶段成功是独立证据(来自作业自己的阶段行),不因版本查询失败而丢弃;
|
||
// - 本快照存在 released/被顶替的版本 ⇒ superseded;
|
||
// - 本快照存在未被顶掉的生效版本 ⇒ pending_final;
|
||
// - 查询失败且无阶段证据 ⇒ unknown(可重试,不当成没有证据)。
|
||
//
|
||
// 事实来自两个精确查询(LibraryCurrentVersion / LibraryVersionOfSnapshot),**不是**
|
||
// "最近 N 条再在内存里筛":窗口一满,已生效的快照会被判成"没有证据",接管就会把
|
||
// 已经上线的内容重写一遍。
|
||
func classifyTakeover(job governance.LibraryJob, facts libraryVersionFacts) takeoverKind {
|
||
finalized := false
|
||
for _, stage := range job.Stages {
|
||
if stage.Stage == "finalize" && stage.State == "succeeded" {
|
||
finalized = true
|
||
}
|
||
}
|
||
if facts.Err != nil && !finalized {
|
||
return takeoverUnknown
|
||
}
|
||
if facts.Err == nil {
|
||
// 本快照登记过生效版本:被顶替过就绝不能用它覆盖更新的生产版本。
|
||
if facts.HasSnapshot && facts.Snapshot.SupersededAt != nil {
|
||
// 台账自相矛盾(这一行说已顶替,当前生效的却还是它):状态不可判定。
|
||
if facts.HasCurrent && facts.Current.SnapshotID == job.TargetSnapshotID {
|
||
return takeoverUnknown
|
||
}
|
||
return takeoverSuperseded
|
||
}
|
||
if facts.HasSnapshot {
|
||
// 未顶替 ⇒ 必须就是当前生效的那一行;不是的话台账不一致,不许挑一条继续写。
|
||
if !facts.HasCurrent || facts.Current.SnapshotID != job.TargetSnapshotID {
|
||
return takeoverUnknown
|
||
}
|
||
return takeoverPendingFinal
|
||
}
|
||
// 本快照没有自己的生效登记,但当前生效的正是它(恢复/重放会改写作业归属):
|
||
// 内容已经在生产上,只差收尾。
|
||
if facts.HasCurrent && facts.Current.SnapshotID == job.TargetSnapshotID {
|
||
return takeoverPendingFinal
|
||
}
|
||
}
|
||
if finalized {
|
||
return takeoverPendingFinal
|
||
}
|
||
return takeoverFresh
|
||
}
|
||
|
||
var _ libraryMaintenanceStore = (*postgresstore.Store)(nil)
|
||
|
||
// releasedOrNil:这一行已经由本作业释放过,说明该步在上一次尝试里已经完成。
|
||
// 部分成功后重试幂等靠它——否则"scope 放了、instance 没放"的作业永远重试不下去。
|
||
func releasedOrNil(err error) bool {
|
||
return err == nil || errors.Is(err, postgresstore.ErrMaintenanceReleased)
|
||
}
|