5e1482e349
build / build (push) Successful in 1m40s
根因:生产可恢复性只有 PRODUCTION_BACKUP_RESTORE_VERIFIED 这个手填 env 开关, 页面没有任何入口去真跑一次恢复;CLI(librarydrill)又不是 worker 能复用的实现, 所以"已验证"既证明不了跑过、也证明不了跑的是当前目标。 改动: - 共享实现 internal/libraryverify(维护隔离→捕获→基线校验→canary→恢复→复核→关窗口), cmd/librarydrill 改为薄封装,CLI 与 worker 只允许一份执行体。 - verify 成为独立业务作业:kind + VerifyStages(capture/verify/canary/restore/finalize), 与 sync/restore/baseline 共用同一把写互斥;迁移 79 加 kind 约束、重建部分唯一索引、 新建 library_restore_verifications(按 target_id 绑定,换库/索引/桶旧证据自动失效, 同 target+scope+job 幂等)。 - worker:admitLibraryJob + runOwnedLibraryAttempt 之后调用共享实现,阶段实时写 library_job_stages,结束后写真实终态;通过写 passed 证据,失败写 failed+原因(不伪成功); 中断接管按同一作业 id 收掉维护窗口。 - API:POST/GET /api/v1/library/verifications(管理员;闸口关闭/维护中拒绝;返回完整 整库目标、最近证据、失败原因),OpenAPI 同步。 - 闸口:同步/恢复/续作的证据判断改为读当前目标证据;历史 env 仅在证据缺失时兜底, 证据存在时以证据为准。 - 页面:生产保护与恢复面板加「恢复验证」块(完整 KB/索引/桶、状态、最近证据、失败原因、 管理员按钮、5s 轮询),作业类型补 verify 文案。 测试:make verify 16/16 全绿(go 1387 例 + web 454 例 + 契约/迁移/密钥/依赖锁定); 新增用例覆盖证据四条件、闸口证据优先、页面无证据/失败/通过三种呈现与管理员可见性。
97 lines
3.3 KiB
Go
97 lines
3.3 KiB
Go
// command librarydrill 是恢复演练的**命令行入口**,实现在 internal/libraryverify:
|
||
//
|
||
// 维护隔离(关入口/停写入者/证明排空)
|
||
// → 捕获目标整库(真预备份,落归档)
|
||
// → 校验目标 == 预备份(基线一致)
|
||
// → 写入一个 canary(证明"校验确实能发现内容变化")
|
||
// → 按预备份恢复
|
||
// → 逐表/索引/资源/Wiki 再校验一次,必须完全一致
|
||
// → 关窗口(按原运行状态恢复服务、开入口、验证健康)
|
||
//
|
||
// 为什么只剩薄封装:页面要能点一次"恢复验证",worker 必须在进程内跑同一份实现。
|
||
// 两份实现意味着"CLI 通过、页面失败"或反过来,演练结论就不可信了。
|
||
// 它只读/写**被测目标自己**,绝不触碰封存源;所有凭据来自进程环境。
|
||
package main
|
||
|
||
import (
|
||
"context"
|
||
"encoding/json"
|
||
"flag"
|
||
"fmt"
|
||
"log"
|
||
"os"
|
||
"path/filepath"
|
||
"time"
|
||
|
||
"knowledge-governance/internal/appconfig"
|
||
"knowledge-governance/internal/libraryverify"
|
||
)
|
||
|
||
// 报告类型直接复用共享实现:命令行与页面/worker 的证据字段完全一致。
|
||
type drillVerification = libraryverify.Verification
|
||
type drillReport = libraryverify.Report
|
||
|
||
func main() {
|
||
scope := flag.String("scope", "internal", "internal|external")
|
||
reportPath := flag.String("report", "", "write the JSON report here (0600)")
|
||
jobID := flag.String("job", "", "maintenance job id (default drill-<scope>-<timestamp>)")
|
||
recoverOnly := flag.Bool("recover", false, "only recover non-terminal maintenance windows (restore services), then exit")
|
||
flag.Parse()
|
||
if *recoverOnly {
|
||
if err := recoverWindows(); err != nil {
|
||
log.Fatalf("recover failed: %v", err)
|
||
}
|
||
return
|
||
}
|
||
report, err := run(*scope, *jobID)
|
||
if *reportPath != "" && report != nil {
|
||
if writeErr := writeReport(*reportPath, report); writeErr != nil {
|
||
log.Printf("drill report write failed: %v", writeErr)
|
||
}
|
||
}
|
||
if err != nil {
|
||
log.Fatalf("drill failed: %v", err)
|
||
}
|
||
log.Printf("drill passed: snapshot=%s", report.SnapshotID)
|
||
}
|
||
|
||
// recoverWindows 只做一件事:把非终态的维护窗口按原运行状态恢复(服务起来、入口验证)。
|
||
// 演练失败但还没写目标内容时,用它把目标从"停住"状态救回来;它不改治理记录,
|
||
// 治理记录由作业/接口那一侧负责。
|
||
func recoverWindows() error {
|
||
config, err := appconfig.Load(os.Getenv)
|
||
if err != nil {
|
||
return fmt.Errorf("load config: %w", err)
|
||
}
|
||
if err := libraryverify.RecoverWindows(config); err != nil {
|
||
return err
|
||
}
|
||
log.Printf("maintenance windows recovered; target should be back to its original service state")
|
||
return nil
|
||
}
|
||
|
||
func run(scope, jobID string) (*drillReport, error) {
|
||
config, err := appconfig.Load(os.Getenv)
|
||
if err != nil {
|
||
return nil, fmt.Errorf("load config: %w", err)
|
||
}
|
||
if jobID == "" {
|
||
jobID = fmt.Sprintf("drill-%s-%d", scope, time.Now().UTC().UnixNano())
|
||
}
|
||
return libraryverify.Run(context.TODO(), config, scope, jobID,
|
||
func(stage, state, detail string) { log.Printf("stage=%s state=%s %s", stage, state, detail) })
|
||
}
|
||
|
||
func writeReport(path string, report *drillReport) error {
|
||
raw, err := json.MarshalIndent(report, "", " ")
|
||
if err != nil {
|
||
return err
|
||
}
|
||
if dir := filepath.Dir(path); dir != "" {
|
||
if err := os.MkdirAll(dir, 0o700); err != nil {
|
||
return err
|
||
}
|
||
}
|
||
return os.WriteFile(path, append(raw, '\n'), 0o600)
|
||
}
|