5e1482e349
build / build (push) Successful in 1m40s
根因:生产可恢复性只有 PRODUCTION_BACKUP_RESTORE_VERIFIED 这个手填 env 开关, 页面没有任何入口去真跑一次恢复;CLI(librarydrill)又不是 worker 能复用的实现, 所以"已验证"既证明不了跑过、也证明不了跑的是当前目标。 改动: - 共享实现 internal/libraryverify(维护隔离→捕获→基线校验→canary→恢复→复核→关窗口), cmd/librarydrill 改为薄封装,CLI 与 worker 只允许一份执行体。 - verify 成为独立业务作业:kind + VerifyStages(capture/verify/canary/restore/finalize), 与 sync/restore/baseline 共用同一把写互斥;迁移 79 加 kind 约束、重建部分唯一索引、 新建 library_restore_verifications(按 target_id 绑定,换库/索引/桶旧证据自动失效, 同 target+scope+job 幂等)。 - worker:admitLibraryJob + runOwnedLibraryAttempt 之后调用共享实现,阶段实时写 library_job_stages,结束后写真实终态;通过写 passed 证据,失败写 failed+原因(不伪成功); 中断接管按同一作业 id 收掉维护窗口。 - API:POST/GET /api/v1/library/verifications(管理员;闸口关闭/维护中拒绝;返回完整 整库目标、最近证据、失败原因),OpenAPI 同步。 - 闸口:同步/恢复/续作的证据判断改为读当前目标证据;历史 env 仅在证据缺失时兜底, 证据存在时以证据为准。 - 页面:生产保护与恢复面板加「恢复验证」块(完整 KB/索引/桶、状态、最近证据、失败原因、 管理员按钮、5s 轮询),作业类型补 verify 文案。 测试:make verify 16/16 全绿(go 1387 例 + web 454 例 + 契约/迁移/密钥/依赖锁定); 新增用例覆盖证据四条件、闸口证据优先、页面无证据/失败/通过三种呈现与管理员可见性。
52 lines
2.1 KiB
Go
52 lines
2.1 KiB
Go
package governance
|
||
|
||
import (
|
||
"strings"
|
||
"time"
|
||
)
|
||
|
||
// LibraryRestoreVerification 是一次**真实**恢复验证(备份 → canary → 恢复 → 复核)的登记。
|
||
//
|
||
// 为什么不能继续用环境变量 PRODUCTION_BACKUP_RESTORE_VERIFIED:那是一个可以手填的开关,
|
||
// 它既证明不了"有人真跑过恢复",也证明不了"跑的是当前目标"。这里的每条记录由 worker
|
||
// 在真实演练结束后写入,绑定 target_id(实例+库+索引+桶)与 scope,失败也照实留痕。
|
||
type LibraryRestoreVerification struct {
|
||
ID string `json:"id"`
|
||
Scope string `json:"scope"`
|
||
Status string `json:"status"` // passed | failed
|
||
SnapshotID string `json:"snapshot_id"`
|
||
JobID string `json:"job_id"`
|
||
Failure string `json:"failure,omitempty"`
|
||
Report map[string]any `json:"report,omitempty"`
|
||
StartedAt time.Time `json:"started_at"`
|
||
FinishedAt time.Time `json:"finished_at"`
|
||
}
|
||
|
||
const (
|
||
LibraryVerificationPassed = "passed"
|
||
LibraryVerificationFailed = "failed"
|
||
)
|
||
|
||
// LibraryVerificationSatisfied 只回答一件事:这条证据能不能支撑"当前目标的恢复验证已通过"。
|
||
// 通过的条件必须是全部成立——状态 passed、scope 相同、快照非空、完成时间有效。
|
||
// target_id 的匹配由查询层(按当前 target_id 过滤)保证,这里不重复比较。
|
||
func LibraryVerificationSatisfied(verification LibraryRestoreVerification, scope string) (bool, string) {
|
||
if verification.Status != LibraryVerificationPassed {
|
||
reason := "最近一次恢复验证没有通过"
|
||
if detail := strings.TrimSpace(verification.Failure); detail != "" {
|
||
reason += ":" + detail
|
||
}
|
||
return false, reason
|
||
}
|
||
if verification.Scope != scope {
|
||
return false, "恢复验证证据属于另一个 scope(" + verification.Scope + ")"
|
||
}
|
||
if strings.TrimSpace(verification.SnapshotID) == "" {
|
||
return false, "恢复验证证据没有绑定快照,不能作为备份可恢复的证明"
|
||
}
|
||
if verification.FinishedAt.IsZero() {
|
||
return false, "恢复验证证据没有完成时间"
|
||
}
|
||
return true, ""
|
||
}
|