98294b9583
build / build (push) Failing after 24s
why:审计 19 项(12 P1 / 7 P2)来自同一批根因,逐点试错会把协议撕成十几份:
· 意图与执行混为一谈(F01/F15):`library.sync:<scope>:<快照>` 是终身幂等键,
A→B→A 的第三次发布拿到第一次的历史成功作业,什么都不做;
· 版本行既是实体又是事件(F02/F09):主键只由 (kind,scope,快照) 决定、写入是
upsert,第二个作业覆盖 `source_job_id`/`evidence`/`created_at`;
· 接管没有代次(F13):两个 worker 都能认领同一 pending 作业,失租的旧执行还能
写业务状态、释放别人的维护锁;
· 早退与终态没有统一政策(F03/F04/F05/F06):半写窗口的前置检查失败会重新开门、
服务起不来也照样开入口、journal 终态后收尾不可重建、恢复成功不回写 current;
· 数据身份与准入各写一套(F07/F08/F14/F17):接管丢了复用语义、全库搬运不改
location_hash、通用入口可造 library.* 作业、目标模型从没被问过;
· 存储/容量/UI/CI 判据各自为政(F10/F11/F12/F16/F18/F19)。
what:按批准的一套协议集中实施(详见 handoffs/release-consolidated-implementation/
current-contract.md):
· operation(一次明确意图)/ attempt(epoch 代次)/ 不可变版本事件 / current 指针;
治理库迁移 76,只动治理库,不碰 WeKnora Schema/源码/镜像;
· 所有业务状态、阶段、版本事件、维护锁写入带 epoch 守卫(失租代次写不进去);
心跳失租立刻取消 handler;
· 半写窗口早退保持关闭;服务未全部健康绝不开入口;journal 终态可从持久事实重建
收尾;恢复成功登记 recovery 事件并推进 current;
· worker 在动维护前核对业务行/kind/scope/队列关联;通用入口拒绝 library.*;
· 全库搬运重算 location_hash 并与文档级导入共用实现;接管消费写集合的复用决定;
发布前核目标实时模型契约、容量门禁前置;
· 存储保护闭包改为全量依赖、类型只认显式登记、保护未知则不出可删候选;
· 页面核 HTTP 状态与结构、恢复纳入轮询、Wiki 差异覆盖标题/摘要/父级。
how:`make verify` rc=0(16 项必需检查全绿,含 go test 全量与前端 485 例);
`go vet ./...` rc=0;`npx tsc -p tsconfig.json --noEmit` rc=0;逐项负例见各包测试
(F03/F04/F08/F12/F13/F14/F16/F18/F19 都有先红后绿记录)。
未执行:治理库迁移到任何已有库、真实 PG/ES/S3/WeKnora 集成、故障注入、部署。
142 lines
4.8 KiB
Go
142 lines
4.8 KiB
Go
package postgres
|
||
|
||
import (
|
||
"context"
|
||
"fmt"
|
||
)
|
||
|
||
// LibraryProtection 回答"这些快照现在为什么不能删"。
|
||
//
|
||
// 关键点(F10):保护依据必须来自**全量依赖**,不能来自"最近 100 个版本 / 20 个作业"的
|
||
// 展示窗口。历史上一份需要恢复的旧预备份、一个 failed 但仍持有维护锁的作业,都完全
|
||
// 可能掉出任何窗口——按窗口判断就会把它显示成"可删除候选"。
|
||
//
|
||
// 任何一条查询失败都返回错误:调用方必须显示"保护未知"并拒绝生成可删候选,
|
||
// 不允许因为"读不到"就当成"没被引用"。
|
||
func (s *Store) LibraryProtection(ctx context.Context) (map[string][]string, error) {
|
||
protected := map[string][]string{}
|
||
add := func(snapshotID, reason string) {
|
||
if snapshotID == "" {
|
||
return
|
||
}
|
||
for _, existing := range protected[snapshotID] {
|
||
if existing == reason {
|
||
return
|
||
}
|
||
}
|
||
protected[snapshotID] = append(protected[snapshotID], reason)
|
||
}
|
||
|
||
// 1) 当前生效事实(指针):每个 scope 一条,与历史长度无关。
|
||
rows, err := s.db.Query(ctx, `SELECT snapshot_id FROM library_current_versions`)
|
||
if err != nil {
|
||
return nil, fmt.Errorf("读取当前生效版本失败:%w", err)
|
||
}
|
||
for rows.Next() {
|
||
var snapshot string
|
||
if err := rows.Scan(&snapshot); err != nil {
|
||
rows.Close()
|
||
return nil, fmt.Errorf("扫描当前生效版本失败:%w", err)
|
||
}
|
||
add(snapshot, "生产生效版本")
|
||
}
|
||
rows.Close()
|
||
if err := rows.Err(); err != nil {
|
||
return nil, fmt.Errorf("读取当前生效版本失败:%w", err)
|
||
}
|
||
|
||
// 2) 全部生产预备份:任何一份都是某个窗口唯一的可回滚基线,没有窗口限制。
|
||
rows, err = s.db.Query(ctx, `SELECT DISTINCT snapshot_id FROM library_versions WHERE kind='production_prebackup'`)
|
||
if err != nil {
|
||
return nil, fmt.Errorf("读取生产预备份失败:%w", err)
|
||
}
|
||
for rows.Next() {
|
||
var snapshot string
|
||
if err := rows.Scan(&snapshot); err != nil {
|
||
rows.Close()
|
||
return nil, fmt.Errorf("扫描生产预备份失败:%w", err)
|
||
}
|
||
add(snapshot, "生产预备份")
|
||
}
|
||
rows.Close()
|
||
if err := rows.Err(); err != nil {
|
||
return nil, fmt.Errorf("读取生产预备份失败:%w", err)
|
||
}
|
||
|
||
// 3) 每个 scope 最近一次测试封存(最新可发布版本),精确取而不是窗口里挑。
|
||
rows, err = s.db.Query(ctx, `
|
||
SELECT DISTINCT ON (scope) scope, snapshot_id FROM library_versions
|
||
WHERE kind='test_sealed' ORDER BY scope, created_at DESC`)
|
||
if err != nil {
|
||
return nil, fmt.Errorf("读取最近测试封存失败:%w", err)
|
||
}
|
||
for rows.Next() {
|
||
var scope, snapshot string
|
||
if err := rows.Scan(&scope, &snapshot); err != nil {
|
||
rows.Close()
|
||
return nil, fmt.Errorf("扫描最近测试封存失败:%w", err)
|
||
}
|
||
add(snapshot, "最近测试封存("+scope+")")
|
||
}
|
||
rows.Close()
|
||
if err := rows.Err(); err != nil {
|
||
return nil, fmt.Errorf("读取最近测试封存失败:%w", err)
|
||
}
|
||
|
||
// 4) 未释放的维护窗口:窗口持有者的预备份与目标快照都要留住——
|
||
// 否则"删除候选"会把正在等待恢复的那一份清掉。
|
||
var owners []string
|
||
rows, err = s.db.Query(ctx, `
|
||
SELECT owner_job_id FROM library_maintenance WHERE released_at IS NULL
|
||
UNION
|
||
SELECT owner_job_id FROM library_instance_maintenance WHERE released_at IS NULL`)
|
||
if err != nil {
|
||
return nil, fmt.Errorf("读取未释放维护窗口失败:%w", err)
|
||
}
|
||
for rows.Next() {
|
||
var owner string
|
||
if err := rows.Scan(&owner); err != nil {
|
||
rows.Close()
|
||
return nil, fmt.Errorf("扫描未释放维护窗口失败:%w", err)
|
||
}
|
||
owners = append(owners, owner)
|
||
}
|
||
rows.Close()
|
||
if err := rows.Err(); err != nil {
|
||
return nil, fmt.Errorf("读取未释放维护窗口失败:%w", err)
|
||
}
|
||
|
||
// 5) 在飞作业与"失败但仍持有窗口"的作业。
|
||
rows, err = s.db.Query(ctx, `
|
||
SELECT coalesce(snapshot_id,''), coalesce(target_snapshot_id,'')
|
||
FROM library_jobs WHERE state IN ('pending','running')`)
|
||
if err != nil {
|
||
return nil, fmt.Errorf("读取在飞作业失败:%w", err)
|
||
}
|
||
for rows.Next() {
|
||
var snapshot, target string
|
||
if err := rows.Scan(&snapshot, &target); err != nil {
|
||
rows.Close()
|
||
return nil, fmt.Errorf("扫描在飞作业失败:%w", err)
|
||
}
|
||
add(snapshot, "在飞作业引用")
|
||
add(target, "在飞作业引用")
|
||
}
|
||
rows.Close()
|
||
if err := rows.Err(); err != nil {
|
||
return nil, fmt.Errorf("读取在飞作业失败:%w", err)
|
||
}
|
||
|
||
for _, owner := range owners {
|
||
var snapshot, target string
|
||
err := s.db.QueryRow(ctx, `
|
||
SELECT coalesce(snapshot_id,''), coalesce(target_snapshot_id,'') FROM library_jobs WHERE id=$1`, owner).
|
||
Scan(&snapshot, &target)
|
||
if err != nil {
|
||
return nil, fmt.Errorf("读取维护窗口持有作业 %s 失败:%w", owner, err)
|
||
}
|
||
add(snapshot, "未释放维护窗口的预备份")
|
||
add(target, "未释放维护窗口的目标快照")
|
||
}
|
||
return protected, nil
|
||
} |