姚章浩
|
fe6e218d9c
|
fix(library): 整库只读接口改清单级读取,修掉真实超时
build / build (push) Successful in 1m17s
候选归档 79 版 / 56MB blob 上,overview、storage、snapshots 三个只读接口
都在 10s 请求期限后返回 503。分段计时定位到唯一瓶颈是按版本重读全部 blob:
Open 0ms、LoadManifest×79 11~22ms、ContentUsage 15~25ms、
Usage(逐版 Load 验字节)13.75~14.11s;单版 Load 261~290ms。
- Usage 拆成 Usage(逐版复核字节,同步/恢复与运维 CLI 用)与
UsageFromManifests(同一份去重实现,只做清单级校验),列举路径改用后者;
- library_storage.go 每版两次 Load、snapshots 每版一次 Load 改为一次清单读取;
- wiki/文档差异只读所需部件,被读部件仍由 OpenPart 复核摘要;
- LoadManifest 与 Load 共用同一套清单判据(严格解码 + 重新编码校验);
- 列举响应带 verification=manifest / verified=false,详情整版复核后才是 content,
避免把"清单可读"读成"完整性已验证";
- libraryWithDeadline 去掉超时后再写已结束响应的 goroutine 写法
(候选环境实测 http: superfluous response.WriteHeader call)。
回归:多版本共享大 blob 时枚举不读 blob 字节(篡改后枚举仍成功),
而 Load/OpenPart/Usage 仍拒绝坏 blob;坏清单两条路径都整条报错。
make verify 15 项全绿(local 档案)。
|
2026-10-28 21:52:14 +08:00 |
|
姚章浩
|
1609a0c9be
|
perf(librarysnapshot): 盘点改用 LoadManifest,去掉按版本重算 blob
build / build (push) Successful in 1m18s
实测:Load 单版 252ms、遍历 79 版 13.8s(2.77GB),这是 overview/storage 超时根因;
不是锁也不是连接池(Open 0ms,无 flock)。
- 新增 LoadManifest:只校验清单摘要与结构;同步/恢复仍走 Load 全量校验。
- ContentUsage 改用 LoadManifest。
- 已知未修完:两个接口仍 503,还有枚举调用点用 Load,待逐个替换。
|
2026-10-28 21:08:47 +08:00 |
|
姚章浩
|
281699a431
|
feat(library): 生产整库真实读写/校验/恢复与本机真实服务验收
build / build (push) Successful in 1m21s
为什么:生产目标此前是"无条件失败"的占位,编排再完整也不能落地;本轮把它做成真实实现,
并在本机 WeKnora 测试栈的真实 PG/ES 上跑通导入、撤销、预备份与故障恢复。
- ProductionLibraryTarget:Current 读行数+身份摘要;Apply 按阶段真实写入(database/wiki
同事务先删本库再插、resources 传对象、index 搬运原始文档与向量);Verify 比对身份摘要;
Restore 按预备份快照回放。
- 撤销真正生效:索引阶段写入后 PruneScope 删除快照里没有的文档。
- ProductionBackupStore:导出前独立完整预备份,导出前后行数不一致即失败。
- worker 用注入配置装配目标与预备份;缺项把变量名写进阶段并失败,不再有占位对象。
- capacity 安全加法防溢出;保留策略组合语义明确(各维度都超限才候选)。
- 新增本机真实服务集成测试(一次性 kg_library_test_* 库 + 随机 ES 索引),
覆盖导入/校验/撤销/预备份/故障注入/恢复。
|
2026-10-28 15:54:01 +08:00 |
|
姚章浩
|
c5e033dd0e
|
fix(library): 幂等重放、跨版本去重用量与契约复核
build / build (push) Failing after 15s
- 同作业号重跑读持久日志+已封存清单按首次请求重放(source_read=false,
writers_stopped=false),换范围/绑定库或清单校验失败即拒绝
- 归档用量按跨版本去重统计内容字节,清单/未引用 blob/实际分配单列,
不再用各版本 unique 之和冒充归档占用
- 冻结窗口内复核来源契约,不一致即中止;拒绝组外同镜像运行容器
- 补齐整库只读接口的 OpenAPI 契约
- 按用户确认取消 A06:文档/页面/接口不再把效果测试列为封版门槛
|
2026-10-28 12:01:09 +08:00 |
|
姚章浩
|
76f687b52d
|
feat(snapshot): 按已确认口径保留索引产物并标记验收策略
build / build (push) Successful in 1m12s
|
2026-10-28 08:01:46 +08:00 |
|
姚章浩
|
9105f8316c
|
feat(snapshot): 增加整库独立快照及测试停写恢复基础
build / build (push) Successful in 1m20s
|
2026-10-27 23:44:12 +08:00 |
|