姚章浩
|
a1472ff29f
|
fix(ds03): 早段held断言按发布代次比较整份索引
build / build (push) Successful in 1m25s
首轮到达held时按chunk-target取文档失败:早段数据库阶段失败前索引仍是
发布写入的源码分块,before-image的chunk-target本就不该出现。改为整份
读回等于applied,并显式断言chunk-target未提前回来。
|
2026-11-02 07:10:56 +08:00 |
|
姚章浩
|
f076c3af9c
|
fix(ds03): 负控行复用声明形状以满足非空列
build / build (push) Successful in 1m25s
首轮真实早段运行在插入 pending=1 负控行时被 knowledges 的 NOT NULL
约束拒绝(enable_status),说明控制行缺少声明形状。改为复制本轮
canonical 来源行再覆盖 id/范围/pending,负控仍由正式结算拒绝。
|
2026-11-02 07:07:25 +08:00 |
|
姚章浩
|
6ec1821294
|
test(ds03): 新增合法来源早段PG恢复用例
复用一个已证明的 after:wiki 发布失败入口,唯一新增故障是恢复第一段 database
的真实主键冲突(外部范围同主键 knowledges 行,SQLSTATE 23505)。来源输入改用
R38 专用副本(未删除文档 completed/pending=0),封版前用产品自己的
checkLibrarySourceSettlement 在真实 PG 上结算,并保留原 pending=1 被正式契约
拒绝的负控;共享 ds02SourceRows 与 quiesce 都不改。
|
2026-11-02 07:04:53 +08:00 |
|
姚章浩
|
e760d85427
|
test(ds03): 新增PG恢复失败后同窗口续作用例
build / build (push) Successful in 1m25s
为什么:B29.2 的 PG 子断言缺一条真实命中 PG 恢复步骤的失败闭环。故障不改产品
返回值、不停共享 PG、不扩 ACL、不改 schema:恢复最后一段 PG 写入(wiki 阶段)
会把 before-image 的日志行按原 id 插回目标范围;先用一行"外部范围、同主键"的
日志占住这个 id,那条真实 INSERT 就得到 23505。用例记录服务器 SQLSTATE、同一
语句的探针读回(没有多出行)、失败阶段事务回滚,以及真实的部分恢复现场:
database 阶段已提交、wiki 表仍是发布写入、共享 resources 的新增行按设计留到
四阶段全部成功后再清。解除只删这一行,随后走同一 window_job_id 的正式 recover。
同时把夹具的索引登记接通运行器(KG_R38_INDEX 被真实消费),并落实际 namespace,
使 wrapper 在夹具未执行 t.Cleanup 时也只清登记的那一个索引。
验证:make verify 16/16 success(local 档案,identity=skipped 属本地常态);
PG 闭环的真实运行在提交后按同一 SHA 单独执行并留 raw。
|
2026-11-02 06:29:43 +08:00 |
|
姚章浩
|
98e7279632
|
test(ds03): 新增对象版本逐条绑定移除回执
build / build (push) Successful in 1m24s
把"发布真实新增的版本在恢复后消失"从"桶里没有这个 key"加强到:每个新增
versionId 都必须有同 key + 同 versionId 的网关 removed 回执,并断言绑定条数>0;
回执/投递的 plan 仍必须等于发布期写集合摘要。
验证:go vet 通过;make verify 在本提交前的同一源码状态已 16 项全 success,
最终证据用提交后的完整 SHA 重跑。
|
2026-11-02 05:23:43 +08:00 |
|
姚章浩
|
30f223bcc4
|
test(ds03): 对象恢复补十表全形状与版本字节指纹
build / build (push) Successful in 1m25s
为什么:
- 上一版对象恢复证据里 knowledge_tags/knowledge_tag_relations/wiki_folders/
wiki_page_issues/wiki_log_entries 五张表 before/source 都是 0,把"空表相等"
当成全形状恢复,父复验据此不能关整项。
- 对象"字节摘要"只用了 ETag+size,不能称逐字节指纹。
改了什么:
- 复用 DS02 已验的十表声明与独立 oracle(ds02SourceRows/ds02Expected/本地号
mapping oracle),对象分支改用真实 v071 十表 catalog 建表;目标 before-image
与来源快照十表全非空,邻库/外部租户哨兵逐表非空。
- 逐种引用承诺(父子分块、标签关系、资源绑定、目录父子、wiki 引用、页面问题、
日志)在声明来源、发布实际写入、恢复后 before-image 三处都要求 matched>0。
- 对 before-image 每个受保护 versionId 单独 GET 算 SHA256,恢复后同 version
再独立算一次并比较;真实新增版本消失且必须有网关 removed 回执。
- 发布期写集合摘要与预备份版本证据、网关回执/投递计划一致;恢复意图
request_digest 独立重算后逐字符比较。
- 重放后的 PG/ES/对象/回执原始读回全部落盘,供父独立比对。
- 运行器写 run-identity.json(主命令/label/完整 SHA/版本/二进制摘要),
报告头与 raw 统一;label 前缀统一为 ds03-object-*(清理器同步)。
验证:make verify 16 项全 success(RC=0);真实隔离对象故障→held→同窗口
recover 用例已在本地跑通(dev5),最终证据用提交后的完整 SHA 重跑。
|
2026-11-02 05:16:41 +08:00 |
|
姚章浩
|
2cbeca8d1d
|
test(ds03): 记录对象拒绝的网关原始响应
build / build (push) Successful in 1m26s
拒绝事件补 503 与原始正文,证据可直接引用网关响应,而不只依赖客户端错误文本。
|
2026-11-02 04:47:26 +08:00 |
|
姚章浩
|
b39902ef90
|
test(ds03): 修正对象效果文件字段读取
build / build (push) Successful in 1m25s
对象效果 JSON 使用 resource_id/key 小写标签;按 Key 匹配会得到空集合,
导致已发生的 delete-intent 被误报为缺失。
|
2026-11-02 04:39:37 +08:00 |
|
姚章浩
|
68f03bb30e
|
test(ds03): 对象恢复传输失败后同窗口恢复
build / build (push) Successful in 1m26s
对象分支在对象网关前拒绝一次回滚删除请求(派发前 503、转发 0、无 intent),
让自动回滚真实失败并进入 held;撤障后用同一 recover API/窗口/备份恢复,
并读回十表整行、ES 完整 _source、对象全版本与 delete markers。
同时补四类进程 executable/hash 身份与对象清单分页;旧的 ES 分支保持不变。
|
2026-11-02 04:37:16 +08:00 |
|
姚章浩
|
93c0f34aac
|
test(ds02): 同租户不同知识库十表同输入对照
build / build (push) Successful in 1m26s
跨租户 bundle 的旧侧必须在 wiki 之前省略 resources/resource_bindings,
不能据此声称"同输入已收口"。新增同租户、不同知识库场景:旧 6fe98c9 的
resources 阶段只按 tenant_id 查资源行,同租户下不再提前失败,因此两侧
都能消费完整十表归档。
新增 ds02_identical_input_test.go:导出十表 bundle;两侧在执行前各自导出
逐表来源归档、实际目标种子、完整 DDL、三条序列、ES 文档与对象字节;
唯一 namespace 替换(桶名 %BUCKET%)按同一规范归一,物理身份单列。
|
2026-11-02 04:05:03 +08:00 |
|
姚章浩
|
98ccb9366e
|
test(ds02): 负控制落盘并修正 gofmt
build / build (push) Successful in 1m26s
为什么:CI 在 07a9caf 上 format 红(ds02_identity_test.go 未 gofmt),本地那次
make verify 跑在文件生成之前,不能算数;同时 /v1/encode 负控制只有断言、没有
落盘证据,复验时无法回看分类结果。
改了什么:gofmt 两个测试文件;负控制把实际出站条目与被判为 embedding 的差异
写进 raw(negative-control),正例仍只对发布段计数。
验证:make verify 16 项全绿;随后以新 SHA 重跑 DS02 隔离套件。
|
2026-11-02 03:48:52 +08:00 |
|
姚章浩
|
07a9caf22b
|
test(ds02): 收紧映射/引用/哨兵与进程身份 oracle
build / build (push) Failing after 19s
为什么:Astra 复验已独立复现旧 LocalIDs 循环的三种盲区——目标互换、错误来源集合、
不存在的目标都能绿;引用把 pre/next/parent 混在一个 OR 里,parent 分支没有覆盖;
成功路径没有序列非空比对;零 Embedding 只测了一个 client;旧侧对照用 rev-list 的
258 冒充 0.1.258(该工作树 identity 实际是 0.1.148);runner 在异常/超时路径不保证
清理,读回把任何非零退出都当"不存在"。
改了什么:
- 抽出独立语义 mapping checker:三表 (table,column,source,target) 精确集合 + 真实行
对应;持久账本正例与语义副本变异走同一 checker,digest gate 与语义 gate 分开。
- 测试自带十表 scope 声明并与 schema 列集合对拍;逐种引用非空命中,软导航字段显式
列为范围外;外围 ES 完整 _source、res-other 字节各补负控制。
- 零 Embedding 改为发布段独立记账:ES + 对象存储两个可达 client,自定义 /v1/encode
负控制;范围只声明本测试可达 client,正式全链留给 DS03。
- 冻结输入 bundle(十表行/目标种子/序列/ES/对象/DDL,逐表 hash):旧 6fe98c9 与新源码
同一 bundle 文件;旧侧真实 23505,新侧发布成功 + 独立 oracle。
- 测试进程身份:runner 注入 test-only nonce/commit/树摘要,进程自报 executable hash。
- 历史兼容矩阵改同 catalog 初始化,三条序列显式存在并逐例 before/after。
- runner v2(证据根,不在本仓):失败关闭、finally 清理、所有权重核、keep-failure。
验证:make verify 16 项全绿;ds02_runner_v2 三次隔离运行(含负控制与 keep-failure)
raw 见 handoffs/develop-release-contract/ds02-v2-*;旧侧探针 ds02-bundle-old2。
|
2026-11-02 03:46:26 +08:00 |
|
姚章浩
|
eea0a0ec3b
|
test(release): 整库发布独立oracle与历史兼容矩阵
build / build (push) Successful in 1m25s
十表全形状夹具补独立 oracle:逐列内容、全部引用、索引正文/向量、对象字节与
零 Embedding 调用;期望由夹具声明推导,不调用被测映射器生成。Wiki 日志本地号
映射断言双射;正文/向量/引用/映射对真实目标变异后 oracle 必须红、改回必须绿。
补历史兼容矩阵:旧 manifest、V1 台账、空作业/目标身份等缺证明组合在正式入口
被拒绝,拒绝前后 PG/索引/对象版本/序列哈希不变;不做 V1→V2 迁移。
旧版对照:0.1.258(6fe98c9)在同一隔离库/桶/索引以相同输入复现
wiki_log_entries_pkey/23505;当前代码同一输入发布成功并分配本地号。
|
2026-11-02 02:58:50 +08:00 |
|
姚章浩
|
1d2fff8639
|
test(release): 正式 worker 与维护恢复入口的 held→恢复闭环验收
build / build (push) Successful in 1m25s
真实 publish 在四类写入完成后由校验不一致失败进入回滚;回滚在
restore-finalize-intent 落盘、marker 仍在自身世代时被拒绝 clean 派发,
窗口 held、两个维护记录 needs_restore、写入口 409;撤故障后
POST /library/maintenance/recover 以同一 window/job/backup 续作成功,
PG 逐行/对象版本/ES _source 全量恢复并重开入口。仅新增验收与运行器,
产品行为与判据未改。
|
2026-11-02 01:44:03 +08:00 |
|
姚章浩
|
066dc45a25
|
fix(release): 删除型索引恢复不再用 ES 统计计数放行
build / build (push) Successful in 1m34s
- ES `_stats` 写计数是分片生命周期统计(官方文档:分片迁到另一节点时该分片统计清零),
索引 uuid 不变不绑定统计生命周期,清零后重新累计到同一数值(ABA)无法排除。
撤销 r36 的"写计数器栅栏"授权:既不落盘也不读取,统计仅作诊断。
- 删除型恢复(独占 `_create`)只有在本次尝试开始时不存在任何恢复意图、且文档确实缺失时
才可重做;既存 restore-mark-intent 配缺失文档一律 held、零写入。
- 保留可证明路径:marker 仍在且世代一致的 clean 收尾重试;文档仍是 applied 结果、
世代一致的 DELETE 补偿重试。
- 新增 ABA 反例(传输层 stats 故障模拟、真实 ES 文档写删、未重启共享 ES);
B19 / clean / delete 安全正例全回归。
验证(真实 PG/ES/MinIO 隔离夹具):
- ABA 反例:旧代码 RED(restoration must be held, not rebuilt),新代码 PASS
- 索引/恢复回归 13 项 PASS
- 回滚回归 2 项 PASS
- make verify 16 项 success(identity 仅 CI 可核)
未部署、未写生产/云、未重启共享 ES。
|
2026-11-02 01:19:00 +08:00 |
|
姚章浩
|
ff257064c3
|
fix(release): 索引恢复用写计数器栅栏与世代证明续作
build / build (push) Successful in 1m31s
- 删除型恢复写入(独占 _create)不再把"文档缺失"当成"证明从未发送":
marker 写成功、回执丢失、随后被删除与从未写过完全同形。现在在第一次
派发前把索引写计数器(uuid/index_total/delete_total)与意图一起原子
落盘;只有栅栏逐位未变才允许重做,推进/缺失/读取失败一律 held。
- restore-finalize-intent 已落盘、干净写入在派发前被拒绝后,标记体仍在
自己那份世代即可证明干净写入没有落地,按同一 CAS 继续收尾。
- 删除补偿(Before 为空)在派发前被拒绝后可按 applied 世代重放 DELETE;
文档已变或世代不符仍 held。
- 对象验收证据改用 ListObjectVersions,不再用 ListObjectsV2 冒充版本枚举。
真实 PG/ES/MinIO 隔离夹具:3 个新用例先 RED 后 GREEN;索引/恢复回归 12 项、
回滚回归 2 项全绿;make verify 16 项 success(identity 仅 CI 可核)。
|
2026-11-02 00:49:30 +08:00 |
|
姚章浩
|
de867078c6
|
style(release): gofmt 索引恢复验收测试
build / build (push) Successful in 1m39s
CI 的 format 项只在已跟踪文件上扫,提交前测试文件还是未跟踪状态,本机 make verify
没看到它;补一次 gofmt,不改行为。
|
2026-11-02 00:08:07 +08:00 |
|
姚章浩
|
b15633d37c
|
fix(release): 索引恢复在确定没写进去时按世代证据重做
build / build (push) Failing after 20s
恢复/回滚的索引步骤如果在"持久意图落盘之后、派发之前"确定失败,重试会被判成
unknown restoration lacks exact operation marker/content/CAS 而永久 held:代码
只看标记在不在,没看"这份意图到底发出去没有"。新增 restorationProvablyUnsent:
观察到的内容仍等于自己确认过的 applied 结果(删除即缺失)、且世代与那份回执完全
一致时,成功写入必然产生新世代这一事实就证明恢复写入一次都没到达索引,按原
before-image 重做不会覆盖任何别人的字节。内容对但世代对不上、或应用期停在标记态
却对不上标记体/世代,仍然 held(B19 不放宽)。
新增一次性恢复写入派发边界 restoreMarkerFault(生产恒为 nil),用来把"边界上确定
没写进去"与"写入结果不确定"分开演练。
验:新增 TestContractKnownIndexRecoveryAfterRestoreBoundaryFaultIsolated 在真实
ES/PostgreSQL/MinIO 上跑:故障前 applied 回执已落盘、失败时派发次数 0、状态为
rollback_failed;撤故障后同一 job/预备份恢复完成,PG 逐行字节、索引 ID+字节+新世代、
对象键集合全部回到 before-image,重放不再派发。RED 证据是重试报 held,GREEN 后
TestContract(Index|KnownIndex).*Isolated 11 项与两条 rollback 用例全绿,make verify
success。
|
2026-11-02 00:06:54 +08:00 |
|
姚章浩
|
c938a4f4bf
|
fix(freeze): 归档改为不可覆盖副本,保留 current 到新请求写入成功
build / build (push) Successful in 1m31s
|
2026-11-01 23:06:48 +08:00 |
|
姚章浩
|
ba1989b042
|
fix(freeze): 收尾后的同作业续作可开新尝试并归档旧请求
build / build (push) Successful in 1m31s
|
2026-11-01 22:53:41 +08:00 |
|
姚章浩
|
a98828dc4a
|
fix(library): 续作在事务内校验阶段并原子入队
build / build (push) Successful in 1m29s
|
2026-11-01 22:05:02 +08:00 |
|
姚章浩
|
e292b6f674
|
fix(library): 续作改为单事务入队,回滚作业转维护恢复
build / build (push) Successful in 1m30s
|
2026-11-01 21:51:43 +08:00 |
|
姚章浩
|
044fb37b2c
|
style(test): gofmt 补文件结尾换行
build / build (push) Successful in 1m31s
|
2026-11-01 19:35:30 +08:00 |
|
姚章浩
|
e34306b2db
|
fix(ui): 已释放窗口不再渲染 held 文案,版本页不再把 500 说成未接线
build / build (push) Failing after 18s
发布管理:maintenanceSummary 只看 job.state === 'failed' 就给 held 处置文案;
窗口已 released 的旧作业(libsync-internal-1793399248431728863)因此自相矛盾。
改为仅 held 时给 recoveryError,已释放时给 releasedFailure(如实记录失败,不提供强制成功)。
版本记录:LoadVersionHistorySyncState 把可空的 finished_at 扫进 time.Time;
部署重启触发的同步在"进行中"时该列为 NULL,扫描失败使整页 500
(nginx access log:GET /api/v1/version-history?limit=30 → 500,74 字节错误体)。
改为指针接值再判空。前端同时区分"未配置/加载失败"并显示服务端 code。
RED/GREEN:新增 Go 集成用例(NULL finished_at)、两条前端用例;
make verify 16/16 通过(local 档案)。
|
2026-11-01 19:34:31 +08:00 |
|
姚章浩
|
943b617b1f
|
test(isolated): 支持保留隔离演练现场供本机 UI/API 验收
build / build (push) Successful in 1m28s
KG_R8_KEEP_SCENE=1 时不删索引与对象桶、落网关审计公钥与派生令牌(0600),
默认行为不变(断言后精确清理)。仅测试侧改动,产品代码与数据契约不动。
|
2026-11-01 18:26:07 +08:00 |
|
姚章浩
|
99055a582e
|
test(library): 补孤儿校验锚点失败与介质失效的真实隔离用例
孤儿校验:缺 knowledge_id 的索引文档被拒绝、未知 knowledge_id 如实报孤儿、
数据库层中途失败(真实 statement timeout,SQLSTATE 57014)冒泡为错误而不是
"没有孤儿"。
锚点:真实 PG 约束拒绝写版本锚点时,作业在任何阶段写入前失败、目标零写入、
版本表不留本次行;去掉故障后同一请求写满四阶段。
介质失效:归档 part 缺失/摘要不符时恢复停在内容层,保持 held + RestoreBlocked,
服务与入口都不恢复、校验不再跑。
|
2026-11-01 17:21:42 +08:00 |
|
姚章浩
|
0df0e3cb1e
|
feat(library): 作业详情显示维护状态与人工处置
发布作业详情在目标仍被维护时返回 maintenance(持有作业、入口状态、目标身份、
备注、是否已释放)与 next_step;作业本身继续带 operation_id/attempt_epoch/预备份/
目标快照与错误说明,能定位到"哪个意图、哪份基线、哪个目标"。
不提供强制成功/强制开门入口:缺归属证据的收尾保持维护锁定,按预备份与校验证据
人工核验后再放行(用户已接受的可用性边界)。页面同时提示发布/恢复后旧分页游标
失效、需要刷新重新分页。
|
2026-11-01 17:21:42 +08:00 |
|
姚章浩
|
8df19f9368
|
test(library): 补软删除共享资源与索引 oracle 隔离用例
真实本机 PG/ES/MinIO 上补五组场景:7 张带 deleted_at 表的软删除 before-image 与
恢复逐列复原;同 _id 属其它知识库时外部文档 _source/seq_no/term 逐字节不变;
正文/向量/metadata 任一篡改都让独立 oracle 变红;晚阶段失败后既有对象精确版本
不变;同 ID 共享资源在 handle/定位/字节三类差异下写前拒绝。另在复用用例里补
"no-op 复用不改写对象版本"的断言。
需隔离服务的用例继续在 test-scope.json 显式声明:普通 CI 跳过不算通过。
|
2026-11-01 12:08:55 +08:00 |
|
姚章浩
|
8d838d9cb4
|
feat(library): 整库发布身份、写集合与收尾边界
build / build (push) Successful in 1m45s
执行时真实时钟与持久授权回读(撤销/过期即停并保留预备份)、写集合写前落盘、
租约与 attempt 身份、恢复队列与原发送身份分离、成功收尾必须释放维护后再登记终态。
|
2026-11-01 11:35:10 +08:00 |
|
姚章浩
|
8febe12d7d
|
test(library): 隔离数据契约与 r11 身份自然键矩阵
真实本机 PG/ES/MinIO:v071 目录镜像 10 模式、结构引用/游标 15 模式、
8 表×2 外部范围身份矩阵、13 模式自然键(含软删除与合法同 parent 正例)、
备份期间三注入、收尾故障与授权撤销两个真实治理 PG 用例。
需隔离服务的用例在 test-scope.json 显式声明:普通 CI 跳过不算通过。
|
2026-11-01 11:35:09 +08:00 |
|
姚章浩
|
5eef13b615
|
feat(object-gateway): 统一对象写网关与不可变治理日志
方案A:所有对象写入经 loopback 网关,持久计划/grant/intent/逐版本 receipt 与
attempt→grant delivery 落在治理 PG;scope 由 provider+endpoint+bucket 决定,
同一物理桶只允许一个写域。版本 append 不等于 CAS,未锚定计划在首笔业务写前拒绝。
本提交只含网关与其适配层接线、协议文档;生产独占、凭据切换与桶设置未改动。
|
2026-11-01 11:35:05 +08:00 |
|
姚章浩
|
d0c6d57283
|
fix(storage): 按提供方选择整库对象寻址方式
build / build (push) Successful in 1m23s
|
2026-10-31 06:22:20 +08:00 |
|
姚章浩
|
ee9d078794
|
fix(release): 分配目标分块序列并保持原值恢复
build / build (push) Successful in 1m26s
|
2026-10-31 06:08:05 +08:00 |
|
姚章浩
|
286f1fb375
|
fix(maintenance): 避免健康探针连接阻塞入口排空
build / build (push) Successful in 1m23s
|
2026-10-31 03:17:45 +08:00 |
|
姚章浩
|
56f8f4fd7e
|
fix(library): 统一空目标概览与首次同步准入
build / build (push) Successful in 1m41s
|
2026-10-31 02:42:01 +08:00 |
|
姚章浩
|
7ab2eb1ccf
|
fix(library): 按目标身份隔离版本授权与执行历史
build / build (push) Successful in 1m47s
|
2026-10-31 02:15:15 +08:00 |
|
姚章浩
|
323f9ae502
|
fix(handoff): 在执行器容器内读取云端归档清单
build / build (push) Successful in 1m23s
|
2026-10-30 22:45:25 +08:00 |
|
姚章浩
|
52c0186172
|
fix(handoff): 修复搬运默认上限及云端接收目录挂载
build / build (push) Successful in 1m29s
|
2026-10-30 22:37:18 +08:00 |
|
姚章浩
|
70c181370d
|
fix(library): handoff 阶段事务化、回传空页重置与目标基线原产地
父复审确认的三个残余(原链路,不扩架构),本包按真实调用链修完。
1 回传空页不重置游标:引用数正好是 pageSize 整数倍时,最后一页为空,
len(items)==0 直接 break 而不清游标 ⇒ 游标永远停在最老处,下一轮仍为空,
之后新增的快照再也取不到。抽出单轮函数 pullRound:空页显式重置该 scope 游标,
游标跨轮保留(单轮 20 页只是预算)。测试用真实分页语义的假数据源跑 100/2000/2100
三档,遍历完再新增引用并断言下一轮能看到(不再只测 advance helper)。
2 目标权威基线被误拒:library_baseline 是目标侧真实捕获,但只登记
production_effective(证据 action=target_baseline_init / origin=target_baseline),
原实现把"只有 effective"一概拒绝。现在原产地按**捕获证据**判定:封存=源、
预备份=目标、带基线证据的 effective=目标;普通发布成功留下的 effective 与
recovery_verified 只是引用、不决定原产地;无捕获证据或源/目标同时成立仍拒绝。
测试走真实基线登记形状(内部为业务真实字段),并保留"纯普通 effective 仍拒绝"。
3 handoff 阶段写入不完整:SyncStages 没有 handoff 行,UpdateLibraryStage 只是 0 行;
初始 running 是"读 owner 再写"(有竞态);成功后按旧 owner 写阶段必 0 行。
现改为三个事务方法:BeginLibraryHandoff(建/推进 running 且在同一事务内确认所有权)、
CompleteLibraryHandoff(同一事务:投递发布作业 + 交接 queue_job_id + 阶段 succeeded)、
FailLibraryHandoff(同一事务:阶段 failed + 作业 failed,不留半条记录)。
阶段行 (job_id, stage) upsert。测试断言交接后 handoff 阶段行真实存在且为 succeeded、
迟到执行对 stage 与 job 零改写(用屏障确定性把所有权切给 release)。
清理:删除被上述事务方法取代的 AdvanceLibraryJobIfActive 与 FailLibraryHandoffIfOwner,
避免同一含义两套实现。
验证:隔离 fixture PostgreSQL(真实迁移/队列/完成事件)+ 本 SHA 的 libraryctl 实跑
cmd/worker 全包通过;internal 全包与 go vet 通过。未部署、未推送;云 SSH/UI 仍未验证。
|
2026-10-30 19:32:28 +08:00 |
|
姚章浩
|
8a68ed1819
|
fix(library): 交接所有权 CAS、回传游标跨轮与快照原产地
父审查确认四项是原 finding 未闭环,本包按真实调用链修完(先 RED 再修)。
R4a 正常流程必现阻断:API 先入 handoff 队列作业并关联,交接却只接受"未关联",
每次正常发布都被自己的所有权检查挡住。新增 governance.LibraryHandoffQueueJobID
(jobs.id 为 varchar(36),原实现拼后缀超长,插入即失败);EnqueueAndAttachLibraryJob
增加"声明的前驱队列作业号",只允许当前无人持有或正是该 handoff 时替换,任意替换拒绝。
测试从 API 真实前驱(已关联)开始,覆盖正常交接、错误前驱拒绝、交接后重放、
以及 release 与 handoff 两条队列行都存在。
R4b 迟到 handoff 污染已交接作业:失败出口(含 Push 错误)改为所有权 CAS
(FailLibraryHandoffIfOwner),只在业务作业仍由本次 handoff 持有时写 state/stage/recovery;
已交接/已终态零修改。所有权判定改为只看 library_jobs.queue_job_id(阶段行是否存在
与所有权无关,原实现会误判)。阶段写入也带所有权。用测试屏障确定性地复现"失败出口
到来时所有权已切给 release",验证 release running 与 succeeded 两种状态下零修改。
R2 回传游标每轮重置:改为跨轮保留(单轮仍 20 页预算),读到不足一页才回到起点;
新增 pullCursor 与跨轮覆盖测试(2100 条引用、每轮 5 页仍全部覆盖,不重复不漏取)。
R3 原产地误判:封存成功后会再登记 production_effective(同一快照),原实现把
sealed+target 判成冲突,正常再发布/历史恢复被误拒。现在原产地只由捕获事件决定
(test_sealed=源 / production_prebackup=目标),effective/recovery_verified 只是引用;
二者冲突或都没有捕获事件仍拒绝。测试覆盖正常成功链、真冲突、无捕获事件三种。
验证:隔离 fixture PostgreSQL 实跑 cmd/worker 全包通过(含上述四条真实调用链);
libraryhandoff/librarysnapshot/httpapi/governance/platform-postgres/libraryctl 全绿;
完整 ci_checks 见提交时日志。未部署、未推送、未构建镜像;真实跨主机 SSH 链路仍未验证。
|
2026-10-30 19:22:48 +08:00 |
|
姚章浩
|
9300865d23
|
fix(library): 搬运复用前复验字节、回传游标分页与发布队列事务交接
父独立审查退回的四个 finding,逐项修在本包内,不改架构。
1 复用路径没复验字节:remoteEvidence 只读清单+摘要就宣布可用。现在新增
libraryctl snapshot-verify(整版逐部件重算)并在复用前调用;blob 缺失/篡改必须
在入发布队列之前失败。新增真实 local 跨进程用例:清单不动、删 blob / 改 blob 后
再 Push 必须拒绝。
2 回传枚举被固定 LIMIT 50 截断:LibraryJobSnapshots 只取成功作业且按摘要字典序。
改为 LibrarySnapshotCandidates:合并 library_versions、library_jobs.snapshot_id、
library_jobs.target_snapshot_id 三处引用,按 (created_at, snapshot_id) 游标分页;
回传循环翻页到不足一页为止。失败/待恢复作业留下的预备份、第 51 条以后、历史恢复
输入快照都能被枚举。另修"本地只有清单、blob 已损坏就永远跳过":改用整版 Load 判定,
并给 Unpack 增加显式 RepairCorruptBlobs(只在权威云端读回时开启)。
3 身份映射错误:搬运拿目标 tenant/KB 去核对封存快照,而封存清单写的是**源**身份
(云测试验收目标 a8e9c8ad/2e980686 与源 KB 必然不同)。现在 expectedSnapshotIdentity
按版本台账判定:test_sealed → 用部署注入的源绑定(LIBRARY_SOURCE_TENANT_ID /
LIBRARY_SOURCE_KB_*);预备份/生效/恢复版本 → 用目标绑定;没有登记或两类冲突一律拒绝。
身份永远来自独立绑定与台账,不接受包自证。
4 两步入队有竞态:Enqueue 成功后云执行器可能立刻领取并开始维护,Attach 失败却把作业
标失败并声称"未维护"。改为 EnqueueAndAttachLibraryJob 单事务(锁行 + 插入 + 关联 +
状态守卫),要么都成功要么都不发生;重复执行幂等,已关联别的队列作业则拒绝。
另修终态重放:AdvanceLibraryJob 无状态守卫,迟到的失败出口会把已成功作业改写;
新增 AdvanceLibraryJobIfActive(仅 pending/running 可推进),拿不到就明确记录"未覆盖"。
测试:libraryhandoff 用例覆盖跨租户/错误 scope/清单在而字节坏/本地损坏自愈;
隔离 fixture 库覆盖"校验通过才入队、失败不入队"、>50 条分页与失败作业预备份、
幂等重放不重复投递、迟到失败不改写终态。
未部署、未推送、未构建镜像;真实跨主机 SSH 链路仍未验证。
|
2026-10-30 19:10:02 +08:00 |
|
姚章浩
|
6400fd1bbe
|
feat(library): 快照搬运先于维护、双向校验与云端版本回传
为什么改:云端 release-executor 与目标同机后,本机封存的快照必须"先到、先验证"
才允许开维护窗口。此前只有 pack/unpack 两条人工命令:UI 点发布时执行器读到的是
本机归档路径,云端根本没有这份快照,作业只能在装配阶段失败;而预备份落在云端,
本机页面也读不到。用户已批准补齐这条链路。
搬运(新包 internal/libraryhandoff):本机 Load 逐 blob 重算 → Pack → SSH 流式写入
云端暂存 → 原子改名 → 云端 snapshot-unpack 再逐 blob 校验 → 读回版本清单摘要自证 →
scope/tenant/知识库身份与治理库作业一致。只有全部通过才投递 library.sync|restore,
失败时发布作业根本不存在(目标不进维护、不写知识)。远端命令是固定 argv,容器名与
路径只来自部署配置;同 ID 异内容拒绝;同一快照本机 flock 串行化;暂存 bundle 用后即删,
归档本体永不自动清理。
回传:capture 角色按已成功作业的 snapshot_id 扫描,把本机缺失的云端快照 Fetch 回来
(云端 pack → SSH 流回 → 本机 Unpack 逐 blob 校验)。回传成功后 API/页面既有的列表、
详情、差异、存储与历史恢复路径读到的就是真实字节;失败则版本不出现在本机,不会被误报成可恢复。
角色:搬运与回传只注册在 capture;若接线到 full(同时消费发布作业)启动即失败,
避免与云端执行器抢同一批作业。release-executor 仍不拥有治理库 DDL,也不消费
QA/邮件/来源扫描。
验证:internal/libraryhandoff 全绿(跨进程 push/fetch、身份不符拒绝、幂等复用、
并发串行、篡改与未知快照不落版本、路径穿越拒绝、远端错误不当作"没有");
cmd/worker 在隔离 fixture 库(独立测试 PG)上验证"校验通过才入队发布、失败不入队";
httpapi 队列决策单测;相关包 go test 全绿;go vet 全仓通过。
未部署、未推送、未构建镜像:云端接线与验收仍由父执行。真实云链路(含 SSH 通道)
本轮没有云侧写操作,只有本机跨进程与隔离 fixture 证据。
|
2026-10-30 18:58:34 +08:00 |
|
姚章浩
|
e6472b0ec6
|
feat(library): 云测试发布目标接入的角色分离、快照搬运与图谱门禁
为什么改:发布执行链是"与目标同机"假设写死的(本机 docker.sock、本机 drain.json、
本机 Redis/PG),把目标换成云测试不能只改展示 URL;直接搬整套 worker 又会抢走
本机封存/QA/周报队列并按本机配置写错目标。所以先把"谁消费哪段队列"变成显式角色,
再补齐跨主机搬运与目标侧门禁。
角色(LIBRARY_WORKER_ROLE=full/release-executor/capture)不只影响 handler 列表,
还决定是否拥有 DDL(release-executor 只读校验迁移版本,落后即拒绝启动)、
收拾哪些 library_jobs.kind、是否跑 release 接管扫描、是否起 scheduler/QA/周报/探测。
capture 保留本机原有全部业务;release-executor 只挂 sync/restore/recover/baseline。
快照跨主机:新增内容寻址的 bundle(版本清单先落、blob 按 sha256 命名、清单最后
Link 作提交点),pack/unpack 幂等且拒绝覆盖与同名不同内容;执行器使用前仍逐 blob
重算 sha256,因此传输不可变有两道证据。
目标侧门禁:目标知识库 graph_enabled=true 时拒绝发布(发布只写 PG/ES/OSS,不写
Neo4j;未知也拒绝),只读检测、不改目标配置、不做图谱迁移。
云端入口:新增 drain 感知的 ingress 闸门(建连超时与读超时分离,半关闭单向传播,
SIGTERM 排空后写 drain.json 并 exit 0/2)、compose 叠加片段(app 不再发布端口、
frontend 与 adapter 的入口收敛到闸门、指向真实网络 weknora-test-v071-network)、
执行器启动脚本与治理 PG 反向隧道脚本(默认 unix socket,不占 TCP)。
验证:deploy/cloud-test/test_gate.py 13 项全 PASS(含 12 秒静默流、半关闭、2MiB 完整、
排空 exit 0/active_at_close=1、排空超时 exit 2、上游不可达不挂住);go test 相关包全绿;
scripts/ci_checks.py 16 项全部 success(EXIT=0,1241 用例通过/0 失败/191 已声明可选集成跳过);
云测试只读预检 17 项 / 6 FAIL,FAIL 项即当前部署缺口(无闸门、app 仍发布端口、
adapter 与 frontend 仍直连 app、云端归档根未建),未部署、未改云端任何状态。
|
2026-10-30 18:38:38 +08:00 |
|
姚章浩
|
a7d643635a
|
fix(library): 守卫按行取作业身份、同作业多代次、原作业续作与执行域准入
build / build (push) Successful in 1m27s
R1 维护/发布守卫硬编码 j.id=$1:维护类入口的 $1 是 scope/instance,作业号在 $2,
导致 update/release/ingress 六个入口正常路径全部匹配不到作业。改为按被更新行自己的
owner_job_id 生成条件,并同时要求该代次在 library_attempts 里仍活跃。
R2 认领只改 jobs.attempt_epoch 不改 attempts.epoch,第二次接管即错位;唯一索引
(job_id) 与"每次接管新 attempt 且历史不可变"矛盾。改为同作业多代次:锁作业行与
operation 行、同 owner 幂等续租、活跃未过期者让路、过期/本作业旧代次标 abandoned、
新代次 epoch=max+1,并清同 operation 其它作业行租约。迟到 write/renew/finish 一律
ErrLibraryEpochStale(finish 补了"只能在活跃态进来一次")。
R3 续作不再新建 -resume 作业:PrepareLibraryJobResume 让原业务作业回 pending 并显式
结束上一代,维护窗口/journal/预备份/写集合仍按原作业 id 归属,代次由 worker 起手递增。
R4 执行域准入改为注册 handler 前读事实:目标实况(KB/租户/schema/索引)、旧 release
路由绑定的 KB、未释放维护窗口持有者;未知或重叠即拒绝执行(不做维护动作、不停既有服务)。
同时自纠 5 项设计偏离:current 次序键取意图创建时间(旧意图迟到事实被拒)、首次锚点
改事务 FOR UPDATE + 回读且 NULL≠0、版本事件冲突只做加法且 xmax=0 才算新事实、
恢复作为新 kind=recover 意图推进 current、隔离测试加测试库护栏并清理残留 schema。
测试:真实 PG(kg-pgtest-writeset,一用例一 schema)新增 8 条集成用例覆盖上述正负例;
go test ./... 全绿(50 包)、go vet/build rc=0、web tsc + vitest 485 通过、make verify 16 项通过。
|
2026-10-30 17:20:40 +08:00 |
|
姚章浩
|
afe9affc2a
|
style: gofmt 新增的三个文件
build / build (push) Successful in 1m27s
为什么:远端 CI 的格式门在推送后判红(run 258,job build,format=failure),
本地 `make verify` 那次跑的是"拉取前"的文件集,漏掉了随后新增/改写的三个文件。
失败项:internal/httpapi/library_intent_test.go、internal/jobs/lease_loss_test.go、
internal/platform/postgres/library_protection.go。
怎么验:`gofmt -l internal/ cmd/` 输出为空;`python3 scripts/check_format.py` rc=0
(Go:✅,前端:✅)。只改空白,不改逻辑。
|
2026-10-30 16:16:45 +08:00 |
|
姚章浩
|
98294b9583
|
fix(library): 统一执行身份、终态收尾、准入与数据身份
build / build (push) Failing after 24s
why:审计 19 项(12 P1 / 7 P2)来自同一批根因,逐点试错会把协议撕成十几份:
· 意图与执行混为一谈(F01/F15):`library.sync:<scope>:<快照>` 是终身幂等键,
A→B→A 的第三次发布拿到第一次的历史成功作业,什么都不做;
· 版本行既是实体又是事件(F02/F09):主键只由 (kind,scope,快照) 决定、写入是
upsert,第二个作业覆盖 `source_job_id`/`evidence`/`created_at`;
· 接管没有代次(F13):两个 worker 都能认领同一 pending 作业,失租的旧执行还能
写业务状态、释放别人的维护锁;
· 早退与终态没有统一政策(F03/F04/F05/F06):半写窗口的前置检查失败会重新开门、
服务起不来也照样开入口、journal 终态后收尾不可重建、恢复成功不回写 current;
· 数据身份与准入各写一套(F07/F08/F14/F17):接管丢了复用语义、全库搬运不改
location_hash、通用入口可造 library.* 作业、目标模型从没被问过;
· 存储/容量/UI/CI 判据各自为政(F10/F11/F12/F16/F18/F19)。
what:按批准的一套协议集中实施(详见 handoffs/release-consolidated-implementation/
current-contract.md):
· operation(一次明确意图)/ attempt(epoch 代次)/ 不可变版本事件 / current 指针;
治理库迁移 76,只动治理库,不碰 WeKnora Schema/源码/镜像;
· 所有业务状态、阶段、版本事件、维护锁写入带 epoch 守卫(失租代次写不进去);
心跳失租立刻取消 handler;
· 半写窗口早退保持关闭;服务未全部健康绝不开入口;journal 终态可从持久事实重建
收尾;恢复成功登记 recovery 事件并推进 current;
· worker 在动维护前核对业务行/kind/scope/队列关联;通用入口拒绝 library.*;
· 全库搬运重算 location_hash 并与文档级导入共用实现;接管消费写集合的复用决定;
发布前核目标实时模型契约、容量门禁前置;
· 存储保护闭包改为全量依赖、类型只认显式登记、保护未知则不出可删候选;
· 页面核 HTTP 状态与结构、恢复纳入轮询、Wiki 差异覆盖标题/摘要/父级。
how:`make verify` rc=0(16 项必需检查全绿,含 go test 全量与前端 485 例);
`go vet ./...` rc=0;`npx tsc -p tsconfig.json --noEmit` rc=0;逐项负例见各包测试
(F03/F04/F08/F12/F13/F14/F16/F18/F19 都有先红后绿记录)。
未执行:治理库迁移到任何已有库、真实 PG/ES/S3/WeKnora 集成、故障注入、部署。
|
2026-10-30 16:14:54 +08:00 |
|
姚章浩
|
85b3596e0e
|
fix(postgres): 复用预备份时保留首次登记时刻
崩溃接管会复用崩溃前那份预备份;BackupPrepared 会再登记一次版本行,而
`created_at = EXCLUDED.created_at` 把"备份什么时候拍的"洗成了接管时刻 ——
事后无法区分"复用"和"崩溃后重做了备份",而后者正好把半写状态当成可回滚基线。
- 只对 `production_prebackup` 取 LEAST(首次登记时刻只早不晚);
- 生效版本行仍写当前时刻(重新激活一个旧快照后,页面要显示最近一次生效);
- 真实 PG 用例两条负例:撤掉保留规则 ⇒ 红;规则漏到所有 kind ⇒ 红。
verify: 一次性库 kg_takeover_reuse_test 上 PASS;
负例 1(撤掉 CASE)→ "复用后登记时刻被改写";负例 2(CASE 去掉 kind 条件)→
"生效版本重新激活后时刻";make verify overall success。
|
2026-10-30 07:56:12 +08:00 |
|
姚章浩
|
6bdc17474c
|
feat(worker): 接管认领与决策落结构化日志
2026-10-29T19:56Z 的 after:database 演练里,worker 只留下汇总行
`library job takeover sweep: 1 resumed, 0 failed without backup`:既不说哪个
作业,也不说它是否真被本进程认领(被别的 worker 抢走、attach 失败都只影响
计数)。演练脚本要的老文案只在"新建队列行"那条路径打印,真实走的是"队列行
已存在"那条 ⇒ 判据与实现各说一套,演练 exit 5。
- 新增 `library job <id> takeover claimed at=… kind=… scope=… target=…
backup=… queue=… path=…`:claim + attach 都成功之后才写,两条认领路径共用
(path=enqueue / existing-queue);
- 新增 `library job <id> takeover decision=…`:分类后、动手之前写,含
finalize_only。只留阶段表的话,同快照收尾能把它伪造成完整续作;
- resume 的 store 参数抽成接口,单测才能证明"没认领/attach 失败时一行都不写"
(变异验证:把认领行提到 attach 之前 ⇒ 红;删掉 existing-queue 那行 ⇒ 红);
- 接管复用的预备份在证据里写 `backup_reused=true`:分不清"复用"与"崩溃后重做
备份",后者会把半写状态当成可回滚基线。
verify: go test ./cmd/worker -run 'TestTakeover|TestLedgerBackupStore' -count=1 全绿;
make verify overall success(16 项必需全绿)。
|
2026-10-30 07:56:07 +08:00 |
|
姚章浩
|
0d3a016a9e
|
feat(worker): 加真实中断演练的固定同步屏障
真杀 worker 只有在"写了一半"那一刻才有意义,靠 sleep 猜时间会错过阶段 ——
上一版演练脚本就是这样永远 exit 0 的。这里把"进程确实停在固定点"变成文件事实:
worker 到达点位后写 <dir>/<point>.hit 再等放行,演练方看到它再 SIGKILL,命中
是确定的。
安全边界:只有 KG_TEST_BARRIER_DIR 与 KG_TEST_BARRIER_POINTS 同时在场才生效
(默认关闭),只由本机 compose overlay 注入;单次等待有硬超时,没人放行就自己
继续;同一进程被杀后重启看到同一份 .hit 直接通过,不会把接管再拦住。屏障挂在
contentTrackedTarget(阶段之间),发布链路不需要知道演练的存在。
验证:屏障包 4 条用例(默认关闭无副作用 / 命中与放行握手 / 超时自行继续并留
.hit+.timeout / 目录不可建报错但不阻塞)与包装层接线用例全绿(后者证明真实
Apply 路径真的走到点位,漏接线会红)。
|
2026-10-30 03:09:29 +08:00 |
|
姚章浩
|
0088004cd6
|
fix(library): 当前生效版本改按精确查询
接管分类、基线判定、已知索引映射、同步闸口的创建判据与归档保留的保护标记,
原来都用 LibraryVersions(scope, 50/100) 这个分页窗口再在内存里筛。生效版本每
scope 只有一行、可能很久以前登记,历史一长就被挤出窗口 —— 于是"已生效"被读成
"没有生效":接管会把已经上线的目标重写一遍,基线入口会给已有权威版本的目标
再建一次基线。
现在统一走两条精确查询:LibraryCurrentVersion(kind='production_effective' AND
superseded_at IS NULL,每 scope 至多一行)与 LibraryVersionOfSnapshot(按快照
身份取回"已顶替"证据)。多行、自相矛盾、读不到一律 fail closed;同一含义只留
一份实现(knownIndexMapping 同步与恢复共用)。LibraryVersions 仍是 1..100 的
展示窗口,只用于列表。
验证:真实 PG 上先复现(窗口实现 ⇒ found=false),改后 7 条 store 契约用例与
worker 端到端判定用例全绿;本机 make verify 15 项 success(用例 1264 通过 /
0 失败 / 93 已声明可选跳过)。
|
2026-10-30 03:09:21 +08:00 |
|