Weknora/knowledge-governance
4
0
Fork 0
Code Issues 2 Pull Requests 5 Actions Packages Projects Releases 1 Wiki Activity
56 Commits 11 Branches 57 Tags
19e0596e1d2d8bd00848993c8dfd18552e3939ed
Commit Graph

14 Commits

Author SHA1 Message Date
姚章浩 19e0596e1d fix(backup): 整库逻辑备份按库容错，默认跳过 RDS 管理库 rdsadmin 
单库 pg_dump 失败（权限/编码/管理库）不再中止整次备份：清掉半个目录、记进 MANIFEST.failed_databases、
轮转照常执行、最后按失败情况给退出码。云主机实跑：33 秒 / 742.6 MiB / 8 库 / 失败 0。
 2026-10-09 12:25:12 +08:00
姚章浩 a1be19bb0f docs(backup): 补实测耗时（2m52s 快路径 / 19m40s 含 ES 回传）与 ES 导出哈希非确定性判据 2026-10-09 12:22:55 +08:00
姚章浩 b32755b35f feat(backup): 备份目录契约 + 导入前留档覆盖 ES 层 
- scripts/backup_layout.sh：定义 $KB_BACKUP_ROOT/{target-kb-snapshots,rds-logical,es-snapshots,logs}
  与 /etc/knowledge-governance/backup.env，任意主机跑同一份（测试云主机 → 未来生产云主机）
- scripts/es_kb_export.py：只读 scroll 导出目标库 ES 文档（gzip JSONL，_id/_source，可按 _id 重建）
- scripts/target_kb_snapshot.sh：留档改为 PG 行 + ES 文档两层；PULL_ES 默认 0（692 MB / 家用上行 19m40s，
  留在目标主机，清单记 location=cloud:<host>:<path>）；挂载源与落点统一走 KB_BACKUP_ROOT
- scripts/logical-backup.sh：自管整库逻辑备份（pg_dump -Fd -j4 -Z6，按天轮转）
- internal/releasesnapshot：门禁要求 PG 与 ES 两层齐备（ES 计数 >0）；云侧留档核声明与哈希、
  声明本地却缺失则 fail-closed；新增 3 条用例（共 10）
- cmd/guardcheck：用真实产物复核门禁判断
- docs：PRODUCTION_BACKUP_RECOVERY.md 重写（契约/RDS 控制台/恢复路径/边界）；P6 同步留档语义
 2026-10-09 12:19:15 +08:00
姚章浩 6496ee3571 fix(artifact): 在线文档大小预检只对普通文件生效，压测暴露的取件器错误映射补齐
build / build (push) Successful in 25s
Details 
- 大小预检此前对 adoc/axls 也用目录大小，而在线文档目录大小是容器大小
  （实测有 1.40GB 的 adoc，导出 docx 仅 49.5MB）→ 3 个可导出文档被误判 over_limit
- axls 转换器的 dws 失败改为抛 DwsCallError，取件器映射成平台错误码
  （此前进程无结果退出，平台只看到 artifact_fetch_no_output）
- export_failed 改判 retryable：8 路混合时巨型文档服务端导出偶发失败，1/2/4 路与串行必成
- 新增 2 个回归测试 + dws_error_map 1 个断言；文档补并发实测表与回归清单
 2026-10-09 11:51:26 +08:00
姚章浩 6f16c3af20 fix(compose): 快照目录挂载并入 release-worker 既有 volumes 列表
build / build (push) Successful in 34s
Details 
上一版把 volumes 写成了重复键（compose 解析失败），并且误删了 extra_hosts/
networks。现在合并成一份挂载列表，端点别名（prod-pg/prod-es/prod-weknora）
保持不变；容器内已核对：快照目录可见、target_snapshot 配置已加载。

另新增 docs/PRODUCTION_BACKUP_RECOVERY.md：五层备份现状（PG 行级快照 /
发布前硬门禁 / ES 快照仓 + SLM / OSS 版本控制 / RDS 待确认）、RDS 控制台清单、
按事故类型的恢复路径与耗时、以及每次发布前的标准动作。
 2026-10-09 11:02:32 +08:00
姚章浩 1fa35e9870 feat(release): 发布前快照硬门禁 + 云内快照 + ES/OSS 保护 
按生产级备份组合落地：

- internal/releasesnapshot：新增门禁包，要求 root 下存在覆盖目标库、未过期
  （默认 24h）、含 wiki_pages.jsonl 与 sha256 的快照；本地文件再校验哈希。
  7 条单测（过期/换库/篡改/缺页/未接线/半成品）。
- 发布器：写目标库之前（Publish/Delete/Rollback 三条路）先过门禁；映射目标
  （源库→目标库，共享真实库）或 policy=always 时必须有快照；门禁未接线
  同样拒绝（fail-closed）。新错误码 release_target_snapshot_missing（不可重试）
  + 页面中文提示。6 条发布器单测。
- worker 配置新增 target_snapshot{root,max_age_hours,policy}，校验 policy/
  max_age/绝对路径；compose.release-sim.yaml 只读挂载快照目录。
- scripts/target_kb_snapshot.sh：默认云内执行（与 DB 同 VPC，凭据取自 WeKnora
  容器）+ 默认不导 chunks（44s 出 8 张表）；修复 \copy 不能跨行/不能带 WITH、
  ES 计数改用 knowledge_base_id.keyword。
- ES：注册 kb_backup 仓库（path.repo），首个快照 36s/4.7GB/0 分片失败，
  SLM kb-hourly(3d)+kb-daily(7d) 已建并执行成功。
- OSS：目标桶开启版本控制（此前未开启）。
- 文档 P6 增补硬门禁与云内执行；真实快照目录上门禁实测：两个绑定库通过、
  未覆盖库拒绝、未接线拒绝。
 2026-10-09 10:59:55 +08:00
姚章浩 f4e1ecc5f1 feat(artifact): 钉钉取件优先走 dws（DingTalk Workspace CLI），老路径保留为回退 
- artifact_fetch.py: 新增 dingtalk dws 取件器（adoc→doc export、axls→sheet 转换、其余→drive 直下），
  ARTIFACT_DINGTALK_FETCHER=dws|auto|legacy 三级开关，auto 仅对可重试错误回落老路径；
  平台侧判定（pick_suffix/SLIDES/magic/大小上限/sha256/spool/空壳检查）全部保留；
  结果 JSON 字段不变（Go runner 用 DisallowUnknownFields 解析 stdout），取件器来源只写 stderr。
- axls_to_xlsx.py: 纯标准库 axls→xlsx（文本写入 sharedStrings 以通过空壳判定）。
- dws_error_map.py: dws 错误→平台 {ok,code,retryable,missing}；未分类错误默认不重试。
- Dockerfile: alpine 增加 gcompat/libc6-compat；dws v1.0.63 固定版本+sha256 校验；构建期 dws version 自检。
- compose.yaml: worker 增加 dws 环境与凭据挂载（DWS_HOME 方案，XDG_DATA_HOME 不被 dws 识别）。
- 测试: artifact_fetch_test 新增 11 项（路由/回落语义/契约字段锁定）；dws_error_map 17 断言。
- 实测: 真容器(--read-only --tmpfs --user 1000:1000) 端到端 adoc/axls/pdf 3/3 成功，docx sha 与平台基准一致。
 2026-10-09 10:57:11 +08:00
姚章浩 8bb5cd9a62 feat(ops): 目标知识库只读行级快照工具 + 发布前备份约定 
发布链不做发布前备份（Prepare 只归档本包、previousRevision 首次为 absent），
门禁 PRODUCTION_BACKUP_RESTORE_VERIFIED 只是人工开关 —— 目标库覆盖前没有现场。

- scripts/target_kb_snapshot.sh：KB 维度只读导出（SELECT + \copy），输出
  JSONL + MANIFEST.json（行数/字节/sha256/覆盖范围/ES 文档数）+ export.sql
  + README.md（恢复步骤）。支持指定或读取已绑定目标库，INCLUDE_CHUNKS=0 出小快照。
- 文档 P6 新增「发布前备份」：覆盖范围、边界（不含 ES/OSS 本体，整库级走 RDS
  PITR）、以及共享真实库发布/撤权/回滚前必跑快照并记入发布单的约定。
 2026-10-09 10:05:23 +08:00
姚章浩 e5fa063d7d feat(release): wiki 通道按归属判定替换，共享知识库不再被整库清空 
WeKnora 的 wiki 图谱与页面同表（wiki_pages），旧的库级 DELETE + 灌包在共享真实
知识库上会把其他文档的页面与 agent 手写页一起抹掉（2026-10-08 生产演练现场）。

- 新增 internal/releaseadapter/v071/wiki_scope.go：按 source_refs 判定归属
  （全部引用属于本包 = InScope；引用包外知识 = 外来页；无引用 = index/log/
  agent 页永不触碰），目标库存在外来页时降级为只替换包内页集，外来页上仅摘掉
  本包知识引用，包内库级页不写；包内会写入的页与外来页同 slug 时 fail-closed
  拒绝发布且不落任何改动。
- Replace 与 ReplaceWiki（撤权/回滚）共用同一套判定，不再整库清空。
- 作用域以一行日志落盘：release wiki replace scope in_scope=… degraded=…
- 测试：单测 7 条（纯函数判定）+ 真库集成 3 条（共享库保护 / slug 冲突拒绝 /
  镜像库整库替换不变），集成用例只用带随机后缀的临时知识库并自清理。
- 文档：P6 新增「wiki 通道的归属门禁」，P8 补验收点与镜像前提。
 2026-10-08 19:06:36 +08:00
姚章浩 2de7a43286 feat(release): 生产授权支持页面通道（管理员会话 + 固定确认语句） 
页面原本没有任何生产入口，授权/重排/回滚只能带 Bearer 调接口，实际还要 admin 会话。
现在三个端点支持两条通道，门禁语义不变：

- 运维通道：Authorization: Bearer <token>，审计记 PRODUCTION_RELEASE_AUTHORIZER_REF
- 页面通道：已认证 admin 会话 + 固定确认语句，审计记该管理员用户名
- 请求门禁 / 备份恢复门禁 / Release Worker 执行门禁三者不受影响
- 发布管理第 6–8 步加「授权发布 / 重排 / 回滚」按钮，点击需逐字输入确认语句，
  仅 admin 可见；重排沿用原执行授权人，不改写历史
- openapi 与 P6 契约同步；测试：双通道各一条 + 非 admin/错短语拒绝 + 前端按钮与确认门禁
 2026-10-08 17:00:49 +08:00
姚章浩 6440e3f679 feat(release): 发布目标知识库可选（源库 → 目标库映射） 
- 迁移 000044：production_kb_bindings + release_item_executions.target_knowledge_base_id
- 系统设置新增「生产知识库绑定（对内/对外）」：从生产 WeKnora 实际列表选库，
  保存时真校验（不存在拒收；生产端不可达只提示并如实回报），仅管理员可改
- 执行计划按绑定解析目标库并冻结进 release_item_executions；空目标直接拒收；
  已发布过的条目保留原目标（重试/回滚回到同一处）
- DocumentBundle.RemapKnowledgeBase：knowledges/chunks/knowledge_tags/wiki_pages/
  wiki_folders 的 knowledge_base_id 与 ES 文档字段改写为目标库，重算表/文档摘要并重新封装
- 契约比对改为「声明的映射对」(KnowledgeBaseMapping)，其余字段继续 fail-closed
- 契约检查器 / 目标身份 / 验证器全部走映射后的目标库；对象通道无需改写
- Compose 拆分：数据面接线 compose.release-sim.yaml + 两道门禁 compose.release-gates.yaml
- 测试：RemapKnowledgeBase 全通道/无操作/fail-closed、映射契约、绑定接口、RBAC、真实 PG 集成
 2026-10-08 15:41:13 +08:00
姚章浩 e53b98f37d fix(alist): 网关鉴权头改为 X-Gateway-Token 
- 依据 2026-09-28 实测：旧头对新网关 4/4 源返回 401，X-Gateway-Token 返回 200
- 取件通道 scripts/artifact_fetch.py 两处头名同步；镜像内生效需重建 worker
- 修正过期结论：下载直链 /p/<path>?sign=… 为签名鉴权，请求头不影响（无头亦 206）
- 同步文档与回归断言表述（重定向隔离测试仍 PASS）
 2026-09-30 10:54:07 +08:00
姚章浩 ea6e56b304 feat(release): 文档发布会带上知识库 wiki 快照并支持撤权剥离 
发布通道原来只有三条：PostgreSQL 关系行、Elasticsearch 分片、OSS 对象。
WeKnora 的 wiki 图谱是 wiki_pages 一张纯 PG 表（in_links/out_links 存 slug），
所以它不在任何通道里——撤权后生产 wiki 会一直留着已撤权文档的页面与引用。

本次新增第 5 条通道：库级 wiki 快照，挂在现有文档发布包里，检索与 wiki
同一个 release 单元（同一次执行、同一次校验、同一次回滚）：

- 导出：ExportWiki 按 knowledge_base_id 全量读 wiki_pages/wiki_folders；
  收敛门禁（库内无解析中/合成中文档）不满足直接失败并给中文原因；
  未启用 wiki 且无 wiki 行的库不参与同步（生产 wiki 保持原样）。
- 撤权：item.Action == "delete" 时在导出端剥离该文档的 wiki 贡献
  （source_refs/chunk_refs 去条目、无引用页面整页不带、摘死链、清 parent_slug、
  无页面引用的空文件夹及其祖先一并去掉），使“源端仍在只停止发布”和
  “源端删除”两种情况收敛到同一结果。
- 导入：库级 replace-by-kb（同一事务内 DELETE by kb 后灌入快照，文件夹先于页面），
  新增 ReplaceWiki 供撤权路径使用（文档行只 disable，wiki 整体替换）。
- 校验：VerifyWiki 用生产 WeKnora wiki API 比对页面 slug 集合，撤权时额外断言
  生产 wiki 不再引用被撤权文档。

驱动与验收：新增 cmd/release-channel-e2e（复用发布 worker 真实代码路径，
支持 publish/withdraw/rollback），scripts/wiki_e2e_test5.sh、
scripts/wiki_e2e_newkb.sh 两套端到端脚本；证据见
docs/WIKI_CO_TRANSPORT_ACCEPTANCE.md。
 2026-09-30 10:54:07 +08:00
zheromiku dcdc8d1ddd feat: 知识治理平台(含已验证发布/回滚契约) 
全栈知识治理平台首次入库（P1-P10 + 发布链路模拟验证闭环）：

- 治理核心：源目录/变更集/人工审核/发布批次/发布执行（fail-closed 闸口）
- 测试通道：WeKnora 测试 KB 上传/轮询/验收；poll 完成时写入
  parser_generation/index_generation，修复 manual/seed 路径发布闸口永久拦截
- 发布适配器 v071（本地 source=测试角色 / 云端 target=生产角色 模拟验证通过）：
  * ES 导出/导入 mapping 自适应（.keyword 子字段、可选 tenant_id）
  * OSS locator 支持嵌套 scheme；chunks.seq_id 由目标序列分配
  * bundle 归档同身份重试原子替换；verifier 按 bundle chunk_type 计数
  * 回滚 job payload 支持 prior_execution_id（strict 解码）
- 三通道发布+回滚演练实测：publish 4/4 verified，检索命中，
  rollback 4/4 rolled_back，目标端 PG is_enabled=false、ES is_enabled=false
- 前端 A·Data-console 风格全站统一，120 用例通过
- 门禁：go vet / go test 全包通过，gofmt 干净
 2026-09-30 10:54:06 +08:00