Weknora/knowledge-governance
4
0
Fork 0
Code Issues 2 Pull Requests 5 Actions Packages Projects Releases 1 Wiki Activity
317 Commits 11 Branches 57 Tags
main
Commit Graph

6 Commits

Author SHA1 Message Date
姚章浩 3f603aa293 feat(backup): 系统设置里的存储与备份——定时时间与储存天数可配、下发到目标主机 cron 
需求：整库逻辑备份做定时，但要在「系统设置 → 存储与备份」里设置定时时间与储存天数。

后端
- migration 000045 backup_schedule（单行：enabled/schedule_time/retention_days/retention_months/
  last_applied_*），store + 领域校验（HH:MM、1~365 天、0~24 月，非法值 400 且不落库不下发）
- internal/backuphost：通过 ssh 在目标主机上读回/下发计划并立即备份（未接线时 Available=false，
  页面降级提示；主机侧错误带输出回传）。最近一次只认有 MANIFEST.json 的完整目录，跳 *.incomplete
- 接口 GET/PUT /api/v1/backup-schedule、GET …/host、POST …/apply、POST …/run；
  写操作经 classifyRole 限管理员；run 为异步 202 + 在途单飞（http 写超时 30s，备份约 35s）
- openapi.yaml 补齐 5 条路由（契约测试要求每条都写 400/500）

主机侧
- scripts/install_backup_schedule.sh（幂等）：写 /etc/knowledge-governance/backup-schedule.env 与
  /etc/cron.d/kb-logical-backup，参数校验，--show/--disable，最后一行 SCHEDULE_APPLIED 供平台核对
- logical-backup.sh 从该文件读保留策略；失败或被中断把目录改名 *.incomplete，不留'像成功'的半成品
- install --show 只回显计划行（原先把 SHELL=/PATH= 当计划显示）

前端
- web/src/backupSchedule.ts（严格解析：缺计划字段即报错，不把默认值伪装成设置）
- BackupScheduleSection：容器 + 纯视图（管理员表单/只读、已一致/待下发、在途轮询）

运行前提（已落实）：运行镜像加 openssh-client，且容器 uid 1000 在 /etc/passwd 有名字
（否则 ssh 报 No user exists for uid 1000）；凭据只读挂载 secrets/backup-host（git 忽略）

实测：主机 cron 每天 03:30 / 保留 7 天 / 每月 3 份；立即备份一次 34 秒 / 742.7 MiB / 失败 0；
Go 与前端测试全绿（170 vitest）。
 2026-10-09 13:50:23 +08:00
姚章浩 b32755b35f feat(backup): 备份目录契约 + 导入前留档覆盖 ES 层 
- scripts/backup_layout.sh：定义 $KB_BACKUP_ROOT/{target-kb-snapshots,rds-logical,es-snapshots,logs}
  与 /etc/knowledge-governance/backup.env，任意主机跑同一份（测试云主机 → 未来生产云主机）
- scripts/es_kb_export.py：只读 scroll 导出目标库 ES 文档（gzip JSONL，_id/_source，可按 _id 重建）
- scripts/target_kb_snapshot.sh：留档改为 PG 行 + ES 文档两层；PULL_ES 默认 0（692 MB / 家用上行 19m40s，
  留在目标主机，清单记 location=cloud:<host>:<path>）；挂载源与落点统一走 KB_BACKUP_ROOT
- scripts/logical-backup.sh：自管整库逻辑备份（pg_dump -Fd -j4 -Z6，按天轮转）
- internal/releasesnapshot：门禁要求 PG 与 ES 两层齐备（ES 计数 >0）；云侧留档核声明与哈希、
  声明本地却缺失则 fail-closed；新增 3 条用例（共 10）
- cmd/guardcheck：用真实产物复核门禁判断
- docs：PRODUCTION_BACKUP_RECOVERY.md 重写（契约/RDS 控制台/恢复路径/边界）；P6 同步留档语义
 2026-10-09 12:19:15 +08:00
姚章浩 6f16c3af20 fix(compose): 快照目录挂载并入 release-worker 既有 volumes 列表
build / build (push) Successful in 34s
Details 
上一版把 volumes 写成了重复键（compose 解析失败），并且误删了 extra_hosts/
networks。现在合并成一份挂载列表，端点别名（prod-pg/prod-es/prod-weknora）
保持不变；容器内已核对：快照目录可见、target_snapshot 配置已加载。

另新增 docs/PRODUCTION_BACKUP_RECOVERY.md：五层备份现状（PG 行级快照 /
发布前硬门禁 / ES 快照仓 + SLM / OSS 版本控制 / RDS 待确认）、RDS 控制台清单、
按事故类型的恢复路径与耗时、以及每次发布前的标准动作。
 2026-10-09 11:02:32 +08:00
姚章浩 1fa35e9870 feat(release): 发布前快照硬门禁 + 云内快照 + ES/OSS 保护 
按生产级备份组合落地：

- internal/releasesnapshot：新增门禁包，要求 root 下存在覆盖目标库、未过期
  （默认 24h）、含 wiki_pages.jsonl 与 sha256 的快照；本地文件再校验哈希。
  7 条单测（过期/换库/篡改/缺页/未接线/半成品）。
- 发布器：写目标库之前（Publish/Delete/Rollback 三条路）先过门禁；映射目标
  （源库→目标库，共享真实库）或 policy=always 时必须有快照；门禁未接线
  同样拒绝（fail-closed）。新错误码 release_target_snapshot_missing（不可重试）
  + 页面中文提示。6 条发布器单测。
- worker 配置新增 target_snapshot{root,max_age_hours,policy}，校验 policy/
  max_age/绝对路径；compose.release-sim.yaml 只读挂载快照目录。
- scripts/target_kb_snapshot.sh：默认云内执行（与 DB 同 VPC，凭据取自 WeKnora
  容器）+ 默认不导 chunks（44s 出 8 张表）；修复 \copy 不能跨行/不能带 WITH、
  ES 计数改用 knowledge_base_id.keyword。
- ES：注册 kb_backup 仓库（path.repo），首个快照 36s/4.7GB/0 分片失败，
  SLM kb-hourly(3d)+kb-daily(7d) 已建并执行成功。
- OSS：目标桶开启版本控制（此前未开启）。
- 文档 P6 增补硬门禁与云内执行；真实快照目录上门禁实测：两个绑定库通过、
  未覆盖库拒绝、未接线拒绝。
 2026-10-09 10:59:55 +08:00
姚章浩 6440e3f679 feat(release): 发布目标知识库可选（源库 → 目标库映射） 
- 迁移 000044：production_kb_bindings + release_item_executions.target_knowledge_base_id
- 系统设置新增「生产知识库绑定（对内/对外）」：从生产 WeKnora 实际列表选库，
  保存时真校验（不存在拒收；生产端不可达只提示并如实回报），仅管理员可改
- 执行计划按绑定解析目标库并冻结进 release_item_executions；空目标直接拒收；
  已发布过的条目保留原目标（重试/回滚回到同一处）
- DocumentBundle.RemapKnowledgeBase：knowledges/chunks/knowledge_tags/wiki_pages/
  wiki_folders 的 knowledge_base_id 与 ES 文档字段改写为目标库，重算表/文档摘要并重新封装
- 契约比对改为「声明的映射对」(KnowledgeBaseMapping)，其余字段继续 fail-closed
- 契约检查器 / 目标身份 / 验证器全部走映射后的目标库；对象通道无需改写
- Compose 拆分：数据面接线 compose.release-sim.yaml + 两道门禁 compose.release-gates.yaml
- 测试：RemapKnowledgeBase 全通道/无操作/fail-closed、映射契约、绑定接口、RBAC、真实 PG 集成
 2026-10-08 15:41:13 +08:00
zheromiku dcdc8d1ddd feat: 知识治理平台(含已验证发布/回滚契约) 
全栈知识治理平台首次入库（P1-P10 + 发布链路模拟验证闭环）：

- 治理核心：源目录/变更集/人工审核/发布批次/发布执行（fail-closed 闸口）
- 测试通道：WeKnora 测试 KB 上传/轮询/验收；poll 完成时写入
  parser_generation/index_generation，修复 manual/seed 路径发布闸口永久拦截
- 发布适配器 v071（本地 source=测试角色 / 云端 target=生产角色 模拟验证通过）：
  * ES 导出/导入 mapping 自适应（.keyword 子字段、可选 tenant_id）
  * OSS locator 支持嵌套 scheme；chunks.seq_id 由目标序列分配
  * bundle 归档同身份重试原子替换；verifier 按 bundle chunk_type 计数
  * 回滚 job payload 支持 prior_execution_id（strict 解码）
- 三通道发布+回滚演练实测：publish 4/4 verified，检索命中，
  rollback 4/4 rolled_back，目标端 PG is_enabled=false、ES is_enabled=false
- 前端 A·Data-console 风格全站统一，120 用例通过
- 门禁：go vet / go test 全包通过，gofmt 干净
 2026-09-30 10:54:06 +08:00