Files
knowledge-governance/docs/PRODUCTION_BACKUP_RECOVERY.md
T
姚章浩 6f16c3af20
build / build (push) Successful in 34s
fix(compose): 快照目录挂载并入 release-worker 既有 volumes 列表
上一版把 volumes 写成了重复键(compose 解析失败),并且误删了 extra_hosts/
networks。现在合并成一份挂载列表,端点别名(prod-pg/prod-es/prod-weknora)
保持不变;容器内已核对:快照目录可见、target_snapshot 配置已加载。

另新增 docs/PRODUCTION_BACKUP_RECOVERY.md:五层备份现状(PG 行级快照 /
发布前硬门禁 / ES 快照仓 + SLM / OSS 版本控制 / RDS 待确认)、RDS 控制台清单、
按事故类型的恢复路径与耗时、以及每次发布前的标准动作。
2026-10-09 11:02:32 +08:00

4.0 KiB
Raw Blame History

生产级备份与恢复(目标环境)

面向目标环境(云上 WeKnora v0.7.1 + Aliyun RDS + ES + OSS)。发布链本身不做发布前备份, 所以下面五层各司其职,缺一层就有对应的事故类型救不回来。

现状(2026-10-09 实测)

层 状态 证据
PG 行级快照(KB 维度) ✅ 已建:scripts/target_kb_snapshot.sh,云内执行 44 秒出 8 张表 + MANIFEST.json(行数/字节/sha256)+ export.sql + 恢复 README backups/target-kb-snapshots/20261009T025017Z-0b217e8a/
PG 发布前硬门禁 ✅ 已上线:release-worker 镜像 sha256:2913e9e9…,映射目标(源库→目标库)必须有 24h 内、覆盖该库、哈希可校验的快照,否则 release_target_snapshot_missing(不可重试) 容器内挂载 /var/lib/knowledge-governance/target-kb-snapshots + target_snapshot{mapped,24h} 已核对;单测 7(门禁)+6(发布器)
ES 快照 ✅ 已建:仓库 kb_backup(path.repo=/usr/share/elasticsearch/backup,宿主 /opt/weknora-test/es-backup);首个快照 initial-20261009t024209z 36 秒 / 4.7 GB / 0 分片失败;SLM kb-hourly(保留 3 天)+ kb-daily(保留 7 天)已建并各执行成功一次 GET _snapshot/kb_backup、_cat/snapshots、_slm/policy/*
OSS 对象 ✅ 目标桶 dobot-weknora-test 已开启版本控制(此前未开启);未配跨区域复制 GET /?versioning = <VersioningConfiguration/> → 开启后 Enabled
RDS 整库 ⏳ 待你在控制台确认 库里只看到 archive_mode=on,pg_stat_archiver 计数 0(平台侧管理),PITR/保留期在库里看不到

要你做的(RDS 控制台,约 5 分钟)

  1. 备份设置:数据备份保留期 ≥7 天(建议 14 天);日志备份(WAL)开启 —— 它决定能不能"按时间点恢复"。
  2. 确认"按时间点恢复"的形态:Aliyun RDS PostgreSQL 一般是恢复成新实例,再按 KB 取行。
  3. 把策略页的关键值抄到本目录 RDS_BACKUP_POLICY.md:保留天数、备份时间窗、最近一次备份时间、最近可恢复时间点。
  4. 若实例支持"备份下载/逻辑备份到 OSS",一并开启:那是整库级、与行级快照互补。

只读旁证(最终以控制台为准):

docker run --rm --network host postgres:16 psql "$TARGET_DB_URL" \
  -c "show archive_mode; show wal_level; select * from pg_stat_archiver"

恢复路径(按事故类型选,越快越靠前)

事故 首选 耗时
某个 KB 的 wiki / 元数据被覆盖 行级快照回填(快照目录 README.md 的 SQL) 秒~分钟
向量库损坏 / 索引误删 ES 快照 restore(仓库 kb_backup) 分钟级
OSS 对象被覆盖 / 删除 OSS 版本控制回滚单对象或前缀 秒~分钟
整库 / 整实例级错误 RDS 快照 / PITR → 新实例 → 按 KB 取行 10~30 分钟
只丢了整个库的 wiki 页面 RDS PITR 取 wiki_pages/wiki_folders 全量后按 KB 回填 10~30 分钟

每次发布前的标准动作

  1. bash scripts/target_kb_snapshot.sh(默认云内执行、默认不含 chunks,约 44 秒;INCLUDE_CHUNKS=1 才带 chunks);
  2. 不需要人工登记:worker 门禁会核验"覆盖目标库 + 24h 内 + wiki_pages.jsonl 哈希可校验";
  3. 门禁报 release_target_snapshot_missing → 先跑第 1 步,再在发布管理里授权。

边界(别把这些当"已经备份了")

  • 行级快照不含:ES 文档与向量、OSS 对象本体(resources.jsonl 只记路径/大小/哈希)、表结构与索引。
  • ES 快照仓在同一台云主机上(/opt/weknora-test/es-backup);要做异地副本,还需把它同步到 OSS (需要一把可写备份桶的 AK,属你授权项)。
  • 行级快照的默认档不含 chunks:向量在 ES、分块行可由源端重发;要"整库行级可离线重建"才需要 INCLUDE_CHUNKS=1 (实测本机隧道约 24 分钟、云内 44 秒内)。