6f16c3af20
build / build (push) Successful in 34s
上一版把 volumes 写成了重复键(compose 解析失败),并且误删了 extra_hosts/ networks。现在合并成一份挂载列表,端点别名(prod-pg/prod-es/prod-weknora) 保持不变;容器内已核对:快照目录可见、target_snapshot 配置已加载。 另新增 docs/PRODUCTION_BACKUP_RECOVERY.md:五层备份现状(PG 行级快照 / 发布前硬门禁 / ES 快照仓 + SLM / OSS 版本控制 / RDS 待确认)、RDS 控制台清单、 按事故类型的恢复路径与耗时、以及每次发布前的标准动作。
4.0 KiB
4.0 KiB
生产级备份与恢复(目标环境)
面向目标环境(云上 WeKnora v0.7.1 + Aliyun RDS + ES + OSS)。发布链本身不做发布前备份, 所以下面五层各司其职,缺一层就有对应的事故类型救不回来。
现状(2026-10-09 实测)
| 层 | 状态 | 证据 |
|---|---|---|
| PG 行级快照(KB 维度) | ✅ 已建:scripts/target_kb_snapshot.sh,云内执行 44 秒出 8 张表 + MANIFEST.json(行数/字节/sha256)+ export.sql + 恢复 README |
backups/target-kb-snapshots/20261009T025017Z-0b217e8a/ |
| PG 发布前硬门禁 | ✅ 已上线:release-worker 镜像 sha256:2913e9e9…,映射目标(源库→目标库)必须有 24h 内、覆盖该库、哈希可校验的快照,否则 release_target_snapshot_missing(不可重试) |
容器内挂载 /var/lib/knowledge-governance/target-kb-snapshots + target_snapshot{mapped,24h} 已核对;单测 7(门禁)+6(发布器) |
| ES 快照 | ✅ 已建:仓库 kb_backup(path.repo=/usr/share/elasticsearch/backup,宿主 /opt/weknora-test/es-backup);首个快照 initial-20261009t024209z 36 秒 / 4.7 GB / 0 分片失败;SLM kb-hourly(保留 3 天)+ kb-daily(保留 7 天)已建并各执行成功一次 |
GET _snapshot/kb_backup、_cat/snapshots、_slm/policy/* |
| OSS 对象 | ✅ 目标桶 dobot-weknora-test 已开启版本控制(此前未开启);未配跨区域复制 |
GET /?versioning = <VersioningConfiguration/> → 开启后 Enabled |
| RDS 整库 | ⏳ 待你在控制台确认 | 库里只看到 archive_mode=on,pg_stat_archiver 计数 0(平台侧管理),PITR/保留期在库里看不到 |
要你做的(RDS 控制台,约 5 分钟)
- 备份设置:数据备份保留期 ≥7 天(建议 14 天);日志备份(WAL)开启 —— 它决定能不能"按时间点恢复"。
- 确认"按时间点恢复"的形态:Aliyun RDS PostgreSQL 一般是恢复成新实例,再按 KB 取行。
- 把策略页的关键值抄到本目录
RDS_BACKUP_POLICY.md:保留天数、备份时间窗、最近一次备份时间、最近可恢复时间点。 - 若实例支持"备份下载/逻辑备份到 OSS",一并开启:那是整库级、与行级快照互补。
只读旁证(最终以控制台为准):
docker run --rm --network host postgres:16 psql "$TARGET_DB_URL" \
-c "show archive_mode; show wal_level; select * from pg_stat_archiver"
恢复路径(按事故类型选,越快越靠前)
| 事故 | 首选 | 耗时 |
|---|---|---|
| 某个 KB 的 wiki / 元数据被覆盖 | 行级快照回填(快照目录 README.md 的 SQL) |
秒~分钟 |
| 向量库损坏 / 索引误删 | ES 快照 restore(仓库 kb_backup) |
分钟级 |
| OSS 对象被覆盖 / 删除 | OSS 版本控制回滚单对象或前缀 | 秒~分钟 |
| 整库 / 整实例级错误 | RDS 快照 / PITR → 新实例 → 按 KB 取行 | 10~30 分钟 |
| 只丢了整个库的 wiki 页面 | RDS PITR 取 wiki_pages/wiki_folders 全量后按 KB 回填 |
10~30 分钟 |
每次发布前的标准动作
bash scripts/target_kb_snapshot.sh(默认云内执行、默认不含 chunks,约 44 秒;INCLUDE_CHUNKS=1才带 chunks);- 不需要人工登记:worker 门禁会核验"覆盖目标库 + 24h 内 +
wiki_pages.jsonl哈希可校验"; - 门禁报
release_target_snapshot_missing→ 先跑第 1 步,再在发布管理里授权。
边界(别把这些当"已经备份了")
- 行级快照不含:ES 文档与向量、OSS 对象本体(
resources.jsonl只记路径/大小/哈希)、表结构与索引。 - ES 快照仓在同一台云主机上(
/opt/weknora-test/es-backup);要做异地副本,还需把它同步到 OSS (需要一把可写备份桶的 AK,属你授权项)。 - 行级快照的默认档不含
chunks:向量在 ES、分块行可由源端重发;要"整库行级可离线重建"才需要INCLUDE_CHUNKS=1(实测本机隧道约 24 分钟、云内 44 秒内)。