Files
knowledge-governance/docs/PRODUCTION_BACKUP_RECOVERY.md
T
姚章浩 6f16c3af20
build / build (push) Successful in 34s
fix(compose): 快照目录挂载并入 release-worker 既有 volumes 列表
上一版把 volumes 写成了重复键(compose 解析失败),并且误删了 extra_hosts/
networks。现在合并成一份挂载列表,端点别名(prod-pg/prod-es/prod-weknora)
保持不变;容器内已核对:快照目录可见、target_snapshot 配置已加载。

另新增 docs/PRODUCTION_BACKUP_RECOVERY.md:五层备份现状(PG 行级快照 /
发布前硬门禁 / ES 快照仓 + SLM / OSS 版本控制 / RDS 待确认)、RDS 控制台清单、
按事故类型的恢复路径与耗时、以及每次发布前的标准动作。
2026-10-09 11:02:32 +08:00

52 lines
4.0 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 生产级备份与恢复(目标环境)
面向目标环境(云上 WeKnora v0.7.1 + Aliyun RDS + ES + OSS)。**发布链本身不做发布前备份**,
所以下面五层各司其职,缺一层就有对应的事故类型救不回来。
## 现状(2026-10-09 实测)
| 层 | 状态 | 证据 |
|---|---|---|
| PG 行级快照(KB 维度) | ✅ 已建:`scripts/target_kb_snapshot.sh`,云内执行 **44 秒**出 8 张表 + `MANIFEST.json`(行数/字节/sha256)+ `export.sql` + 恢复 README | `backups/target-kb-snapshots/20261009T025017Z-0b217e8a/` |
| PG 发布前硬门禁 | ✅ 已上线:release-worker 镜像 `sha256:2913e9e9…`,映射目标(源库→目标库)必须有 24h 内、覆盖该库、哈希可校验的快照,否则 `release_target_snapshot_missing`(不可重试) | 容器内挂载 `/var/lib/knowledge-governance/target-kb-snapshots` + `target_snapshot{mapped,24h}` 已核对;单测 7(门禁)+6(发布器) |
| ES 快照 | ✅ 已建:仓库 `kb_backup`(`path.repo=/usr/share/elasticsearch/backup`,宿主 `/opt/weknora-test/es-backup`);首个快照 `initial-20261009t024209z` **36 秒 / 4.7 GB / 0 分片失败**;SLM `kb-hourly`(保留 3 天)+ `kb-daily`(保留 7 天)已建并各执行成功一次 | `GET _snapshot/kb_backup`、`_cat/snapshots`、`_slm/policy/*` |
| OSS 对象 | ✅ 目标桶 `dobot-weknora-test` 已开启**版本控制**(此前未开启);未配跨区域复制 | `GET /?versioning` = `<VersioningConfiguration/>` → 开启后 `Enabled` |
| RDS 整库 | ⏳ **待你在控制台确认** | 库里只看到 `archive_mode=on`,`pg_stat_archiver` 计数 0(平台侧管理),PITR/保留期在库里看不到 |
## 要你做的(RDS 控制台,约 5 分钟)
1. **备份设置**:数据备份保留期 **≥7 天**(建议 14 天);**日志备份(WAL)开启** —— 它决定能不能"按时间点恢复"。
2. 确认"按时间点恢复"的形态:Aliyun RDS PostgreSQL 一般是**恢复成新实例**,再按 KB 取行。
3. 把策略页的关键值抄到本目录 `RDS_BACKUP_POLICY.md`:保留天数、备份时间窗、最近一次备份时间、**最近可恢复时间点**。
4. 若实例支持"备份下载/逻辑备份到 OSS",一并开启:那是整库级、与行级快照互补。
只读旁证(最终以控制台为准):
```bash
docker run --rm --network host postgres:16 psql "$TARGET_DB_URL" \
-c "show archive_mode; show wal_level; select * from pg_stat_archiver"
```
## 恢复路径(按事故类型选,越快越靠前)
| 事故 | 首选 | 耗时 |
|---|---|---|
| 某个 KB 的 wiki / 元数据被覆盖 | **行级快照回填**(快照目录 `README.md` 的 SQL) | 秒~分钟 |
| 向量库损坏 / 索引误删 | **ES 快照 restore**(仓库 `kb_backup`) | 分钟级 |
| OSS 对象被覆盖 / 删除 | **OSS 版本控制**回滚单对象或前缀 | 秒~分钟 |
| 整库 / 整实例级错误 | **RDS 快照 / PITR** → 新实例 → 按 KB 取行 | 10~30 分钟 |
| 只丢了整个库的 wiki 页面 | RDS PITR 取 `wiki_pages`/`wiki_folders` 全量后按 KB 回填 | 10~30 分钟 |
## 每次发布前的标准动作
1. `bash scripts/target_kb_snapshot.sh`(默认云内执行、默认不含 chunks,约 44 秒;`INCLUDE_CHUNKS=1` 才带 chunks);
2. **不需要人工登记**:worker 门禁会核验"覆盖目标库 + 24h 内 + `wiki_pages.jsonl` 哈希可校验";
3. 门禁报 `release_target_snapshot_missing` → 先跑第 1 步,再在发布管理里授权。
## 边界(别把这些当"已经备份了")
- 行级快照**不含**:ES 文档与向量、OSS 对象本体(`resources.jsonl` 只记路径/大小/哈希)、表结构与索引。
- ES 快照仓在**同一台云主机**上(`/opt/weknora-test/es-backup`);要做异地副本,还需把它同步到 OSS
(需要一把可写备份桶的 AK,属你授权项)。
- 行级快照的默认档不含 `chunks`:向量在 ES、分块行可由源端重发;要"整库行级可离线重建"才需要 `INCLUDE_CHUNKS=1`
(实测本机隧道约 24 分钟、云内 44 秒内)。