上一版把 volumes 写成了重复键(compose 解析失败),并且误删了 extra_hosts/ networks。现在合并成一份挂载列表,端点别名(prod-pg/prod-es/prod-weknora) 保持不变;容器内已核对:快照目录可见、target_snapshot 配置已加载。 另新增 docs/PRODUCTION_BACKUP_RECOVERY.md:五层备份现状(PG 行级快照 / 发布前硬门禁 / ES 快照仓 + SLM / OSS 版本控制 / RDS 待确认)、RDS 控制台清单、 按事故类型的恢复路径与耗时、以及每次发布前的标准动作。
This commit is contained in:
@@ -17,9 +17,6 @@ services:
|
||||
environment:
|
||||
RELEASE_CONFIG_FILE: /run/release-sim/release.sim.json
|
||||
PRODUCTION_RELEASE_AUTHORIZER_REF: yaozhanghao
|
||||
volumes:
|
||||
# 发布前快照留档目录(只读):写目标库之前必须存在覆盖该库的新快照
|
||||
- ./backups/target-kb-snapshots:/var/lib/knowledge-governance/target-kb-snapshots:ro
|
||||
extra_hosts:
|
||||
- "host.docker.internal:host-gateway"
|
||||
- "prod-pg:host-gateway"
|
||||
@@ -32,6 +29,8 @@ services:
|
||||
- ./secrets/release-sim:/run/release-secrets:ro
|
||||
- ./config/release.sim.json:/run/release-sim/release.sim.json:ro
|
||||
- release-bundles:/var/lib/knowledge-governance/release-bundles
|
||||
# 发布前快照留档目录(只读):写目标库之前必须存在覆盖该库的新快照
|
||||
- ./backups/target-kb-snapshots:/var/lib/knowledge-governance/target-kb-snapshots:ro
|
||||
read_only: false
|
||||
|
||||
volumes:
|
||||
|
||||
@@ -0,0 +1,52 @@
|
||||
# 生产级备份与恢复(目标环境)
|
||||
|
||||
面向目标环境(云上 WeKnora v0.7.1 + Aliyun RDS + ES + OSS)。**发布链本身不做发布前备份**,
|
||||
所以下面五层各司其职,缺一层就有对应的事故类型救不回来。
|
||||
|
||||
## 现状(2026-10-09 实测)
|
||||
|
||||
| 层 | 状态 | 证据 |
|
||||
|---|---|---|
|
||||
| PG 行级快照(KB 维度) | ✅ 已建:`scripts/target_kb_snapshot.sh`,云内执行 **44 秒**出 8 张表 + `MANIFEST.json`(行数/字节/sha256)+ `export.sql` + 恢复 README | `backups/target-kb-snapshots/20261009T025017Z-0b217e8a/` |
|
||||
| PG 发布前硬门禁 | ✅ 已上线:release-worker 镜像 `sha256:2913e9e9…`,映射目标(源库→目标库)必须有 24h 内、覆盖该库、哈希可校验的快照,否则 `release_target_snapshot_missing`(不可重试) | 容器内挂载 `/var/lib/knowledge-governance/target-kb-snapshots` + `target_snapshot{mapped,24h}` 已核对;单测 7(门禁)+6(发布器) |
|
||||
| ES 快照 | ✅ 已建:仓库 `kb_backup`(`path.repo=/usr/share/elasticsearch/backup`,宿主 `/opt/weknora-test/es-backup`);首个快照 `initial-20261009t024209z` **36 秒 / 4.7 GB / 0 分片失败**;SLM `kb-hourly`(保留 3 天)+ `kb-daily`(保留 7 天)已建并各执行成功一次 | `GET _snapshot/kb_backup`、`_cat/snapshots`、`_slm/policy/*` |
|
||||
| OSS 对象 | ✅ 目标桶 `dobot-weknora-test` 已开启**版本控制**(此前未开启);未配跨区域复制 | `GET /?versioning` = `<VersioningConfiguration/>` → 开启后 `Enabled` |
|
||||
| RDS 整库 | ⏳ **待你在控制台确认** | 库里只看到 `archive_mode=on`,`pg_stat_archiver` 计数 0(平台侧管理),PITR/保留期在库里看不到 |
|
||||
|
||||
## 要你做的(RDS 控制台,约 5 分钟)
|
||||
|
||||
1. **备份设置**:数据备份保留期 **≥7 天**(建议 14 天);**日志备份(WAL)开启** —— 它决定能不能"按时间点恢复"。
|
||||
2. 确认"按时间点恢复"的形态:Aliyun RDS PostgreSQL 一般是**恢复成新实例**,再按 KB 取行。
|
||||
3. 把策略页的关键值抄到本目录 `RDS_BACKUP_POLICY.md`:保留天数、备份时间窗、最近一次备份时间、**最近可恢复时间点**。
|
||||
4. 若实例支持"备份下载/逻辑备份到 OSS",一并开启:那是整库级、与行级快照互补。
|
||||
|
||||
只读旁证(最终以控制台为准):
|
||||
|
||||
```bash
|
||||
docker run --rm --network host postgres:16 psql "$TARGET_DB_URL" \
|
||||
-c "show archive_mode; show wal_level; select * from pg_stat_archiver"
|
||||
```
|
||||
|
||||
## 恢复路径(按事故类型选,越快越靠前)
|
||||
|
||||
| 事故 | 首选 | 耗时 |
|
||||
|---|---|---|
|
||||
| 某个 KB 的 wiki / 元数据被覆盖 | **行级快照回填**(快照目录 `README.md` 的 SQL) | 秒~分钟 |
|
||||
| 向量库损坏 / 索引误删 | **ES 快照 restore**(仓库 `kb_backup`) | 分钟级 |
|
||||
| OSS 对象被覆盖 / 删除 | **OSS 版本控制**回滚单对象或前缀 | 秒~分钟 |
|
||||
| 整库 / 整实例级错误 | **RDS 快照 / PITR** → 新实例 → 按 KB 取行 | 10~30 分钟 |
|
||||
| 只丢了整个库的 wiki 页面 | RDS PITR 取 `wiki_pages`/`wiki_folders` 全量后按 KB 回填 | 10~30 分钟 |
|
||||
|
||||
## 每次发布前的标准动作
|
||||
|
||||
1. `bash scripts/target_kb_snapshot.sh`(默认云内执行、默认不含 chunks,约 44 秒;`INCLUDE_CHUNKS=1` 才带 chunks);
|
||||
2. **不需要人工登记**:worker 门禁会核验"覆盖目标库 + 24h 内 + `wiki_pages.jsonl` 哈希可校验";
|
||||
3. 门禁报 `release_target_snapshot_missing` → 先跑第 1 步,再在发布管理里授权。
|
||||
|
||||
## 边界(别把这些当"已经备份了")
|
||||
|
||||
- 行级快照**不含**:ES 文档与向量、OSS 对象本体(`resources.jsonl` 只记路径/大小/哈希)、表结构与索引。
|
||||
- ES 快照仓在**同一台云主机**上(`/opt/weknora-test/es-backup`);要做异地副本,还需把它同步到 OSS
|
||||
(需要一把可写备份桶的 AK,属你授权项)。
|
||||
- 行级快照的默认档不含 `chunks`:向量在 ES、分块行可由源端重发;要"整库行级可离线重建"才需要 `INCLUDE_CHUNKS=1`
|
||||
(实测本机隧道约 24 分钟、云内 44 秒内)。
|
||||
Reference in New Issue
Block a user