diff --git a/compose.release-sim.yaml b/compose.release-sim.yaml index 52cdaae..abdf991 100644 --- a/compose.release-sim.yaml +++ b/compose.release-sim.yaml @@ -17,9 +17,6 @@ services: environment: RELEASE_CONFIG_FILE: /run/release-sim/release.sim.json PRODUCTION_RELEASE_AUTHORIZER_REF: yaozhanghao - volumes: - # 发布前快照留档目录(只读):写目标库之前必须存在覆盖该库的新快照 - - ./backups/target-kb-snapshots:/var/lib/knowledge-governance/target-kb-snapshots:ro extra_hosts: - "host.docker.internal:host-gateway" - "prod-pg:host-gateway" @@ -32,6 +29,8 @@ services: - ./secrets/release-sim:/run/release-secrets:ro - ./config/release.sim.json:/run/release-sim/release.sim.json:ro - release-bundles:/var/lib/knowledge-governance/release-bundles + # 发布前快照留档目录(只读):写目标库之前必须存在覆盖该库的新快照 + - ./backups/target-kb-snapshots:/var/lib/knowledge-governance/target-kb-snapshots:ro read_only: false volumes: diff --git a/docs/PRODUCTION_BACKUP_RECOVERY.md b/docs/PRODUCTION_BACKUP_RECOVERY.md new file mode 100644 index 0000000..2f867df --- /dev/null +++ b/docs/PRODUCTION_BACKUP_RECOVERY.md @@ -0,0 +1,52 @@ +# 生产级备份与恢复(目标环境) + +面向目标环境(云上 WeKnora v0.7.1 + Aliyun RDS + ES + OSS)。**发布链本身不做发布前备份**, +所以下面五层各司其职,缺一层就有对应的事故类型救不回来。 + +## 现状(2026-10-09 实测) + +| 层 | 状态 | 证据 | +|---|---|---| +| PG 行级快照(KB 维度) | ✅ 已建:`scripts/target_kb_snapshot.sh`,云内执行 **44 秒**出 8 张表 + `MANIFEST.json`(行数/字节/sha256)+ `export.sql` + 恢复 README | `backups/target-kb-snapshots/20261009T025017Z-0b217e8a/` | +| PG 发布前硬门禁 | ✅ 已上线:release-worker 镜像 `sha256:2913e9e9…`,映射目标(源库→目标库)必须有 24h 内、覆盖该库、哈希可校验的快照,否则 `release_target_snapshot_missing`(不可重试) | 容器内挂载 `/var/lib/knowledge-governance/target-kb-snapshots` + `target_snapshot{mapped,24h}` 已核对;单测 7(门禁)+6(发布器) | +| ES 快照 | ✅ 已建:仓库 `kb_backup`(`path.repo=/usr/share/elasticsearch/backup`,宿主 `/opt/weknora-test/es-backup`);首个快照 `initial-20261009t024209z` **36 秒 / 4.7 GB / 0 分片失败**;SLM `kb-hourly`(保留 3 天)+ `kb-daily`(保留 7 天)已建并各执行成功一次 | `GET _snapshot/kb_backup`、`_cat/snapshots`、`_slm/policy/*` | +| OSS 对象 | ✅ 目标桶 `dobot-weknora-test` 已开启**版本控制**(此前未开启);未配跨区域复制 | `GET /?versioning` = `` → 开启后 `Enabled` | +| RDS 整库 | ⏳ **待你在控制台确认** | 库里只看到 `archive_mode=on`,`pg_stat_archiver` 计数 0(平台侧管理),PITR/保留期在库里看不到 | + +## 要你做的(RDS 控制台,约 5 分钟) + +1. **备份设置**:数据备份保留期 **≥7 天**(建议 14 天);**日志备份(WAL)开启** —— 它决定能不能"按时间点恢复"。 +2. 确认"按时间点恢复"的形态:Aliyun RDS PostgreSQL 一般是**恢复成新实例**,再按 KB 取行。 +3. 把策略页的关键值抄到本目录 `RDS_BACKUP_POLICY.md`:保留天数、备份时间窗、最近一次备份时间、**最近可恢复时间点**。 +4. 若实例支持"备份下载/逻辑备份到 OSS",一并开启:那是整库级、与行级快照互补。 + +只读旁证(最终以控制台为准): + +```bash +docker run --rm --network host postgres:16 psql "$TARGET_DB_URL" \ + -c "show archive_mode; show wal_level; select * from pg_stat_archiver" +``` + +## 恢复路径(按事故类型选,越快越靠前) + +| 事故 | 首选 | 耗时 | +|---|---|---| +| 某个 KB 的 wiki / 元数据被覆盖 | **行级快照回填**(快照目录 `README.md` 的 SQL) | 秒~分钟 | +| 向量库损坏 / 索引误删 | **ES 快照 restore**(仓库 `kb_backup`) | 分钟级 | +| OSS 对象被覆盖 / 删除 | **OSS 版本控制**回滚单对象或前缀 | 秒~分钟 | +| 整库 / 整实例级错误 | **RDS 快照 / PITR** → 新实例 → 按 KB 取行 | 10~30 分钟 | +| 只丢了整个库的 wiki 页面 | RDS PITR 取 `wiki_pages`/`wiki_folders` 全量后按 KB 回填 | 10~30 分钟 | + +## 每次发布前的标准动作 + +1. `bash scripts/target_kb_snapshot.sh`(默认云内执行、默认不含 chunks,约 44 秒;`INCLUDE_CHUNKS=1` 才带 chunks); +2. **不需要人工登记**:worker 门禁会核验"覆盖目标库 + 24h 内 + `wiki_pages.jsonl` 哈希可校验"; +3. 门禁报 `release_target_snapshot_missing` → 先跑第 1 步,再在发布管理里授权。 + +## 边界(别把这些当"已经备份了") + +- 行级快照**不含**:ES 文档与向量、OSS 对象本体(`resources.jsonl` 只记路径/大小/哈希)、表结构与索引。 +- ES 快照仓在**同一台云主机**上(`/opt/weknora-test/es-backup`);要做异地副本,还需把它同步到 OSS + (需要一把可写备份桶的 AK,属你授权项)。 +- 行级快照的默认档不含 `chunks`:向量在 ES、分块行可由源端重发;要"整库行级可离线重建"才需要 `INCLUDE_CHUNKS=1` + (实测本机隧道约 24 分钟、云内 44 秒内)。 \ No newline at end of file