test(backup): 留档回填演练脚本 + 实测通过
scripts/restore_drill.py:把留档 PG 行按原文 \copy FROM 回填进目标库,核对每张表行数与清单、 抽样页面正文/标题逐字段比对,再用临时跟踪表 _drill_restored 精确删除并断言残留为 0。 实测(本地测试库 weknora_full,留档 20261009T041913Z-0b217e8a):13,539 行全部回填成功、 8 张表行数与清单逐一致、冲突 0、抽样页正文一致(388 字符)、残留 0。 同时记录一个格式事实:留档 JSONL 是 psql \copy text 格式(转义),按行 json.loads 会失败 (knowledges 3830/3830、wiki_pages 218/1982),回填/程序化读取须先按 text 格式反转义。
This commit is contained in:
@@ -334,6 +334,10 @@ INCLUDE_CHUNKS=0 bash scripts/target_kb_snapshot.sh # 不导 chunks(快照
|
||||
("可恢复"的最低证明)。只留 PG 行、或 ES 计数为 0 的留档一律拒绝。任一条不满足——
|
||||
**包括门禁本身未接线**——都以 `release_target_snapshot_missing`(不可重试)拒绝发布,
|
||||
且不触碰目标库一行。页面把该码显示为"缺少目标知识库的发布前快照留档,已拒绝发布"。
|
||||
- 回填演练:`python3 scripts/restore_drill.py --snapshot-dir <留档目录> --target-url <本地测试库>`
|
||||
实测把留档 **13,539 行**按原文回填进测试库(8 张表行数与清单逐一致、冲突 0、抽样页面正文与标题
|
||||
逐字段相同),核对后精确删除、残留 0。注意留档 JSONL 是 psql text 格式(`\copy` 转义),
|
||||
回填要用对称的 `\copy FROM`,按行 `json.loads` 会失败。
|
||||
- 云内执行:`bash scripts/target_kb_snapshot.sh` 默认在与 DB 同 VPC 的云主机上跑
|
||||
(凭据取自已部署的 WeKnora 容器,不经家用带宽),PG 8 张表 **44 秒**;ES 导出走云主机直连
|
||||
ES 容器(只读 scroll),两个库共 **131,122 条**文档、gzip 后 **692 MB**;全流程实测
|
||||
|
||||
@@ -59,13 +59,31 @@ docker run --rm --network host postgres:17-alpine psql "$TARGET_DB_URL" \
|
||||
|
||||
| 事故 | 首选 | 耗时 |
|
||||
|---|---|---|
|
||||
| 某个 KB 的 wiki / 元数据被覆盖 | **留档回填**(快照目录 `README.md` 的 SQL:先删按 `_id`/主键冲突行,再 `\copy` 回) | 秒~分钟 |
|
||||
| 某个 KB 的 wiki / 元数据被覆盖 | **留档回填** `scripts/restore_drill.py`(psql 按原文 `\copy FROM` 回填;冲突行跳过并计数) | 秒~分钟 |
|
||||
| 检索/向量异常、索引误删 | **ES 快照 restore**(`kb_backup`;或按 `es_documents.jsonl.gz` 用 `_id` 重建) | 分钟级 |
|
||||
| OSS 对象被覆盖 / 删除 | **OSS 版本控制**回滚单对象或前缀 | 秒~分钟 |
|
||||
| 整库被改坏(要带走/异地一份) | **自管逻辑备份** `pg_restore -j4` 到临时库或新实例 | 分钟~十分钟 |
|
||||
| 整实例级错误、需要"回到某个时刻" | **RDS 快照 / PITR** → 新实例 → 按 KB 取行 | 10~30 分钟 |
|
||||
| 主机/磁盘整体丢失 | ES 仓 + 留档在**同一块盘**上 → 必须靠 RDS 托管备份 + OSS(见"边界") | 30 分钟+ |
|
||||
|
||||
## 回填演练("可恢复"的实测证明)
|
||||
|
||||
哈希校验只能证明文件没坏,不能证明能恢复。`scripts/restore_drill.py` 把留档**真的插回一个库**再核对:
|
||||
|
||||
```bash
|
||||
python3 scripts/restore_drill.py --snapshot-dir $KB_BACKUP_ROOT/target-kb-snapshots/<UTC>-<kb8> \
|
||||
--target-url "$LOCAL_TEST_DB_URL" # 用本地测试库;--keep 可保留插入的行
|
||||
```
|
||||
|
||||
实测(本地测试库 WKNFull `weknora_full`,留档 `20261009T041913Z-0b217e8a`):
|
||||
|
||||
| 表 | 清单行数 | 回填 | 已插入 | 冲突跳过 | 清理后残留 |
|
||||
|---|---|---|---|---|---|
|
||||
| knowledge_bases / knowledges / wiki_folders / wiki_pages / resources / resource_bindings | 2 / 3830 / 65 / 1982 / 3830 / 3830 | 同左 | 同左 | 0 | 0 |
|
||||
|
||||
合计 **13,539 行**回填成功,抽样页面正文与标题逐字段相同;`knowledge_tags` / `knowledge_tag_relations` 为空表。
|
||||
演练在目标库临时建一张 `_drill_restored` 跟踪表记录插入了哪些行,核对后**按行精确删除**并断言残留为 0(需要目标库有建表权限,故演练只用测试库)。
|
||||
|
||||
## 每次导入/发布前的标准动作
|
||||
|
||||
1. `bash scripts/target_kb_snapshot.sh`(默认云内执行 + ES 字节留云主机,实测 **2 分 52 秒**;
|
||||
@@ -86,5 +104,8 @@ docker run --rm --network host postgres:17-alpine psql "$TARGET_DB_URL" \
|
||||
且 **同一实例上的生产库(`weknora_prod`)也在其中** —— 备份目录权限按 0700/0600 保管。
|
||||
- 留档默认不含 `chunks` 行:向量在 ES 里、分块行可由源端重发;要"整库行级可离线重建"才需
|
||||
`INCLUDE_CHUNKS=1`(实测本机隧道约 24 分钟、云内 44 秒内)。
|
||||
- 留档 JSONL 是 psql `\copy` **text 格式**(反斜杠与控制字符被转义):回填必须用对称的
|
||||
`\copy FROM`(由 psql 反转义,`restore_drill.py` 就是这么做的);按行 `json.loads` 会失败
|
||||
(实测 `knowledges` 3830/3830、`wiki_pages` 218/1982 行报错),程序化读取需先反转义。
|
||||
- `es_documents.jsonl.gz` 的 sha256 **每次导出都不同**(scroll 顺序非确定),判据是清单里的
|
||||
每库文档数与逐条内容;要跨次比对请比 `es_document_counts` 与 `_id` 集合,不要比文件哈希。
|
||||
Reference in New Issue
Block a user