Weknora/knowledge-governance
4
0
Fork 0
Code Issues 2 Pull Requests 5 Actions Packages Projects Releases 1 Wiki Activity
70 Commits 11 Branches 57 Tags
e9a643cc33abaebac17094671fa2e856210ef638
Commit Graph

22 Commits

Author SHA1 Message Date
姚章浩 fa244c447c fix(deploy): 重建 api 会静默关掉生产门禁 —— 加前置保护 + 门禁状态回显 
界面验收第三遍（PDF）踩到：授权发布被回绝 "production release requests are disabled"。
根因：scripts/deploy-api-web.sh 的 COMPOSE_FILES 默认只叠 compose.yaml，重建 api 时没叠
compose.release-gates.yaml → PRODUCTION_RELEASE_REQUESTS_ENABLED / PRODUCTION_BACKUP_RESTORE_VERIFIED
变 false，生产授权接口被静默关闭（页面只在点击那一刻提示一句，极易误判成功能坏了）。

- 前置保护：正在运行的 api 已开闸、而本次 COMPOSE_FILES 不含门禁文件时直接拒绝
  （REFUSED_WOULD_CLOSE_PRODUCTION_GATES，并打印保留门禁的正确命令；确要关闸用 ALLOW_GATE_OFF=1）
- 结尾新增 === 7b 打印重建后的两道门禁状态，避免"以为开着"
- 已用同一段判定逻辑覆盖三种情形（已开闸+不叠门禁→拒绝 / 已开闸+叠门禁→放行 / 显式 ALLOW_GATE_OFF→放行）

验收第三遍同时确认：PDF→MinerU 解析链路是通的（入库 completed、验收"内容处理：通过"），
发布首轮 completed/verified（in_scope=8 foreign=8 降级保留正常），回滚 rolled_back、
目标库 enable_status=disabled。证据补进 docs/USER_FLOWS_ACCEPTANCE.md。
 2026-10-10 11:10:51 +08:00
姚章浩 3f603aa293 feat(backup): 系统设置里的存储与备份——定时时间与储存天数可配、下发到目标主机 cron 
需求：整库逻辑备份做定时，但要在「系统设置 → 存储与备份」里设置定时时间与储存天数。

后端
- migration 000045 backup_schedule（单行：enabled/schedule_time/retention_days/retention_months/
  last_applied_*），store + 领域校验（HH:MM、1~365 天、0~24 月，非法值 400 且不落库不下发）
- internal/backuphost：通过 ssh 在目标主机上读回/下发计划并立即备份（未接线时 Available=false，
  页面降级提示；主机侧错误带输出回传）。最近一次只认有 MANIFEST.json 的完整目录，跳 *.incomplete
- 接口 GET/PUT /api/v1/backup-schedule、GET …/host、POST …/apply、POST …/run；
  写操作经 classifyRole 限管理员；run 为异步 202 + 在途单飞（http 写超时 30s，备份约 35s）
- openapi.yaml 补齐 5 条路由（契约测试要求每条都写 400/500）

主机侧
- scripts/install_backup_schedule.sh（幂等）：写 /etc/knowledge-governance/backup-schedule.env 与
  /etc/cron.d/kb-logical-backup，参数校验，--show/--disable，最后一行 SCHEDULE_APPLIED 供平台核对
- logical-backup.sh 从该文件读保留策略；失败或被中断把目录改名 *.incomplete，不留'像成功'的半成品
- install --show 只回显计划行（原先把 SHELL=/PATH= 当计划显示）

前端
- web/src/backupSchedule.ts（严格解析：缺计划字段即报错，不把默认值伪装成设置）
- BackupScheduleSection：容器 + 纯视图（管理员表单/只读、已一致/待下发、在途轮询）

运行前提（已落实）：运行镜像加 openssh-client，且容器 uid 1000 在 /etc/passwd 有名字
（否则 ssh 报 No user exists for uid 1000）；凭据只读挂载 secrets/backup-host（git 忽略）

实测：主机 cron 每天 03:30 / 保留 7 天 / 每月 3 份；立即备份一次 34 秒 / 742.7 MiB / 失败 0；
Go 与前端测试全绿（170 vitest）。
 2026-10-09 13:50:23 +08:00
姚章浩 4455d02262 test(backup): 留档回填演练脚本 + 实测通过 
scripts/restore_drill.py：把留档 PG 行按原文 \copy FROM 回填进目标库，核对每张表行数与清单、
抽样页面正文/标题逐字段比对，再用临时跟踪表 _drill_restored 精确删除并断言残留为 0。

实测（本地测试库 weknora_full，留档 20261009T041913Z-0b217e8a）：13,539 行全部回填成功、
8 张表行数与清单逐一致、冲突 0、抽样页正文一致（388 字符）、残留 0。

同时记录一个格式事实：留档 JSONL 是 psql \copy text 格式（转义），按行 json.loads 会失败
（knowledges 3830/3830、wiki_pages 218/1982），回填/程序化读取须先按 text 格式反转义。
 2026-10-09 13:07:41 +08:00
姚章浩 19e0596e1d fix(backup): 整库逻辑备份按库容错，默认跳过 RDS 管理库 rdsadmin 
单库 pg_dump 失败（权限/编码/管理库）不再中止整次备份：清掉半个目录、记进 MANIFEST.failed_databases、
轮转照常执行、最后按失败情况给退出码。云主机实跑：33 秒 / 742.6 MiB / 8 库 / 失败 0。
 2026-10-09 12:25:12 +08:00
姚章浩 a1be19bb0f docs(backup): 补实测耗时（2m52s 快路径 / 19m40s 含 ES 回传）与 ES 导出哈希非确定性判据 2026-10-09 12:22:55 +08:00
姚章浩 b32755b35f feat(backup): 备份目录契约 + 导入前留档覆盖 ES 层 
- scripts/backup_layout.sh：定义 $KB_BACKUP_ROOT/{target-kb-snapshots,rds-logical,es-snapshots,logs}
  与 /etc/knowledge-governance/backup.env，任意主机跑同一份（测试云主机 → 未来生产云主机）
- scripts/es_kb_export.py：只读 scroll 导出目标库 ES 文档（gzip JSONL，_id/_source，可按 _id 重建）
- scripts/target_kb_snapshot.sh：留档改为 PG 行 + ES 文档两层；PULL_ES 默认 0（692 MB / 家用上行 19m40s，
  留在目标主机，清单记 location=cloud:<host>:<path>）；挂载源与落点统一走 KB_BACKUP_ROOT
- scripts/logical-backup.sh：自管整库逻辑备份（pg_dump -Fd -j4 -Z6，按天轮转）
- internal/releasesnapshot：门禁要求 PG 与 ES 两层齐备（ES 计数 >0）；云侧留档核声明与哈希、
  声明本地却缺失则 fail-closed；新增 3 条用例（共 10）
- cmd/guardcheck：用真实产物复核门禁判断
- docs：PRODUCTION_BACKUP_RECOVERY.md 重写（契约/RDS 控制台/恢复路径/边界）；P6 同步留档语义
 2026-10-09 12:19:15 +08:00
姚章浩 9155bd3170 fix(artifact): 类型误标回退 + 服务端阻断判可重试 + 空白单元格重读
build / build (push) Successful in 23s
Details 
压测/取件实测暴露的三类问题（均在真实 worker 容器里复现并已验证修复）：
- 名为 .axls 实为 docx 的节点（清单扩展名与真实类型不符）：dws 明确回报真实类型
  → 回退 drive download 取原始字节（实测该节点 243,949B docx 可正常取到），
  不再直接失败
- server model operate block 判可重试：同一节点 5 连测 3/5 成功（另一支 timeout），
  原判终态会把可成功节点永久失败
- axls 大表偶发返回全空单元格（12 次取件出现 1 次）：全空时重读一次再上报，
  避免被平台空壳判定当「空文档」终态

新增 3 个回归测试（18 tests / 19 断言全绿）
 2026-10-09 12:15:22 +08:00
姚章浩 6496ee3571 fix(artifact): 在线文档大小预检只对普通文件生效，压测暴露的取件器错误映射补齐
build / build (push) Successful in 25s
Details 
- 大小预检此前对 adoc/axls 也用目录大小，而在线文档目录大小是容器大小
  （实测有 1.40GB 的 adoc，导出 docx 仅 49.5MB）→ 3 个可导出文档被误判 over_limit
- axls 转换器的 dws 失败改为抛 DwsCallError，取件器映射成平台错误码
  （此前进程无结果退出，平台只看到 artifact_fetch_no_output）
- export_failed 改判 retryable：8 路混合时巨型文档服务端导出偶发失败，1/2/4 路与串行必成
- 新增 2 个回归测试 + dws_error_map 1 个断言；文档补并发实测表与回归清单
 2026-10-09 11:51:26 +08:00
姚章浩 1fa35e9870 feat(release): 发布前快照硬门禁 + 云内快照 + ES/OSS 保护 
按生产级备份组合落地：

- internal/releasesnapshot：新增门禁包，要求 root 下存在覆盖目标库、未过期
  （默认 24h）、含 wiki_pages.jsonl 与 sha256 的快照；本地文件再校验哈希。
  7 条单测（过期/换库/篡改/缺页/未接线/半成品）。
- 发布器：写目标库之前（Publish/Delete/Rollback 三条路）先过门禁；映射目标
  （源库→目标库，共享真实库）或 policy=always 时必须有快照；门禁未接线
  同样拒绝（fail-closed）。新错误码 release_target_snapshot_missing（不可重试）
  + 页面中文提示。6 条发布器单测。
- worker 配置新增 target_snapshot{root,max_age_hours,policy}，校验 policy/
  max_age/绝对路径；compose.release-sim.yaml 只读挂载快照目录。
- scripts/target_kb_snapshot.sh：默认云内执行（与 DB 同 VPC，凭据取自 WeKnora
  容器）+ 默认不导 chunks（44s 出 8 张表）；修复 \copy 不能跨行/不能带 WITH、
  ES 计数改用 knowledge_base_id.keyword。
- ES：注册 kb_backup 仓库（path.repo），首个快照 36s/4.7GB/0 分片失败，
  SLM kb-hourly(3d)+kb-daily(7d) 已建并执行成功。
- OSS：目标桶开启版本控制（此前未开启）。
- 文档 P6 增补硬门禁与云内执行；真实快照目录上门禁实测：两个绑定库通过、
  未覆盖库拒绝、未接线拒绝。
 2026-10-09 10:59:55 +08:00
姚章浩 f4e1ecc5f1 feat(artifact): 钉钉取件优先走 dws（DingTalk Workspace CLI），老路径保留为回退 
- artifact_fetch.py: 新增 dingtalk dws 取件器（adoc→doc export、axls→sheet 转换、其余→drive 直下），
  ARTIFACT_DINGTALK_FETCHER=dws|auto|legacy 三级开关，auto 仅对可重试错误回落老路径；
  平台侧判定（pick_suffix/SLIDES/magic/大小上限/sha256/spool/空壳检查）全部保留；
  结果 JSON 字段不变（Go runner 用 DisallowUnknownFields 解析 stdout），取件器来源只写 stderr。
- axls_to_xlsx.py: 纯标准库 axls→xlsx（文本写入 sharedStrings 以通过空壳判定）。
- dws_error_map.py: dws 错误→平台 {ok,code,retryable,missing}；未分类错误默认不重试。
- Dockerfile: alpine 增加 gcompat/libc6-compat；dws v1.0.63 固定版本+sha256 校验；构建期 dws version 自检。
- compose.yaml: worker 增加 dws 环境与凭据挂载（DWS_HOME 方案，XDG_DATA_HOME 不被 dws 识别）。
- 测试: artifact_fetch_test 新增 11 项（路由/回落语义/契约字段锁定）；dws_error_map 17 断言。
- 实测: 真容器(--read-only --tmpfs --user 1000:1000) 端到端 adoc/axls/pdf 3/3 成功，docx sha 与平台基准一致。
 2026-10-09 10:57:11 +08:00
姚章浩 8bb5cd9a62 feat(ops): 目标知识库只读行级快照工具 + 发布前备份约定 
发布链不做发布前备份（Prepare 只归档本包、previousRevision 首次为 absent），
门禁 PRODUCTION_BACKUP_RESTORE_VERIFIED 只是人工开关 —— 目标库覆盖前没有现场。

- scripts/target_kb_snapshot.sh：KB 维度只读导出（SELECT + \copy），输出
  JSONL + MANIFEST.json（行数/字节/sha256/覆盖范围/ES 文档数）+ export.sql
  + README.md（恢复步骤）。支持指定或读取已绑定目标库，INCLUDE_CHUNKS=0 出小快照。
- 文档 P6 新增「发布前备份」：覆盖范围、边界（不含 ES/OSS 本体，整库级走 RDS
  PITR）、以及共享真实库发布/撤权/回滚前必跑快照并记入发布单的约定。
 2026-10-09 10:05:23 +08:00
姚章浩 6440e3f679 feat(release): 发布目标知识库可选（源库 → 目标库映射） 
- 迁移 000044：production_kb_bindings + release_item_executions.target_knowledge_base_id
- 系统设置新增「生产知识库绑定（对内/对外）」：从生产 WeKnora 实际列表选库，
  保存时真校验（不存在拒收；生产端不可达只提示并如实回报），仅管理员可改
- 执行计划按绑定解析目标库并冻结进 release_item_executions；空目标直接拒收；
  已发布过的条目保留原目标（重试/回滚回到同一处）
- DocumentBundle.RemapKnowledgeBase：knowledges/chunks/knowledge_tags/wiki_pages/
  wiki_folders 的 knowledge_base_id 与 ES 文档字段改写为目标库，重算表/文档摘要并重新封装
- 契约比对改为「声明的映射对」(KnowledgeBaseMapping)，其余字段继续 fail-closed
- 契约检查器 / 目标身份 / 验证器全部走映射后的目标库；对象通道无需改写
- Compose 拆分：数据面接线 compose.release-sim.yaml + 两道门禁 compose.release-gates.yaml
- 测试：RemapKnowledgeBase 全通道/无操作/fail-closed、映射契约、绑定接口、RBAC、真实 PG 集成
 2026-10-08 15:41:13 +08:00
姚章浩 e1c5f6895a chore(deploy): 部署与备份脚本、示例配置与忽略规则
build / build (push) Failing after 21s
Details 
- 新增 scripts/deploy-api-web.sh（API/Web 构建发布）与 scripts/wiki_cleanup_backup.sh（wiki 清理前备份）
- 更新 .env.example、compose.yaml 与 README 说明；忽略 /spool/ingestion 运行期产物
 2026-09-30 10:54:07 +08:00
姚章浩 e53b98f37d fix(alist): 网关鉴权头改为 X-Gateway-Token 
- 依据 2026-09-28 实测：旧头对新网关 4/4 源返回 401，X-Gateway-Token 返回 200
- 取件通道 scripts/artifact_fetch.py 两处头名同步；镜像内生效需重建 worker
- 修正过期结论：下载直链 /p/<path>?sign=… 为签名鉴权，请求头不影响（无头亦 206）
- 同步文档与回归断言表述（重定向隔离测试仍 PASS）
 2026-09-30 10:54:07 +08:00
姚章浩 ea6e56b304 feat(release): 文档发布会带上知识库 wiki 快照并支持撤权剥离 
发布通道原来只有三条：PostgreSQL 关系行、Elasticsearch 分片、OSS 对象。
WeKnora 的 wiki 图谱是 wiki_pages 一张纯 PG 表（in_links/out_links 存 slug），
所以它不在任何通道里——撤权后生产 wiki 会一直留着已撤权文档的页面与引用。

本次新增第 5 条通道：库级 wiki 快照，挂在现有文档发布包里，检索与 wiki
同一个 release 单元（同一次执行、同一次校验、同一次回滚）：

- 导出：ExportWiki 按 knowledge_base_id 全量读 wiki_pages/wiki_folders；
  收敛门禁（库内无解析中/合成中文档）不满足直接失败并给中文原因；
  未启用 wiki 且无 wiki 行的库不参与同步（生产 wiki 保持原样）。
- 撤权：item.Action == "delete" 时在导出端剥离该文档的 wiki 贡献
  （source_refs/chunk_refs 去条目、无引用页面整页不带、摘死链、清 parent_slug、
  无页面引用的空文件夹及其祖先一并去掉），使“源端仍在只停止发布”和
  “源端删除”两种情况收敛到同一结果。
- 导入：库级 replace-by-kb（同一事务内 DELETE by kb 后灌入快照，文件夹先于页面），
  新增 ReplaceWiki 供撤权路径使用（文档行只 disable，wiki 整体替换）。
- 校验：VerifyWiki 用生产 WeKnora wiki API 比对页面 slug 集合，撤权时额外断言
  生产 wiki 不再引用被撤权文档。

驱动与验收：新增 cmd/release-channel-e2e（复用发布 worker 真实代码路径，
支持 publish/withdraw/rollback），scripts/wiki_e2e_test5.sh、
scripts/wiki_e2e_newkb.sh 两套端到端脚本；证据见
docs/WIKI_CO_TRANSPORT_ACCEPTANCE.md。
 2026-09-30 10:54:07 +08:00
姚章浩 822896ea6c fix(fetch): 钉钉空文档显式报 empty_document 
DingTalk exports empty online documents to valid but contentless docx/xlsx;
WeKnora then rejects them with a generic remote_parse_failed. Detect blank
exports (no text, no embedded media) at fetch time and report the cause in
Chinese, and add the matching dead-letter hint.
 2026-09-30 10:54:07 +08:00
姚章浩 257be88ecf fix(fetch): UTF-8 sniff boundary must not reject valid documents 
validate_magic read exactly 4096 bytes and strict-decoded them; a multibyte
character straddling the boundary made perfectly valid .md/.txt files fail
with invalid_format. Only tolerate 'unexpected end of data' when the file
actually continues past the sniff window; genuinely corrupt bytes still fail.
 2026-09-30 10:54:07 +08:00
姚章浩 b3c9331966 feat(ingest): 源与目录文件名过滤及钉钉文档导出 
- filename_filter_rules table (000035) with source-root and per-directory rows
- additive inheritance: source default + every ancestor directory contributes
- filename_is_filtered() SQL predicate applied to catalog browsing, subtree
  counts, change-set diffing, routing fan-out and artifact fetch manifests
- fetch_state 'filtered' (CHECK extended); reconcile cancels/restores fetch
  jobs, retires planned publications and blocks items when rules change
- GET/PUT/DELETE /api/v1/filename-filters (Idempotency-Key, normalized
  extensions) + Settings and Catalog filter editors
- failJobSQL no longer swallows the claimed row when the failure projection
  upserts (fixes spurious 'lease lost' retries)
- DingTalk live fetch: adoc/axls now use the export-job pipeline (HTTP 403
  from file/download fixed), header-signature downloads supported
 2026-09-30 10:54:07 +08:00
姚章浩 e60b10256a fix(settings): add DingTalk spaces and render the real login QR 
Address two gaps in the first DingTalk-session UI:
- add an explicit admin-only '+ 新增钉钉知识库' action on the data-source
  panel; it accepts an alidocs space URL, resolves the live name/root through
  the authenticated sidecar, writes the inventory root atomically, upserts a
  deterministic source connection, and enqueues its first catalog refresh
- read DingTalk's real QR canvas pixels rather than taking a DOM screenshot;
  select by dark-pixel content, composite onto a white quiet zone, and render
  at 320x320 so the dialog contains a large complete code, not a page thumbnail

The live refresh path resolves registered roots from the connection locator,
while existing name-based DingTalk sources remain compatible.
 2026-09-30 10:54:07 +08:00
姚章浩 c2d093bc90 fix(fetch): AList download route authenticates with x-api-token 
This AList deployment (sales.dobotoa.cn family) only recognizes x-api-token on
the /p/ download route; an Authorization header gets 302'd to login.dingtalk.com.
Probe x-api-token first, fall back to Authorization, then fail-closed.
 2026-09-30 10:54:07 +08:00
姚章浩 63f3b2c503 feat(governance): policy-driven ingestion from catalog annotations 
Annotation in 来源与目录 is now the only import decision surface:
- migration 000033: catalog_import_intents (durable, rescan-proof per-file
  intent with locator snapshot + fetch lifecycle), source_items.policy_state,
  planned publication state, ui_setting_revisions.ingestion_concurrency
- marking fans a folder decision out to per-file intents, materializes
  versioned items, reuses already-verified local bytes (compare, don't pull),
  and plans one publication per routed KB; blocked retires planned rows
  while live publications stay untouched (需下架 shows in the KB diff)
- artifact.fetch worker lane (scripts/artifact_fetch.py): DingTalk export
  tree/live box API, AList /api/fs/get direct download with SSO-redirect
  fail-closed, PP ledger via locator hash; content-level dedupe on sha256
- 开始处理 promotes planned->pending inside the claim-time concurrency budget
  from system settings; claims enforce it in SQL
- monitor overview rebuilt as knowledge-base diff: planned/needs_removal per
  KB + fetch pipeline summary; frontend lanes 待入库/需下架 replace the
  deprecated snapshot change-set confirmation
- spool: images (png/jpg/gif/bmp/webp) accepted, ppt/pptx rejected in favour
  of PDF twins; DingTalk PPT resolves its converted PDF pair
 2026-09-30 10:54:07 +08:00
zheromiku dcdc8d1ddd feat: 知识治理平台(含已验证发布/回滚契约) 
全栈知识治理平台首次入库（P1-P10 + 发布链路模拟验证闭环）：

- 治理核心：源目录/变更集/人工审核/发布批次/发布执行（fail-closed 闸口）
- 测试通道：WeKnora 测试 KB 上传/轮询/验收；poll 完成时写入
  parser_generation/index_generation，修复 manual/seed 路径发布闸口永久拦截
- 发布适配器 v071（本地 source=测试角色 / 云端 target=生产角色 模拟验证通过）：
  * ES 导出/导入 mapping 自适应（.keyword 子字段、可选 tenant_id）
  * OSS locator 支持嵌套 scheme；chunks.seq_id 由目标序列分配
  * bundle 归档同身份重试原子替换；verifier 按 bundle chunk_type 计数
  * 回滚 job payload 支持 prior_execution_id（strict 解码）
- 三通道发布+回滚演练实测：publish 4/4 verified，检索命中，
  rollback 4/4 rolled_back，目标端 PG is_enabled=false、ES is_enabled=false
- 前端 A·Data-console 风格全站统一，120 用例通过
- 门禁：go vet / go test 全包通过，gofmt 干净
 2026-09-30 10:54:06 +08:00