164dc2f72c
test(ci): 反向夹具扩到 54 条，含预览发布与合并调用链负例
...
新增 14~19 节：假 bridge 数 publish 请求（坏报告 0 次/好报告 1 次）、--verify-only 单跑核对、检出协议保留、合并调用链（假 Gitea 跑真实 merge_pr，13 分支）、生成器落齐新脚本与空策略文件。首轮 1 处失败暴露真实缺陷：无远端引用时 --not --remotes 退化成整部历史（把 Initial commit 算进来）⇒ 改为只核 HEAD 并写明。
2026-10-12 11:15:18 +08:00
88da069e1f
ci(checks): 必需与可选测试按声明区分，未声明就跳过的用例判红
...
test-scope.json 提供声明：package/test 至少给一个、必须给 reason 与 owner、package 级要写 expected_skips（跳过数涨了要重新声明）、review_by 过期即失效。文件缺失或解析不了 = 声明不出来 ⇒ 不许默认放行。
2026-10-12 11:15:18 +08:00
1f74794696
test(ci): 加反向验收夹具（21 条，逐条证明门禁真的会红）
...
一个"永远返回 0 的校验器"比没有校验更糟 —— 它给人一种已经检查过的错觉。
所以每条判据都要有反例，而且反例必须在**隔离副本**里做，不往日常 main 推故意失败的提交。
scripts/ci_negative_fixtures.sh 的两道保险：必须显式设 CI_NEGATIVE_FIXTURE=1，
且工作区有 origin 远端时拒绝运行。逐项做完即恢复，并断言恢复后会重新变绿。
覆盖：格式（Go / 前端各一条）、前端用例失败、变更记录缺日期、版本用例被 SKIP（变异测试）、
缺锁文件、例外表缺失、合成密钥、事件 SHA 错配、必需项未运行不得报全绿（全量跑一次看 not_run）、
通知不可达不改质量结论、汇总报告缺失必须非 0。
实测（在 /home/zheromiku/.hermes/cache/scratch/kg-neg 的副本里，副本无 origin）：
21 条全部符合预期、0 失败，夹具退出码 0。
顺带修掉一个真问题：夹具第一稿把"注入路径写错"改在 build-go 那一处（同名但无关），
于是看起来"契约没红"—— 其实是夹具没生效。现在断言注入点在文件里唯一命中。
2026-10-12 00:11:10 +08:00
a3a1319a11
feat(ci): 唯一权威门禁 make verify（14 项必需检查，汇总不认"未运行"）
...
一次性把本地与 CI 的门禁收成一条命令：make verify = python3 scripts/ci_checks.py。
两边跑的是同一份逻辑，不再各写一套步骤（两边各写一套的结局是迟早只改一边）。
14 项必需检查：identity（检出 == 事件完整 SHA，只在 CI 必需）、commits、deps-install、
format、static-go、static-web、build-go、build-web、tests-go、tests-web、contracts、
security-secrets、security-deps、manifests-locked。make list 打印清单。
三条判据写死在代码里：
- 失败即停，但剩下的记 not_run 并如实写进报告；aggregate() 只认 success，
未运行/被跳过都不算通过（不适用要在清单里声明 required_in，不许运行时悄悄 skip）。
- 工具缺失、依赖没按锁装、输出解析不了 ⇒ 失败，不当成"检查通过"。
- 测试必须真跑：go test 加 -count=1 并盘点通过/跳过数；前端读 vitest 的 JSON 报告，
空套件不算通过。跳过原因会打进报告（当前 72 个集成用例因缺 TEST_DATABASE_URL 跳过）。
新增四个自带反向自检的脚本（--self-test 故意弄坏必须红）：
scripts/check_format.py（Go 判输出而非退出码 + 前端只能减的基线）、
scripts/check_secrets.py（只打印位置与类别，绝不打印值）、
scripts/check_deps_vuln.py（govulncheck 锁 v1.1.4 + npm audit 分级 + 到期例外）、
scripts/ci_checks.py（门禁 + 汇总）。
验证（本机实跑，全部为真实退出码）：
make verify → 总体 success（档案 local），identity=skipped 已在清单里声明为 CI 必需；
tests-go 执行 31 个包、通过 549 / 失败 0 / 跳过 72；tests-web 106 个套件、191 个用例全过；
security-deps：govulncheck v1.1.4 0 命中、npm audit 生产与全量均 0。
2026-10-12 00:10:51 +08:00
5f3a71cade
feat(version): 版本号唯一来源 = CHANGELOG.md，并要求写清改了什么与怎么验收
...
build / build (push) Successful in 26s
背景：本仓此前没有任何版本/构建元信息 —— 没有 ldflags 注入、也没有产物可读的
版本号，"线上跑的是哪个提交"答不出来；"这次改了什么、怎么验收"也没有载体。
落地：
- CHANGELOG.md：**版本号的唯一来源**（正本 §6.1：版本号只准有一处）。刻意不放
VERSION 文件、也不靠 git tag —— CI 是 `git fetch --depth 50`，取不到 tag，
`git describe` 会静默退化。每个已发布版本必须有两节：### 改了什么 与 ### 怎么验收。
- scripts/version.py：从 CHANGELOG 顶部解析版本号；解析不到即非 0 退出（构建据此失败）。
- scripts/check_changelog.py：结构自检（两节齐、带日期、版本号不重复且严格递减、
小节不为空），带 --self-test 反向自检。
- internal/version：三个构建期注入变量 + 契约测试（注入的号必须等于 CHANGELOG 顶部）。
- Makefile：build 带 -ldflags 注入；verify 增加 changelog-check 与 version-contract。
- Dockerfile：ARG VERSION/COMMIT_SHA/BUILD_TIME + ldflags（未透传时落 dev —— 故意显眼，
好过看起来正常的假版本号）。
- CI：新增「版本与变更记录契约」步，并显式断言契约测试真的 PASS（被跳过的断言等于没有断言）。
- docs/提交规范.md（ci_gate.py 的报错文案一直在指它）、docs/agents/traps.md（7 条实测陷阱）。
验证（都真跑过）：
- make version → 0.1.0；make changelog-check → 合规
- make version-contract → PASS；注入 9.9.9（CHANGELOG 里没有）→ FAIL（反向自检）
- 删掉真实 CHANGELOG 的「怎么验收」小节 → 报红（对真实文件做，不只是夹具）
- go build ./... 与 go vet ./internal/version/... 通过
未做（会与在审 PR #2 冲突，待其合并后在 main 上补）：
- GET /version 端点（internal/httpapi/server.go）与 cmd/api 的 -version 开关
- compose.yaml 透传 build args（当前由 compose 构建的镜像会报 dev）
⚠️ 未跑 make verify 全量（含 go test ./... 与前端），CI 是本次的测试证据。
2026-10-10 18:13:24 +08:00
fc9dd4c328
chore(gitignore): 补根级 node_modules 规则，撤出已入库的构建产物
...
根级 node_modules 没有被任何规则覆盖（只写了带斜杠的 /web/node_modules/，
只管 web 下），于是 node_modules/.vite/vitest/.../results.json 随 a1b46d2
2026-10-10 17:42:10 +08:00
fa244c447c
fix(deploy): 重建 api 会静默关掉生产门禁 —— 加前置保护 + 门禁状态回显
...
界面验收第三遍（PDF）踩到：授权发布被回绝 "production release requests are disabled"。
根因：scripts/deploy-api-web.sh 的 COMPOSE_FILES 默认只叠 compose.yaml，重建 api 时没叠
compose.release-gates.yaml → PRODUCTION_RELEASE_REQUESTS_ENABLED / PRODUCTION_BACKUP_RESTORE_VERIFIED
变 false，生产授权接口被静默关闭（页面只在点击那一刻提示一句，极易误判成功能坏了）。
- 前置保护：正在运行的 api 已开闸、而本次 COMPOSE_FILES 不含门禁文件时直接拒绝
（REFUSED_WOULD_CLOSE_PRODUCTION_GATES，并打印保留门禁的正确命令；确要关闸用 ALLOW_GATE_OFF=1）
- 结尾新增 === 7b 打印重建后的两道门禁状态，避免"以为开着"
- 已用同一段判定逻辑覆盖三种情形（已开闸+不叠门禁→拒绝 / 已开闸+叠门禁→放行 / 显式 ALLOW_GATE_OFF→放行）
验收第三遍同时确认：PDF→MinerU 解析链路是通的（入库 completed、验收"内容处理：通过"），
发布首轮 completed/verified（in_scope=8 foreign=8 降级保留正常），回滚 rolled_back、
目标库 enable_status=disabled。证据补进 docs/USER_FLOWS_ACCEPTANCE.md。
2026-10-10 11:10:51 +08:00
3f603aa293
feat(backup): 系统设置里的存储与备份——定时时间与储存天数可配、下发到目标主机 cron
...
需求：整库逻辑备份做定时，但要在「系统设置 → 存储与备份」里设置定时时间与储存天数。
后端
- migration 000045 backup_schedule（单行：enabled/schedule_time/retention_days/retention_months/
last_applied_*），store + 领域校验（HH:MM、1~365 天、0~24 月，非法值 400 且不落库不下发）
- internal/backuphost：通过 ssh 在目标主机上读回/下发计划并立即备份（未接线时 Available=false，
页面降级提示；主机侧错误带输出回传）。最近一次只认有 MANIFEST.json 的完整目录，跳 *.incomplete
- 接口 GET/PUT /api/v1/backup-schedule、GET …/host、POST …/apply、POST …/run；
写操作经 classifyRole 限管理员；run 为异步 202 + 在途单飞（http 写超时 30s，备份约 35s）
- openapi.yaml 补齐 5 条路由（契约测试要求每条都写 400/500）
主机侧
- scripts/install_backup_schedule.sh（幂等）：写 /etc/knowledge-governance/backup-schedule.env 与
/etc/cron.d/kb-logical-backup，参数校验，--show/--disable，最后一行 SCHEDULE_APPLIED 供平台核对
- logical-backup.sh 从该文件读保留策略；失败或被中断把目录改名 *.incomplete，不留'像成功'的半成品
- install --show 只回显计划行（原先把 SHELL=/PATH= 当计划显示）
前端
- web/src/backupSchedule.ts（严格解析：缺计划字段即报错，不把默认值伪装成设置）
- BackupScheduleSection：容器 + 纯视图（管理员表单/只读、已一致/待下发、在途轮询）
运行前提（已落实）：运行镜像加 openssh-client，且容器 uid 1000 在 /etc/passwd 有名字
（否则 ssh 报 No user exists for uid 1000）；凭据只读挂载 secrets/backup-host（git 忽略）
实测：主机 cron 每天 03:30 / 保留 7 天 / 每月 3 份；立即备份一次 34 秒 / 742.7 MiB / 失败 0；
Go 与前端测试全绿（170 vitest）。
2026-10-09 13:50:23 +08:00
4455d02262
test(backup): 留档回填演练脚本 + 实测通过
...
scripts/restore_drill.py：把留档 PG 行按原文 \copy FROM 回填进目标库，核对每张表行数与清单、
抽样页面正文/标题逐字段比对，再用临时跟踪表 _drill_restored 精确删除并断言残留为 0。
实测（本地测试库 weknora_full，留档 20261009T041913Z-0b217e8a）：13,539 行全部回填成功、
8 张表行数与清单逐一致、冲突 0、抽样页正文一致（388 字符）、残留 0。
同时记录一个格式事实：留档 JSONL 是 psql \copy text 格式（转义），按行 json.loads 会失败
（knowledges 3830/3830、wiki_pages 218/1982），回填/程序化读取须先按 text 格式反转义。
2026-10-09 13:07:41 +08:00
19e0596e1d
fix(backup): 整库逻辑备份按库容错，默认跳过 RDS 管理库 rdsadmin
...
单库 pg_dump 失败（权限/编码/管理库）不再中止整次备份：清掉半个目录、记进 MANIFEST.failed_databases、
轮转照常执行、最后按失败情况给退出码。云主机实跑：33 秒 / 742.6 MiB / 8 库 / 失败 0。
2026-10-09 12:25:12 +08:00
a1be19bb0f
docs(backup): 补实测耗时（2m52s 快路径 / 19m40s 含 ES 回传）与 ES 导出哈希非确定性判据
2026-10-09 12:22:55 +08:00
b32755b35f
feat(backup): 备份目录契约 + 导入前留档覆盖 ES 层
...
- scripts/backup_layout.sh：定义 $KB_BACKUP_ROOT/{target-kb-snapshots,rds-logical,es-snapshots,logs}
与 /etc/knowledge-governance/backup.env，任意主机跑同一份（测试云主机 → 未来生产云主机）
- scripts/es_kb_export.py：只读 scroll 导出目标库 ES 文档（gzip JSONL，_id/_source，可按 _id 重建）
- scripts/target_kb_snapshot.sh：留档改为 PG 行 + ES 文档两层；PULL_ES 默认 0（692 MB / 家用上行 19m40s，
留在目标主机，清单记 location=cloud:<host>:<path>）；挂载源与落点统一走 KB_BACKUP_ROOT
- scripts/logical-backup.sh：自管整库逻辑备份（pg_dump -Fd -j4 -Z6，按天轮转）
- internal/releasesnapshot：门禁要求 PG 与 ES 两层齐备（ES 计数 >0）；云侧留档核声明与哈希、
声明本地却缺失则 fail-closed；新增 3 条用例（共 10）
- cmd/guardcheck：用真实产物复核门禁判断
- docs：PRODUCTION_BACKUP_RECOVERY.md 重写（契约/RDS 控制台/恢复路径/边界）；P6 同步留档语义
2026-10-09 12:19:15 +08:00
9155bd3170
fix(artifact): 类型误标回退 + 服务端阻断判可重试 + 空白单元格重读
...
build / build (push) Successful in 23s
压测/取件实测暴露的三类问题（均在真实 worker 容器里复现并已验证修复）：
- 名为 .axls 实为 docx 的节点（清单扩展名与真实类型不符）：dws 明确回报真实类型
→ 回退 drive download 取原始字节（实测该节点 243,949B docx 可正常取到），
不再直接失败
- server model operate block 判可重试：同一节点 5 连测 3/5 成功（另一支 timeout），
原判终态会把可成功节点永久失败
- axls 大表偶发返回全空单元格（12 次取件出现 1 次）：全空时重读一次再上报，
避免被平台空壳判定当「空文档」终态
新增 3 个回归测试（18 tests / 19 断言全绿）
2026-10-09 12:15:22 +08:00
6496ee3571
fix(artifact): 在线文档大小预检只对普通文件生效，压测暴露的取件器错误映射补齐
...
build / build (push) Successful in 25s
- 大小预检此前对 adoc/axls 也用目录大小，而在线文档目录大小是容器大小
（实测有 1.40GB 的 adoc，导出 docx 仅 49.5MB）→ 3 个可导出文档被误判 over_limit
- axls 转换器的 dws 失败改为抛 DwsCallError，取件器映射成平台错误码
（此前进程无结果退出，平台只看到 artifact_fetch_no_output）
- export_failed 改判 retryable：8 路混合时巨型文档服务端导出偶发失败，1/2/4 路与串行必成
- 新增 2 个回归测试 + dws_error_map 1 个断言；文档补并发实测表与回归清单
2026-10-09 11:51:26 +08:00
1fa35e9870
feat(release): 发布前快照硬门禁 + 云内快照 + ES/OSS 保护
...
按生产级备份组合落地：
- internal/releasesnapshot：新增门禁包，要求 root 下存在覆盖目标库、未过期
（默认 24h）、含 wiki_pages.jsonl 与 sha256 的快照；本地文件再校验哈希。
7 条单测（过期/换库/篡改/缺页/未接线/半成品）。
- 发布器：写目标库之前（Publish/Delete/Rollback 三条路）先过门禁；映射目标
（源库→目标库，共享真实库）或 policy=always 时必须有快照；门禁未接线
同样拒绝（fail-closed）。新错误码 release_target_snapshot_missing（不可重试）
+ 页面中文提示。6 条发布器单测。
- worker 配置新增 target_snapshot{root,max_age_hours,policy}，校验 policy/
max_age/绝对路径；compose.release-sim.yaml 只读挂载快照目录。
- scripts/target_kb_snapshot.sh：默认云内执行（与 DB 同 VPC，凭据取自 WeKnora
容器）+ 默认不导 chunks（44s 出 8 张表）；修复 \copy 不能跨行/不能带 WITH、
ES 计数改用 knowledge_base_id.keyword。
- ES：注册 kb_backup 仓库（path.repo），首个快照 36s/4.7GB/0 分片失败，
SLM kb-hourly(3d)+kb-daily(7d) 已建并执行成功。
- OSS：目标桶开启版本控制（此前未开启）。
- 文档 P6 增补硬门禁与云内执行；真实快照目录上门禁实测：两个绑定库通过、
未覆盖库拒绝、未接线拒绝。
2026-10-09 10:59:55 +08:00
f4e1ecc5f1
feat(artifact): 钉钉取件优先走 dws（DingTalk Workspace CLI），老路径保留为回退
...
- artifact_fetch.py: 新增 dingtalk dws 取件器（adoc→doc export、axls→sheet 转换、其余→drive 直下），
ARTIFACT_DINGTALK_FETCHER=dws|auto|legacy 三级开关，auto 仅对可重试错误回落老路径；
平台侧判定（pick_suffix/SLIDES/magic/大小上限/sha256/spool/空壳检查）全部保留；
结果 JSON 字段不变（Go runner 用 DisallowUnknownFields 解析 stdout），取件器来源只写 stderr。
- axls_to_xlsx.py: 纯标准库 axls→xlsx（文本写入 sharedStrings 以通过空壳判定）。
- dws_error_map.py: dws 错误→平台 {ok,code,retryable,missing}；未分类错误默认不重试。
- Dockerfile: alpine 增加 gcompat/libc6-compat；dws v1.0.63 固定版本+sha256 校验；构建期 dws version 自检。
- compose.yaml: worker 增加 dws 环境与凭据挂载（DWS_HOME 方案，XDG_DATA_HOME 不被 dws 识别）。
- 测试: artifact_fetch_test 新增 11 项（路由/回落语义/契约字段锁定）；dws_error_map 17 断言。
- 实测: 真容器(--read-only --tmpfs --user 1000:1000) 端到端 adoc/axls/pdf 3/3 成功，docx sha 与平台基准一致。
2026-10-09 10:57:11 +08:00
8bb5cd9a62
feat(ops): 目标知识库只读行级快照工具 + 发布前备份约定
...
发布链不做发布前备份（Prepare 只归档本包、previousRevision 首次为 absent），
门禁 PRODUCTION_BACKUP_RESTORE_VERIFIED 只是人工开关 —— 目标库覆盖前没有现场。
- scripts/target_kb_snapshot.sh：KB 维度只读导出（SELECT + \copy），输出
JSONL + MANIFEST.json（行数/字节/sha256/覆盖范围/ES 文档数）+ export.sql
+ README.md（恢复步骤）。支持指定或读取已绑定目标库，INCLUDE_CHUNKS=0 出小快照。
- 文档 P6 新增「发布前备份」：覆盖范围、边界（不含 ES/OSS 本体，整库级走 RDS
PITR）、以及共享真实库发布/撤权/回滚前必跑快照并记入发布单的约定。
2026-10-09 10:05:23 +08:00
6440e3f679
feat(release): 发布目标知识库可选（源库 → 目标库映射）
...
- 迁移 000044：production_kb_bindings + release_item_executions.target_knowledge_base_id
- 系统设置新增「生产知识库绑定（对内/对外）」：从生产 WeKnora 实际列表选库，
保存时真校验（不存在拒收；生产端不可达只提示并如实回报），仅管理员可改
- 执行计划按绑定解析目标库并冻结进 release_item_executions；空目标直接拒收；
已发布过的条目保留原目标（重试/回滚回到同一处）
- DocumentBundle.RemapKnowledgeBase：knowledges/chunks/knowledge_tags/wiki_pages/
wiki_folders 的 knowledge_base_id 与 ES 文档字段改写为目标库，重算表/文档摘要并重新封装
- 契约比对改为「声明的映射对」(KnowledgeBaseMapping)，其余字段继续 fail-closed
- 契约检查器 / 目标身份 / 验证器全部走映射后的目标库；对象通道无需改写
- Compose 拆分：数据面接线 compose.release-sim.yaml + 两道门禁 compose.release-gates.yaml
- 测试：RemapKnowledgeBase 全通道/无操作/fail-closed、映射契约、绑定接口、RBAC、真实 PG 集成
2026-10-08 15:41:13 +08:00
e1c5f6895a
chore(deploy): 部署与备份脚本、示例配置与忽略规则
...
build / build (push) Failing after 21s
- 新增 scripts/deploy-api-web.sh（API/Web 构建发布）与 scripts/wiki_cleanup_backup.sh（wiki 清理前备份）
- 更新 .env.example、compose.yaml 与 README 说明；忽略 /spool/ingestion 运行期产物
2026-09-30 10:54:07 +08:00
e53b98f37d
fix(alist): 网关鉴权头改为 X-Gateway-Token
...
- 依据 2026-09-28 实测：旧头对新网关 4/4 源返回 401，X-Gateway-Token 返回 200
- 取件通道 scripts/artifact_fetch.py 两处头名同步；镜像内生效需重建 worker
- 修正过期结论：下载直链 /p/<path>?sign=… 为签名鉴权，请求头不影响（无头亦 206）
- 同步文档与回归断言表述（重定向隔离测试仍 PASS）
2026-09-30 10:54:07 +08:00
ea6e56b304
feat(release): 文档发布会带上知识库 wiki 快照并支持撤权剥离
...
发布通道原来只有三条：PostgreSQL 关系行、Elasticsearch 分片、OSS 对象。
WeKnora 的 wiki 图谱是 wiki_pages 一张纯 PG 表（in_links/out_links 存 slug），
所以它不在任何通道里——撤权后生产 wiki 会一直留着已撤权文档的页面与引用。
本次新增第 5 条通道：库级 wiki 快照，挂在现有文档发布包里，检索与 wiki
同一个 release 单元（同一次执行、同一次校验、同一次回滚）：
- 导出：ExportWiki 按 knowledge_base_id 全量读 wiki_pages/wiki_folders；
收敛门禁（库内无解析中/合成中文档）不满足直接失败并给中文原因；
未启用 wiki 且无 wiki 行的库不参与同步（生产 wiki 保持原样）。
- 撤权：item.Action == "delete" 时在导出端剥离该文档的 wiki 贡献
（source_refs/chunk_refs 去条目、无引用页面整页不带、摘死链、清 parent_slug、
无页面引用的空文件夹及其祖先一并去掉），使“源端仍在只停止发布”和
“源端删除”两种情况收敛到同一结果。
- 导入：库级 replace-by-kb（同一事务内 DELETE by kb 后灌入快照，文件夹先于页面），
新增 ReplaceWiki 供撤权路径使用（文档行只 disable，wiki 整体替换）。
- 校验：VerifyWiki 用生产 WeKnora wiki API 比对页面 slug 集合，撤权时额外断言
生产 wiki 不再引用被撤权文档。
驱动与验收：新增 cmd/release-channel-e2e（复用发布 worker 真实代码路径，
支持 publish/withdraw/rollback），scripts/wiki_e2e_test5.sh、
scripts/wiki_e2e_newkb.sh 两套端到端脚本；证据见
docs/WIKI_CO_TRANSPORT_ACCEPTANCE.md。
2026-09-30 10:54:07 +08:00
822896ea6c
fix(fetch): 钉钉空文档显式报 empty_document
...
DingTalk exports empty online documents to valid but contentless docx/xlsx;
WeKnora then rejects them with a generic remote_parse_failed. Detect blank
exports (no text, no embedded media) at fetch time and report the cause in
Chinese, and add the matching dead-letter hint.
2026-09-30 10:54:07 +08:00
257be88ecf
fix(fetch): UTF-8 sniff boundary must not reject valid documents
...
validate_magic read exactly 4096 bytes and strict-decoded them; a multibyte
character straddling the boundary made perfectly valid .md/.txt files fail
with invalid_format. Only tolerate 'unexpected end of data' when the file
actually continues past the sniff window; genuinely corrupt bytes still fail.
2026-09-30 10:54:07 +08:00
b3c9331966
feat(ingest): 源与目录文件名过滤及钉钉文档导出
...
- filename_filter_rules table (000035) with source-root and per-directory rows
- additive inheritance: source default + every ancestor directory contributes
- filename_is_filtered() SQL predicate applied to catalog browsing, subtree
counts, change-set diffing, routing fan-out and artifact fetch manifests
- fetch_state 'filtered' (CHECK extended); reconcile cancels/restores fetch
jobs, retires planned publications and blocks items when rules change
- GET/PUT/DELETE /api/v1/filename-filters (Idempotency-Key, normalized
extensions) + Settings and Catalog filter editors
- failJobSQL no longer swallows the claimed row when the failure projection
upserts (fixes spurious 'lease lost' retries)
- DingTalk live fetch: adoc/axls now use the export-job pipeline (HTTP 403
from file/download fixed), header-signature downloads supported
2026-09-30 10:54:07 +08:00
e60b10256a
fix(settings): add DingTalk spaces and render the real login QR
...
Address two gaps in the first DingTalk-session UI:
- add an explicit admin-only '+ 新增钉钉知识库' action on the data-source
panel; it accepts an alidocs space URL, resolves the live name/root through
the authenticated sidecar, writes the inventory root atomically, upserts a
deterministic source connection, and enqueues its first catalog refresh
- read DingTalk's real QR canvas pixels rather than taking a DOM screenshot;
select by dark-pixel content, composite onto a white quiet zone, and render
at 320x320 so the dialog contains a large complete code, not a page thumbnail
The live refresh path resolves registered roots from the connection locator,
while existing name-based DingTalk sources remain compatible.
2026-09-30 10:54:07 +08:00
c2d093bc90
fix(fetch): AList download route authenticates with x-api-token
...
This AList deployment (sales.dobotoa.cn family) only recognizes x-api-token on
the /p/ download route; an Authorization header gets 302'd to login.dingtalk.com.
Probe x-api-token first, fall back to Authorization, then fail-closed.
2026-09-30 10:54:07 +08:00
63f3b2c503
feat(governance): policy-driven ingestion from catalog annotations
...
Annotation in 来源与目录 is now the only import decision surface:
- migration 000033: catalog_import_intents (durable, rescan-proof per-file
intent with locator snapshot + fetch lifecycle), source_items.policy_state,
planned publication state, ui_setting_revisions.ingestion_concurrency
- marking fans a folder decision out to per-file intents, materializes
versioned items, reuses already-verified local bytes (compare, don't pull),
and plans one publication per routed KB; blocked retires planned rows
while live publications stay untouched (需下架 shows in the KB diff)
- artifact.fetch worker lane (scripts/artifact_fetch.py): DingTalk export
tree/live box API, AList /api/fs/get direct download with SSO-redirect
fail-closed, PP ledger via locator hash; content-level dedupe on sha256
- 开始处理 promotes planned->pending inside the claim-time concurrency budget
from system settings; claims enforce it in SQL
- monitor overview rebuilt as knowledge-base diff: planned/needs_removal per
KB + fetch pipeline summary; frontend lanes 待入库/需下架 replace the
deprecated snapshot change-set confirmation
- spool: images (png/jpg/gif/bmp/webp) accepted, ppt/pptx rejected in favour
of PDF twins; DingTalk PPT resolves its converted PDF pair
2026-09-30 10:54:07 +08:00
zheromiku
dcdc8d1ddd
feat: 知识治理平台(含已验证发布/回滚契约)
...
全栈知识治理平台首次入库（P1-P10 + 发布链路模拟验证闭环）：
- 治理核心：源目录/变更集/人工审核/发布批次/发布执行（fail-closed 闸口）
- 测试通道：WeKnora 测试 KB 上传/轮询/验收；poll 完成时写入
parser_generation/index_generation，修复 manual/seed 路径发布闸口永久拦截
- 发布适配器 v071（本地 source=测试角色 / 云端 target=生产角色 模拟验证通过）：
* ES 导出/导入 mapping 自适应（.keyword 子字段、可选 tenant_id）
* OSS locator 支持嵌套 scheme；chunks.seq_id 由目标序列分配
* bundle 归档同身份重试原子替换；verifier 按 bundle chunk_type 计数
* 回滚 job payload 支持 prior_execution_id（strict 解码）
- 三通道发布+回滚演练实测：publish 4/4 verified，检索命中，
rollback 4/4 rolled_back，目标端 PG is_enabled=false、ES is_enabled=false
- 前端 A·Data-console 风格全站统一，120 用例通过
- 门禁：go vet / go test 全包通过，gofmt 干净
2026-09-30 10:54:06 +08:00
姚章浩
zheromiku