Weknora/knowledge-governance
4
0
Fork 0
Code Issues 2 Pull Requests 5 Actions Packages Projects Releases 1 Wiki Activity
89 Commits 11 Branches 57 Tags
2fcd0ed68447b8ee2630c9be27d90bbf7992a2e9
Commit Graph

10 Commits

Author SHA1 Message Date
姚章浩 c04abd6530 style(go): 清掉存量 gofmt（6 个文件的字段对齐与文件末尾换行） 
接入格式门禁前先量了一次存量：gofmt -l 在 295 个被跟踪的 .go 文件里报 6 个，
全是字段对齐与缺文件末尾换行这类机械问题。先一次性清干净，门禁接上后 Go 侧一条都不欠。

为什么独立一个提交：格式清理混进功能改动会让 diff 无法 review（正本要求存量清理独立提交）。
验证：gofmt -l 对被跟踪的 .go 文件输出为空；go vet 与 go test 全过。
 2026-10-12 00:10:31 +08:00
姚章浩 e00cab2f70 feat(settings): 数据源配置改成「列出来、勾选、变成来源」，并去掉文件格式筛选 
用户对 系统设置 → 数据源配置 的四条要求：
① 这里不要做文件格式筛选（格式归目录级标注决定）；
② 列出我账号下能看到的知识库；③ 列出钉盘能看到哪些；④ 勾选那些作为来源。

① 来源卡片不再渲染 FilenameFilterEditor（目录级筛选仍在「来源与目录」里，按目录就近覆盖）。
②③ 新端点 GET /api/v1/dingtalk-spaces/available（管理员，只读）：用 dws 列举
   - 知识库：wiki +space-list --type orgWikiSpace/myWikiSpace（实测 17 + 1 个）
   - 钉盘：wiki space list --type mySpace/orgSpace（实测 我的文件 + 6 个组织空间）
   实测约束写进命令形态：--limit 上限是 50；翻页必须 --page-all（--max-items 兜底），
   否则超过一页的知识库会被静默截断（被截断时页面显示"可能不全"而不是假装列全）。
   列不出来 ≠ 空列表：dws 未登录/权限不足 → 503 + 原因；某一类失败只丢那一类。
④ 面板勾选后走既有登记路径（/api/v1/dingtalk-spaces），首次目录扫描自动排队；
   已登记的按空间名标「已是来源」并禁用勾选；扫码会话失效时直接弹二维码，扫完自动重试。

基础设施：api 与 worker 共享同一份 dws 状态（bind mount 同一份，refresh token 是轮换制，
不能各留一份）。子进程 HOME 必须指向 DWS_HOME —— 这条是实测踩出来的：漏了会报"未登录"，
已有回归测试钉住。dws 子进程沿用白名单环境，库口令等变量不进子进程。

测试：新包 internal/dingtalkdiscovery（fixture 用真实 dws 输出形状）：paging 约束、
截断提示、一类失败不连带、全部失败→ErrUnavailable、子进程环境；httpapi 侧 401/501/503/500
与不泄漏内部错误；OpenAPI 契约（400/503 组件）通过。前端 189 条 + tsc 干净。

面板实测：知识库（18）/钉盘（7）都列出来，已有三条钉钉来源自动标「已是来源」；
勾选「视觉文档」→ 加入为来源 → 新来源 sc-8a4be5b8293d1c9a048c3c7e9b194155（dingtalk，enabled）
+ source.catalog.refresh 已完成。
 2026-10-10 16:46:39 +08:00
姚章浩 acf053faf3 feat(release): 建批时冻结 + 验收通过自动批准 —— 把"每份文档 8 步"砍掉两步并去掉两次卡死 
背景：发布管理把"逐条核验"的仪式强加给每一份文档。实测一份文档要 9~11 次交互，
且有两处顺序陷阱（冻结后批准 → 建批 422；生成即固化 → 批准被永久钉住）。

P0-1 建批时冻结：
- CreateReleaseBatch 在未指定版本时，自己把当前实时计划冻结成一份**已确认**版本并绑定
  （同一事务；同摘要复用最近版本，planned 或 confirmed 都可复用，因此同一份计划不堆版本）。
- 语义不变：批一旦建立，清单/摘要/验收轮次/目标库绑定全部不可变、回滚按它走；变的只是
  "谁在什么时候按固化键"——从操作员的手动两步变成建批这一下。
- 效果：去掉「生成新版本」「确认冻结」两步；消灭"批准晚于冻结 → 422"这类顺序陷阱；
  前端不再传版本 id，也不再有"所选知识不在冻结清单里"的阻断。
- 计划→清单项的映射抽成 ChangeSetItemsFromPlan 供两处共用，否则两处算出的摘要不同，
  "同一计划复用同一版本"永远不命中。

P0-2 验收通过自动批准：
- 验收三项结论达发布门槛（knowledge_exists/chunks_present=passed，retrieval_hit 与门槛同
  口径）时，由 worker 写入 reviewer_ref='system:auto' 的批准记录，替代"每份文档点一次批准"。
- 策略 TEST_AUTO_REVIEW_POLICY = off | internal（默认，仅对内）| all；值不认识拒绝启动。
  只影响审核这一步：生产授权、双闸与发布前快照门禁不受影响。界面上只读展示当前策略。
- 安全边界（写死在审核 SQL 里）：系统只允许写"第一条"审核——人工一旦表过态，机器不得用一条
  更晚的 approved 把人工结论翻回去；人工随时可再审。集成测试去掉该约束即 FAIL（已实测）。
- 自动批准自身的任何失败都不影响验收结论，只上报。

顺带（P1-1 前半，已被 P0-1 取代的部分已删除）：
- 写操作失败把服务端 {"error": ...} 的原因带出来，并对已知原因给出下一步（不再只给 HTTP 状态码）。
- 当前的"不在已冻结清单里"标注与就地修复按钮随 P0-1 一起移除（该失败模式已不存在）。

测试：bind_time_freeze_integration_test.go（绑定已确认版本/同计划复用/冻结后不可变/
动作不符仍 NotEligible）、auto_review_integration_test.go（系统只写第一条、人工可再审）、
validate_test.go（对内自动/对外不自动/策略关闭/验收未过不批/自身失败不影响验收）、
auto_review_test.go、config_test 及前端能力解析测试。
实测耗时：本机 Go 全量 26 包通过、前端 178 条通过。
 2026-10-10 15:05:20 +08:00
姚章浩 3f603aa293 feat(backup): 系统设置里的存储与备份——定时时间与储存天数可配、下发到目标主机 cron 
需求：整库逻辑备份做定时，但要在「系统设置 → 存储与备份」里设置定时时间与储存天数。

后端
- migration 000045 backup_schedule（单行：enabled/schedule_time/retention_days/retention_months/
  last_applied_*），store + 领域校验（HH:MM、1~365 天、0~24 月，非法值 400 且不落库不下发）
- internal/backuphost：通过 ssh 在目标主机上读回/下发计划并立即备份（未接线时 Available=false，
  页面降级提示；主机侧错误带输出回传）。最近一次只认有 MANIFEST.json 的完整目录，跳 *.incomplete
- 接口 GET/PUT /api/v1/backup-schedule、GET …/host、POST …/apply、POST …/run；
  写操作经 classifyRole 限管理员；run 为异步 202 + 在途单飞（http 写超时 30s，备份约 35s）
- openapi.yaml 补齐 5 条路由（契约测试要求每条都写 400/500）

主机侧
- scripts/install_backup_schedule.sh（幂等）：写 /etc/knowledge-governance/backup-schedule.env 与
  /etc/cron.d/kb-logical-backup，参数校验，--show/--disable，最后一行 SCHEDULE_APPLIED 供平台核对
- logical-backup.sh 从该文件读保留策略；失败或被中断把目录改名 *.incomplete，不留'像成功'的半成品
- install --show 只回显计划行（原先把 SHELL=/PATH= 当计划显示）

前端
- web/src/backupSchedule.ts（严格解析：缺计划字段即报错，不把默认值伪装成设置）
- BackupScheduleSection：容器 + 纯视图（管理员表单/只读、已一致/待下发、在途轮询）

运行前提（已落实）：运行镜像加 openssh-client，且容器 uid 1000 在 /etc/passwd 有名字
（否则 ssh 报 No user exists for uid 1000）；凭据只读挂载 secrets/backup-host（git 忽略）

实测：主机 cron 每天 03:30 / 保留 7 天 / 每月 3 份；立即备份一次 34 秒 / 742.7 MiB / 失败 0；
Go 与前端测试全绿（170 vitest）。
 2026-10-09 13:50:23 +08:00
姚章浩 6440e3f679 feat(release): 发布目标知识库可选（源库 → 目标库映射） 
- 迁移 000044：production_kb_bindings + release_item_executions.target_knowledge_base_id
- 系统设置新增「生产知识库绑定（对内/对外）」：从生产 WeKnora 实际列表选库，
  保存时真校验（不存在拒收；生产端不可达只提示并如实回报），仅管理员可改
- 执行计划按绑定解析目标库并冻结进 release_item_executions；空目标直接拒收；
  已发布过的条目保留原目标（重试/回滚回到同一处）
- DocumentBundle.RemapKnowledgeBase：knowledges/chunks/knowledge_tags/wiki_pages/
  wiki_folders 的 knowledge_base_id 与 ES 文档字段改写为目标库，重算表/文档摘要并重新封装
- 契约比对改为「声明的映射对」(KnowledgeBaseMapping)，其余字段继续 fail-closed
- 契约检查器 / 目标身份 / 验证器全部走映射后的目标库；对象通道无需改写
- Compose 拆分：数据面接线 compose.release-sim.yaml + 两道门禁 compose.release-gates.yaml
- 测试：RemapKnowledgeBase 全通道/无操作/fail-closed、映射契约、绑定接口、RBAC、真实 PG 集成
 2026-10-08 15:41:13 +08:00
姚章浩 1db21fb899 feat(settings): 服务配置四项化并保存时真校验 
- 生产/测试 WeKnora 地址、租户 ID、知识库 ID 由静态 env 收敛为版本化 UI 设置，保留修订号与操作人审计
- 新增 serviceverify：保存前真调目标端点探测，端点无效才拒绝；网络抖动或无凭据仅告警
- 迁移 000042（生产 WeKnora 端点）/000043（服务目标）；补齐设置候选与校验契约用例
 2026-09-30 10:54:07 +08:00
姚章浩 021e91eae4 feat(settings): bind internal/external knowledge bases from the UI 
Routing targets move from env-only to a UI-managed binding (migration
000034 routing_kb_bindings, single active row):
- GET/PUT /api/v1/routing-bindings + /options: env defaults act as the
  bootstrap fallback; a UI binding wins and takes effect immediately
  (per-request resolution, no restart), and clearing falls back to env
- PUT validates against the connected WeKnora instance (real knowledge
  base list via the scoped API key) and rejects same-KB bindings;
  saves require the admin role
- route/catalog capabilities now resolve through the binding so both
  annotation paths share one source of truth
- system settings > 服务配置 gains a 知识库绑定 panel: dropdown picker
  (or raw ID when WeKnora is unreachable) showing bound name, origin
  (UI vs env default) and last author
- contract tests: OpenAPI, handler matrix (fallback, validation,
  same-KB rejection, capability resolution), frontend fetch/save layer
 2026-09-30 10:54:07 +08:00
zheromiku f6cb90cd70 feat(web): login gate, session identity UI and member management 
- main.tsx 挂 AuthProvider 门控：未登录→登录页；must_change_password→强制改密页
- 登录页/改密页/顶栏身份（头像+姓名+角色徽章+退出）按 A·Data-console token 样式
- 全局 fetch 拦截器：任意业务请求 401 自动回登录页（会话过期/被撤销不留死表单）
- 系统设置新增「成员与角色」分区（仅 admin 可见）：名单、角色调整、启停、重置临时密码、新增成员
- 消灭全部手填操作人：审核/封批/确认计划集/范围规则/来源调度/UI 设置/开始处理/批量重试/
  目录差异确认共 9 处输入框删除，请求体不再携带 actor 字段（服务端从会话注入）
- 测试断言方向翻转：显式验证请求体不含 operator_ref/created_by 等字段
- 附带修复：登录失败计数 SQL 参数类型无法推断导致 500（pgx 扩展协议），显式 cast 解决

前端门禁：tsc 0 错、125 用例全绿、build 通过
 2026-09-30 10:54:07 +08:00
zheromiku fbe80ad784 feat(auth): accounts, sessions, RBAC and server-stamped actors 
上线账号权限管理（后端）：
- 迁移 000032：users + user_sessions（token 只存 sha256，服务端可即时撤销）
- bcrypt 密码、8 次失败锁 15 分钟、统一 401 错误防用户名枚举
- 三角色 viewer/engineer/admin；HttpOnly+SameSite=Lax 会话 cookie，滑动续期
- 强制改密锁定：must_change_password 会话只能走 auth 端点；首登 dobotai
- bootstrap：users 表为空时创建 admin（初始密码 dobotai，强制改密）
- 生产双闸授权/回滚/失败重试收敛为 admin 角色；AuthorizedBy 用会话身份
- 全部业务写端点删除手填 actor 字段（operator_ref/reviewer_ref/created_by/
  sealed_by/confirmed_by），服务端从会话注入；auth 关闭的开发 socket 回退 system
- 成员管理 API：列表/创建/改角色/启停/重置密码，最后一名 active admin 保护
- RBAC 矩阵纯函数契约测试 + 中间件行为测试（登录/锁定/角色/审计戳）
- 附带修复：GET /api/v1/users 曾被 GET=viewer 规则误放行（测试抓到）
 2026-09-30 10:54:07 +08:00
zheromiku dcdc8d1ddd feat: 知识治理平台(含已验证发布/回滚契约) 
全栈知识治理平台首次入库（P1-P10 + 发布链路模拟验证闭环）：

- 治理核心：源目录/变更集/人工审核/发布批次/发布执行（fail-closed 闸口）
- 测试通道：WeKnora 测试 KB 上传/轮询/验收；poll 完成时写入
  parser_generation/index_generation，修复 manual/seed 路径发布闸口永久拦截
- 发布适配器 v071（本地 source=测试角色 / 云端 target=生产角色 模拟验证通过）：
  * ES 导出/导入 mapping 自适应（.keyword 子字段、可选 tenant_id）
  * OSS locator 支持嵌套 scheme；chunks.seq_id 由目标序列分配
  * bundle 归档同身份重试原子替换；verifier 按 bundle chunk_type 计数
  * 回滚 job payload 支持 prior_execution_id（strict 解码）
- 三通道发布+回滚演练实测：publish 4/4 verified，检索命中，
  rollback 4/4 rolled_back，目标端 PG is_enabled=false、ES is_enabled=false
- 前端 A·Data-console 风格全站统一，120 用例通过
- 门禁：go vet / go test 全包通过，gofmt 干净
 2026-09-30 10:54:06 +08:00