2c7265efc4
feat(sources): 数据源配置收敛成 dws 导入 + PP 导入；「去掉来源」= 归档下架（不删数据）
...
build / build (push) Successful in 58s
主人要求：去掉入口，统一成 dws 导入与 PP 导入；其他来源连数据一起下架，之后用 dws 重新获取。
界面（web）：
- 「数据源配置」只剩两块：**dws 导入（钉钉）**（按当前钉钉账号列出可访问的知识库与钉盘空间）
与 **PP 导入**（PP 资料下载中心）。上一步加的「显示 AList／钉钉知识库来源」折叠开关删除。
- 来源卡片新增管理员可见的「去掉来源」（带确认弹窗，说明是归档下架、数据保留可恢复）。
- 侧栏文案改成"只留两个入口"；发现面板标题改为「dws 导入（钉钉）」。
后端（归档语义，可逆）：
- 迁移 000047：source_connections 增 archived_at / archived_by + 只覆盖未归档行的部分索引。
- store：ArchiveSourceConnection / RestoreSourceConnection（幂等；归档同时停用并清空
next_refresh_at，避免被手工改回后立刻带着旧调度跑）。列表、目录、计划刷新（claimDue）、
手动扫描（triggerBlock/inspect）四类查询一律排除归档行。
- 注册路径（dws 重新获取）：RegisterDingtalkSpace 的 ON CONFLICT 清掉归档标记 ——
重新登记同一个空间**原地复活同一行**，不产生重复，历史快照仍属于同一行。
- HTTP：POST /api/v1/source-connections/{id}/archive|restore（管理员专属，写意图头
source-archive / source-restore + Idempotency-Key；404 区分"不存在"与"已是目标状态"）；
openapi 同步两条契约。
验证：
- 集成测试（真 postgres）：归档从列表消失但 source_items 一行不少、重复归档不漂移归档时间与人、
未知 ID 报 ErrSourceConnectionNotFound、归档来源不能再被扫描、恢复后回到列表但保持停用；
dws 重新登记同一空间复活同一行。
- httpapi：写意图/幂等键门禁、200/403/404/500、错误体不回显内部细节、classifyRole 管理员专属。
- 迁移护栏：000047 结构 + 四类 SQL 必须含 archived_at is null（漏一条就是入口没去掉）。
- make verify 15/15。
2026-10-14 12:36:32 +08:00
1283f65a95
feat(catalog): 首次扫描中的来源也出现在「来源与目录」，并显示实时进度
...
用户反馈：加了钉盘来源后「来源与目录」里看不到。根因不是丢数据，而是列表只列"已经有快照"
的来源 —— 首次扫描要几分钟到几十分钟（钉盘空间 2900+ 个文件夹），这段时间页面上什么都没有。
- 新 Store 方法 ListCatalogScanProgress：已启用 + 还没有 catalog head + 有在跑/排队的
source.catalog.refresh（三条件同时成立）。进度直接取 worker 写在任务载荷里的同一份计数
（progress/message/scanned_directories/discovered_directories/scanned_files），不另立口径。
- /api/v1/source-catalog/sources 在既有列表后追加这些行（snapshot_status="scanning" +
scan_progress/scan_message）。走窄接口按需接线：未接线时安静跳过，不会把旧列表弄坏。
- 前端：左列显示「首次扫描中 44%」，选中后是进度面板（百分比 + 进度条 + 当前文案 +
已发现文件数），并说明"扫完自动出现目录"；有来源在扫描时每 3 秒自动刷新列表，
扫完那一行自动变成「本地只读快照」。扫描中不拉目录节点、也不显示标注/格式入口。
- 解析器保持严格：snapshot_status 只接受 ready/scanning，scanning 必须带 scan_progress，
否则整包拒绝 —— 不给"假装 0%"的机会。
测试：postgres 集成测试（真库）覆盖四种不该出现的来源（停用、已有快照、任务类型不符、
历史上已完成的那次任务）；前端 parser + 渲染各一条；Go 全绿、前端 192 条 + tsc 干净。
面板实测：左列「公司级营销资料管理 · 首次扫描中 44%」，主区「首次扫描中 · 44% /
正在扫描目录：已完成 1540 个文件夹 / 已发现约 4934 份文件」。
2026-10-10 17:04:59 +08:00
c84f848849
perf(catalog): resolve filename filters once per query, not per row
...
The 000036 evaluator probes the rules table and runs two regexes for every
catalog file row; the first-level page of the 8k-file education source took
2.5-5s per query and the browser hung on 'reading first-level directory'.
- source_catalog_nodes gains a STORED generated ext column (000038)
- catalog_filter_context() resolves the connection's source-level allow/
exclude sets once; hot queries match node.ext against arrays (000039)
- filename_is_filtered stays the exact fallback, used only when the
connection has directory-scoped rules
- ListCatalogSources, ListCatalogNodes (current/subtree/total/items) and
RouteCatalogFiles fan-out adopt the fast path
Education root page: 4770ms -> 12ms; all-source counts: 54ms.
2026-09-30 10:54:07 +08:00
b3c9331966
feat(ingest): 源与目录文件名过滤及钉钉文档导出
...
- filename_filter_rules table (000035) with source-root and per-directory rows
- additive inheritance: source default + every ancestor directory contributes
- filename_is_filtered() SQL predicate applied to catalog browsing, subtree
counts, change-set diffing, routing fan-out and artifact fetch manifests
- fetch_state 'filtered' (CHECK extended); reconcile cancels/restores fetch
jobs, retires planned publications and blocks items when rules change
- GET/PUT/DELETE /api/v1/filename-filters (Idempotency-Key, normalized
extensions) + Settings and Catalog filter editors
- failJobSQL no longer swallows the claimed row when the failure projection
upserts (fixes spurious 'lease lost' retries)
- DingTalk live fetch: adoc/axls now use the export-job pipeline (HTTP 403
from file/download fixed), header-signature downloads supported
2026-09-30 10:54:07 +08:00
zheromiku
dcdc8d1ddd
feat: 知识治理平台(含已验证发布/回滚契约)
...
全栈知识治理平台首次入库（P1-P10 + 发布链路模拟验证闭环）：
- 治理核心：源目录/变更集/人工审核/发布批次/发布执行（fail-closed 闸口）
- 测试通道：WeKnora 测试 KB 上传/轮询/验收；poll 完成时写入
parser_generation/index_generation，修复 manual/seed 路径发布闸口永久拦截
- 发布适配器 v071（本地 source=测试角色 / 云端 target=生产角色 模拟验证通过）：
* ES 导出/导入 mapping 自适应（.keyword 子字段、可选 tenant_id）
* OSS locator 支持嵌套 scheme；chunks.seq_id 由目标序列分配
* bundle 归档同身份重试原子替换；verifier 按 bundle chunk_type 计数
* 回滚 job payload 支持 prior_execution_id（strict 解码）
- 三通道发布+回滚演练实测：publish 4/4 verified，检索命中，
rollback 4/4 rolled_back，目标端 PG is_enabled=false、ES is_enabled=false
- 前端 A·Data-console 风格全站统一，120 用例通过
- 门禁：go vet / go test 全包通过，gofmt 干净
2026-09-30 10:54:06 +08:00
姚章浩
zheromiku