fix(retriever/doris): code review cleanup

针对 4cce6f2e(接入 Apache Doris)的 code review 修复,主要修正若干阻断性
问题与可读性问题,并剔除不应进入主仓的本地工作流文件。

阻断性修复:
- docker-compose: Doris 镜像由 2.1.0 升至 4.1.0。原 2.1.0 不支持 HNSW
  ANN、cosine_distance_approximate 与 Stream Load partial_columns,
  按当前 DDL 一启动就会失败。
- DSN 字面量拼接改用 mysql.Config.FormatDSN()。原 fmt.Sprintf 在用户名/
  密码包含 `@`/`:`/`/` 等字符时会跑偏。覆盖 health check 与 engine
  factory 两处。

健壮性修复:
- 新增 validateEmbedding,写入与查询前拒绝 NaN/±Inf;strconv.FormatFloat
  对非有限值会输出 "NaN"/"+Inf" 拼成无效 SQL。
- waitANNReady 改为后台 goroutine + 独立 context,避免新维度首次写入路径
  阻塞最长 30s;ANN 未就绪时 Doris 会自动退化为 brute-force。

清理:
- annIndexReady 移除最终两个分支都 return true 的冗余写法。
- Save 移除冗余的双重 toDorisVectorEmbedding。
- testDorisConnection 把 "5.7.99 Doris-4.1.0" 解析为裸 "4.1.0",与
  Postgres/ES 的版本格式对齐。

剔除(不应合入主仓):
- docs/wiki/集成扩展/Doris改动与上游同步.md:纯 fork 维护工作流文档。
- scripts/e2e-doris.sh:作者本地 E2E 验证清单。

测试:
- repository_test 用 require.Eventually 适配 ANN 异步轮询。
- 现有 doris 单测全部通过。
This commit is contained in:
wizardchen
2026-05-09 00:27:39 +08:00
committed by lyingbug
parent 4cce6f2e99
commit fc6f160eff
9 changed files with 101 additions and 406 deletions
-73
View File
@@ -1,73 +0,0 @@
#!/usr/bin/env bash
# Doris 4.1 端到端联调脚本
#
# 该脚本验证:
# 1) 后端启动正常
# 2) 通过 API 创建 Doris VectorStore
# 3) 上传知识、写入索引
# 4) 向量检索 + 关键词检索
# 5) 关闭单个 chunk 后再检索(验证 BatchUpdateChunkEnabledStatus 走 Stream Load)
#
# 使用前置条件:
# - docker compose --profile doris up -d 先把 Doris 起来
# - 在 FE 上 CREATE DATABASE weknora;
# - export RETRIEVE_DRIVER=doris && make run (或 docker compose up app)
#
# 这是"checklist-as-script",按需要手动逐段执行。
set -euo pipefail
WEKNORA_API="${WEKNORA_API:-http://localhost:8080}"
DORIS_FE_HOST="${DORIS_FE_HOST:-127.0.0.1}"
DORIS_FE_HTTP_PORT="${DORIS_FE_HTTP_PORT:-8030}"
DORIS_FE_MYSQL_PORT="${DORIS_FE_MYSQL_PORT:-9030}"
step() { printf '\n\033[1;36m==> %s\033[0m\n' "$*"; }
step "1. 检查 Doris FE 端口可达"
nc -zv "$DORIS_FE_HOST" "$DORIS_FE_HTTP_PORT"
nc -zv "$DORIS_FE_HOST" "$DORIS_FE_MYSQL_PORT"
step "2. 在 FE 上确认 weknora 库存在"
docker exec WeKnora-doris-fe \
mysql -h 127.0.0.1 -P 9030 -uroot \
-e "CREATE DATABASE IF NOT EXISTS weknora; SHOW DATABASES;"
step "3. 通过 WeKnora API 创建 Doris VectorStore"
curl -fsS -X POST "$WEKNORA_API/api/v1/vector-stores" \
-H 'Content-Type: application/json' \
-d '{
"name": "doris-local",
"engine_type": "doris",
"connection_config": {
"addr": "doris-fe:9030",
"http_port": 8030,
"database": "weknora",
"username": "root",
"password": ""
},
"index_config": {
"collection_prefix": "weknora_embeddings",
"buckets_num": 5,
"replication_num": 1
}
}'
step "4. 上传一个简单知识库(这一步交给前端 UI 完成更省事)"
echo "在前端 UI 切到刚才创建的 Doris VectorStore,新建知识库并上传一篇 PDF。"
echo "或者用 curl + /api/v1/knowledges 调用 API。"
step "5. 在 FE 上验证表已建好"
docker exec WeKnora-doris-fe \
mysql -h 127.0.0.1 -P 9030 -uroot \
-e "USE weknora; SHOW TABLES LIKE 'weknora_embeddings_%'; SHOW INDEX FROM weknora_embeddings_768;"
step "6. 检索验证"
echo "在前端发起检索(向量 + 关键词),确认有命中。"
echo "命中后到 FE 上查 SELECT COUNT(*) FROM weknora_embeddings_<dim>;"
step "7. 状态批改验证"
echo "在前端把某个 chunk 关闭,再次发起检索,确认该 chunk 不再返回。"
echo "FE 上确认 SELECT id, is_enabled FROM weknora_embeddings_<dim> WHERE chunk_id = '<id>';"
echo
echo "全部步骤完成 → 联调通过"