fix(retriever/doris): code review cleanup
针对 4cce6f2e(接入 Apache Doris)的 code review 修复,主要修正若干阻断性 问题与可读性问题,并剔除不应进入主仓的本地工作流文件。 阻断性修复: - docker-compose: Doris 镜像由 2.1.0 升至 4.1.0。原 2.1.0 不支持 HNSW ANN、cosine_distance_approximate 与 Stream Load partial_columns, 按当前 DDL 一启动就会失败。 - DSN 字面量拼接改用 mysql.Config.FormatDSN()。原 fmt.Sprintf 在用户名/ 密码包含 `@`/`:`/`/` 等字符时会跑偏。覆盖 health check 与 engine factory 两处。 健壮性修复: - 新增 validateEmbedding,写入与查询前拒绝 NaN/±Inf;strconv.FormatFloat 对非有限值会输出 "NaN"/"+Inf" 拼成无效 SQL。 - waitANNReady 改为后台 goroutine + 独立 context,避免新维度首次写入路径 阻塞最长 30s;ANN 未就绪时 Doris 会自动退化为 brute-force。 清理: - annIndexReady 移除最终两个分支都 return true 的冗余写法。 - Save 移除冗余的双重 toDorisVectorEmbedding。 - testDorisConnection 把 "5.7.99 Doris-4.1.0" 解析为裸 "4.1.0",与 Postgres/ES 的版本格式对齐。 剔除(不应合入主仓): - docs/wiki/集成扩展/Doris改动与上游同步.md:纯 fork 维护工作流文档。 - scripts/e2e-doris.sh:作者本地 E2E 验证清单。 测试: - repository_test 用 require.Eventually 适配 ANN 异步轮询。 - 现有 doris 单测全部通过。
This commit is contained in:
@@ -1,73 +0,0 @@
|
||||
#!/usr/bin/env bash
|
||||
# Doris 4.1 端到端联调脚本
|
||||
#
|
||||
# 该脚本验证:
|
||||
# 1) 后端启动正常
|
||||
# 2) 通过 API 创建 Doris VectorStore
|
||||
# 3) 上传知识、写入索引
|
||||
# 4) 向量检索 + 关键词检索
|
||||
# 5) 关闭单个 chunk 后再检索(验证 BatchUpdateChunkEnabledStatus 走 Stream Load)
|
||||
#
|
||||
# 使用前置条件:
|
||||
# - docker compose --profile doris up -d 先把 Doris 起来
|
||||
# - 在 FE 上 CREATE DATABASE weknora;
|
||||
# - export RETRIEVE_DRIVER=doris && make run (或 docker compose up app)
|
||||
#
|
||||
# 这是"checklist-as-script",按需要手动逐段执行。
|
||||
set -euo pipefail
|
||||
|
||||
WEKNORA_API="${WEKNORA_API:-http://localhost:8080}"
|
||||
DORIS_FE_HOST="${DORIS_FE_HOST:-127.0.0.1}"
|
||||
DORIS_FE_HTTP_PORT="${DORIS_FE_HTTP_PORT:-8030}"
|
||||
DORIS_FE_MYSQL_PORT="${DORIS_FE_MYSQL_PORT:-9030}"
|
||||
|
||||
step() { printf '\n\033[1;36m==> %s\033[0m\n' "$*"; }
|
||||
|
||||
step "1. 检查 Doris FE 端口可达"
|
||||
nc -zv "$DORIS_FE_HOST" "$DORIS_FE_HTTP_PORT"
|
||||
nc -zv "$DORIS_FE_HOST" "$DORIS_FE_MYSQL_PORT"
|
||||
|
||||
step "2. 在 FE 上确认 weknora 库存在"
|
||||
docker exec WeKnora-doris-fe \
|
||||
mysql -h 127.0.0.1 -P 9030 -uroot \
|
||||
-e "CREATE DATABASE IF NOT EXISTS weknora; SHOW DATABASES;"
|
||||
|
||||
step "3. 通过 WeKnora API 创建 Doris VectorStore"
|
||||
curl -fsS -X POST "$WEKNORA_API/api/v1/vector-stores" \
|
||||
-H 'Content-Type: application/json' \
|
||||
-d '{
|
||||
"name": "doris-local",
|
||||
"engine_type": "doris",
|
||||
"connection_config": {
|
||||
"addr": "doris-fe:9030",
|
||||
"http_port": 8030,
|
||||
"database": "weknora",
|
||||
"username": "root",
|
||||
"password": ""
|
||||
},
|
||||
"index_config": {
|
||||
"collection_prefix": "weknora_embeddings",
|
||||
"buckets_num": 5,
|
||||
"replication_num": 1
|
||||
}
|
||||
}'
|
||||
|
||||
step "4. 上传一个简单知识库(这一步交给前端 UI 完成更省事)"
|
||||
echo "在前端 UI 切到刚才创建的 Doris VectorStore,新建知识库并上传一篇 PDF。"
|
||||
echo "或者用 curl + /api/v1/knowledges 调用 API。"
|
||||
|
||||
step "5. 在 FE 上验证表已建好"
|
||||
docker exec WeKnora-doris-fe \
|
||||
mysql -h 127.0.0.1 -P 9030 -uroot \
|
||||
-e "USE weknora; SHOW TABLES LIKE 'weknora_embeddings_%'; SHOW INDEX FROM weknora_embeddings_768;"
|
||||
|
||||
step "6. 检索验证"
|
||||
echo "在前端发起检索(向量 + 关键词),确认有命中。"
|
||||
echo "命中后到 FE 上查 SELECT COUNT(*) FROM weknora_embeddings_<dim>;"
|
||||
|
||||
step "7. 状态批改验证"
|
||||
echo "在前端把某个 chunk 关闭,再次发起检索,确认该 chunk 不再返回。"
|
||||
echo "FE 上确认 SELECT id, is_enabled FROM weknora_embeddings_<dim> WHERE chunk_id = '<id>';"
|
||||
|
||||
echo
|
||||
echo "全部步骤完成 → 联调通过"
|
||||
Reference in New Issue
Block a user