feat(retriever): 接入 Apache Doris 4.1 作为向量数据库
为 RetrieveEngine 体系新增 Doris 后端,与现有 Qdrant/Milvus/Weaviate
等保持完整能力对齐:向量检索、关键词检索、健康检查、环境变量与多实例
DB 配置、前端类型注册、单元测试、Docker Compose 模板。
实现要点:
- 协议分工:主链路用 MySQL 协议(database/sql + go-sql-driver/mysql)
做 DDL / 查询 / 删除;批量更新走 Stream Load HTTP API,并启用
partial_update=true、merge_type=APPEND,自动按 1MiB 切分批次并处理
307 重定向。
- 表结构:UNIQUE KEY(id) + enable_unique_key_merge_on_write=true 以
支持 upsert/部分列更新;按维度分表(<base>_<dim>),每张表上建
HNSW ANN 索引(metric_type=cosine_distance)和 INVERTED 索引
(parser=chinese)。
- 分数语义:使用 cosine_distance_approximate,再以 1 - dist 转换为
"越大越相似",与现有 KVHybridRetrieveEngine 约定一致。
- 异步索引:ANN 索引为后台构建,ensureTable 通过轮询 SHOW INDEX 等
待索引就绪后再放行写入,避免首次检索召回为空。
- ARRAY<FLOAT> 序列化:go-sql-driver/mysql 不支持数组占位符,
embeddingLiteral 将 []float32 转成 SQL 字面量字符串再拼接。
新增文件:
- internal/application/repository/retriever/doris/{structs,schema,
query,repository,streamload,repository_test}.go
- scripts/e2e-doris.sh:E2E 验证清单
- docs/wiki/集成扩展/Doris改动与上游同步.md:fork-and-rebase 工作流
与改动清单
修改文件(接线 + 文档):
- internal/types/{retriever,tenant,vectorstore}.go:新增
DorisRetrieverEngineType、env 解析、表单 schema 与索引参数校验
- internal/container/{container,engine_factory}.go:环境变量驱动
与 VectorStore 配置驱动两条路径都支持 Doris
- internal/application/service/vectorstore{,_healthcheck}.go:连接
校验 + Ping/Version 健康检查
- docker-compose.yml:新增 doris-fe / doris-be 服务(profile=doris)
- .env.example:DORIS_* 环境变量与示例
- docs/{使用其他向量数据库,wiki/集成扩展/集成向量数据库}.md:
使用说明与索引/分数行为说明
依赖:go.mod/go.sum 新增 github.com/go-sql-driver/mysql(运行时)和
github.com/DATA-DOG/go-sqlmock(测试)。
测试:repository 层 SQL 形状、Stream Load HTTP 行为、whereBuilder
逻辑、embeddingLiteral 往返、健康检查错误路径均有单测覆盖。
This commit is contained in:
@@ -107,6 +107,12 @@ services:
|
||||
- WEAVIATE_SCHEME=${WEAVIATE_SCHEME:-http}
|
||||
- WEAVIATE_AUTH_ENABLED=${WEAVIATE_AUTH_ENABLED:-false}
|
||||
- WEAVIATE_API_KEY=${WEAVIATE_API_KEY:-}
|
||||
- DORIS_ADDR=${DORIS_ADDR:-doris-fe:9030}
|
||||
- DORIS_HTTP_PORT=${DORIS_HTTP_PORT:-8030}
|
||||
- DORIS_DATABASE=${DORIS_DATABASE:-weknora}
|
||||
- DORIS_USERNAME=${DORIS_USERNAME:-root}
|
||||
- DORIS_PASSWORD=${DORIS_PASSWORD:-}
|
||||
- DORIS_TABLE_PREFIX=${DORIS_TABLE_PREFIX:-weknora_embeddings}
|
||||
- STORAGE_TYPE=${STORAGE_TYPE:-}
|
||||
- LOCAL_STORAGE_BASE_DIR=${LOCAL_STORAGE_BASE_DIR:-}
|
||||
- AUTO_RECOVER_DIRTY=${AUTO_RECOVER_DIRTY:-true}
|
||||
@@ -366,6 +372,58 @@ services:
|
||||
profiles:
|
||||
- weaviate
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# Apache Doris 4.1(FE + BE 单实例 standalone 部署,opt-in via `--profile doris`)
|
||||
#
|
||||
# 端口说明:
|
||||
# - 9030 (FE MySQL):WeKnora 主链路读写、SQL 查询都走此端口。
|
||||
# - 8030 (FE HTTP):Stream Load partial update 入口。
|
||||
# - 8040 (BE) :BE 心跳与数据传输;FE 会把 stream load 重定向到 BE。
|
||||
#
|
||||
# 启用方式:
|
||||
# docker compose --profile doris up -d
|
||||
#
|
||||
# 数据持久化在 doris_fe_data / doris_be_data 卷中。
|
||||
# ---------------------------------------------------------------------------
|
||||
doris-fe:
|
||||
image: apache/doris:fe-2.1.0
|
||||
container_name: WeKnora-doris-fe
|
||||
hostname: doris-fe
|
||||
environment:
|
||||
- FE_SERVERS=fe1:doris-fe:9010
|
||||
- FE_ID=1
|
||||
ports:
|
||||
- "${DORIS_FE_HTTP_PORT:-8030}:8030"
|
||||
- "${DORIS_FE_MYSQL_PORT:-9030}:9030"
|
||||
volumes:
|
||||
- doris_fe_meta:/opt/apache-doris/fe/doris-meta
|
||||
- doris_fe_log:/opt/apache-doris/fe/log
|
||||
networks:
|
||||
- WeKnora-network
|
||||
restart: unless-stopped
|
||||
profiles:
|
||||
- doris
|
||||
|
||||
doris-be:
|
||||
image: apache/doris:be-2.1.0
|
||||
container_name: WeKnora-doris-be
|
||||
hostname: doris-be
|
||||
environment:
|
||||
- FE_SERVERS=fe1:doris-fe:9010
|
||||
- BE_ADDR=doris-be:9050
|
||||
depends_on:
|
||||
- doris-fe
|
||||
ports:
|
||||
- "${DORIS_BE_HTTP_PORT:-8040}:8040"
|
||||
volumes:
|
||||
- doris_be_storage:/opt/apache-doris/be/storage
|
||||
- doris_be_log:/opt/apache-doris/be/log
|
||||
networks:
|
||||
- WeKnora-network
|
||||
restart: unless-stopped
|
||||
profiles:
|
||||
- doris
|
||||
|
||||
dex:
|
||||
image: dexidp/dex:latest
|
||||
container_name: dex
|
||||
@@ -611,6 +669,10 @@ volumes:
|
||||
qdrant_data:
|
||||
milvus_data:
|
||||
weaviate_data:
|
||||
doris_fe_meta:
|
||||
doris_fe_log:
|
||||
doris_be_storage:
|
||||
doris_be_log:
|
||||
langfuse_clickhouse_data:
|
||||
langfuse_clickhouse_logs:
|
||||
langfuse_minio_data:
|
||||
|
||||
Reference in New Issue
Block a user