From fa7ae075ee8c8e735614ee834f64a0cec8e065b0 Mon Sep 17 00:00:00 2001 From: Greenplumwine <865730675@qq.com> Date: Tue, 21 Jul 2026 15:55:52 +0800 Subject: [PATCH] feat(compose): align env vars with code + fix helm GraphRAG bug (#2164) MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit * feat(compose): align env vars in docker-compose and .env.example with code docker-compose.yml / docker-compose.dev.yml - app.environment: remove deprecated vars Go app no longer reads (CRYPTO_MASTER_KEY, CRYPTO_SALT, TENANT_AES_KEY, ENABLE_GRAPH_RAG); add missing vars the code actually consumes (OSS/S3/TOS/COS completion, OpenSearch, Tencent VectorDB, Milvus credentials, Redis TLS/namespace, OIDC, audit/invitation/quota, LLM tuning, doc timeouts, etc.) - docreader.environment: complete PDF tuning knobs, SSRF/LOG_LEVEL/gRPC params, GRPC_MTLS_REQUIRE_CLIENT_CERT; fix DOCREADER_PDF_JPEG_QUALITY default 90 -> 85 to match code (config.py) - mcp.environment: add MCP_SERVER_AUTH_TOKEN (required by HTTP transport), WEKNORA_CHAT_TIMEOUT, WEKNORA_VERIFY_SSL, MCP_ALLOWED_UPLOAD_DIRS - dev compose docreader.environment kept symmetric with prod .env.example - reorganize into A-J sections (deploy / data / retrieval / models / parsing / auth / agent / integrations / observability / security) - remove the four deprecated vars, document why - add missing vars, fix NEO4J_URI to bolt:// (matches compose + single-node), fix DORIS_COMPAT_MODE typo, complete docreader PDF tuning defaults Co-Authored-By: Claude * fix(helm): inject NEO4J_ENABLE and drop deprecated TENANT_AES_KEY helm graph bug fix - NEO4J_ENABLE is the sole graph switch the Go app reads (since v0.1.6, ENABLE_GRAPH_RAG is no longer read). helm never injected NEO4J_ENABLE, so GraphRAG was silently broken: setting neo4j.enabled=true gave the app NEO4J_URI/USERNAME/PASSWORD but not the switch, and the UI rejected Node Extractor config with "请正确配置环境变量NEO4J_ENABLE". - app.yaml: inject NEO4J_ENABLE=true inside the neo4j.enabled block; remove the dead ENABLE_GRAPH_RAG injection - NOTES.txt: update GraphRAG instructions (just enable neo4j, no need to set the deprecated ENABLE_GRAPH_RAG) - values.yaml: drop ENABLE_GRAPH_RAG, fix neo4j section comment TENANT_AES_KEY cleanup (deprecated since v0.4.0, encryption now uses SYSTEM_AES_KEY exclusively; Go app no longer reads it) - secrets.yaml: stop generating/looking-up/writing TENANT_AES_KEY, fix stale comment about tenants.api_key rotation - app.yaml: remove TENANT_AES_KEY secretKeyRef - values.yaml: drop tenantAesKey, fix existingSecret key list + comments - cloud-image/firstboot.sh: stop generating/writing/printing TENANT_AES - cloud-image/README.md: drop TENANT_AES_KEY from credential list Co-Authored-By: Claude --------- Co-authored-by: Claude --- .env.example | 1308 ++++++++++++++---------------- docker-compose.dev.yml | 70 +- docker-compose.yml | 270 +++++- helm/templates/NOTES.txt | 5 +- helm/templates/app.yaml | 11 +- helm/templates/secrets.yaml | 13 +- helm/values.yaml | 26 +- scripts/cloud-image/README.md | 2 +- scripts/cloud-image/firstboot.sh | 3 - 9 files changed, 926 insertions(+), 782 deletions(-) diff --git a/.env.example b/.env.example index 4e30d8b9..c3346f1c 100644 --- a/.env.example +++ b/.env.example @@ -1,52 +1,602 @@ -# 使用说明 -# 1. 复制此文件为 .env -# 2. 替换所有占位符为实际值 -# 3. 确保 .env 文件不会被提交到版本控制系统 +# ===================================================================== +# WeKnora 环境变量配置示例 +# --------------------------------------------------------------------- +# 使用说明: +# 1. 复制此文件为 .env:cp .env.example .env +# 2. 替换所有占位符为实际值(尤其标 ⚠️ 必填 的项) +# 3. 确保 .env 不会被提交到版本控制 +# +# 配置注入机制: +# - app 服务通过 env_file: .env 读取本文件全部变量; +# - docreader / mcp / frontend / odl-hybrid 服务无 env_file,仅消费各自 +# environment 段显式列出的变量(见 docker-compose.yml)。 +# +# 分组顺序: +# A. 部署基础 镜像、运行时、网络 +# B. 数据与存储 数据库、Redis、文件存储、对象存储 +# C. 检索与图谱 向量库、知识图谱 +# D. 模型 LLM/VLM/Ollama、内置模型 +# E. 文档解析 Docreader、任务超时 +# F. 认证与多租户 JWT/AES、注册、RBAC、OIDC +# G. Agent 与沙箱 Sandbox、Skills、Agent 超时 +# H. 可选集成 网络搜索、MCP Server +# I. 可观测性 Langfuse +# J. 安全与调优 SSRF、代理、并发 +# ===================================================================== -# ========== MCP Server ========== -# WeKnora API Key — 在 WeKnora 前端 "设置 → API Keys" 生成,供 MCP Server 访问 REST API -# WEKNORA_API_KEY= -# 对外暴露的 MCP Server 端口(默认 8082) + +# ##################################################################### +# A. 部署基础 +# ##################################################################### + +# ========== A1. 镜像版本与构建 ========== +# WeKnora 镜像版本标签:latest(稳定版)/ main(最新开发版)。 +# WEKNORA_VERSION=latest +# Alpine apk 镜像源(构建 app 镜像用,留空用默认源;国内可设 mirrors.tencent.com 加速)。 +APK_MIRROR_ARG=mirrors.tencent.com +# docreader 镜像构建时 apt 镜像源(留空用默认源)。 +# APT_MIRROR= + +# ========== A2. 运行时基础 ========== +# gin 运行模式:debug(开发,详细日志 + Swagger)/ release(生产,禁用 Swagger)。 +GIN_MODE=release +# 日志级别:debug / info / warn / error / fatal,默认 debug。 +# LOG_LEVEL=debug +# 日志文件路径(留空只输出 stdout);LLM_DEBUG_LOG 开启时同目录写 llm_debug.log。 +# LOG_PATH= +# 自定义日志格式模板(留空用内置默认格式)。 +# LOG_FORMAT= +# LLM 调试日志:把每次大模型调用的完整请求/响应写入独立文件,排查上下文问题用。 +# 可选值:true(写 LOG_PATH 同目录 llm_debug.log)/ false/空(关闭)/ 指定文件路径。 +# LLM_DEBUG_LOG=true +# 时区,默认 Asia/Shanghai。影响系统时间显示与日志时间戳。 +# 常用值:Asia/Shanghai, Asia/Tokyo, America/New_York, Europe/London, UTC。 +TZ=Asia/Shanghai +# 系统默认语言(BCP-47),用于 Prompt 中 {{language}} 占位符回退。 +# 优先级:Accept-Language 请求头 > 此变量 > 内置默认值 (en-US)。 +# WEKNORA_LANGUAGE=zh-CN +# 启动时自动执行数据库迁移;设 false 禁用(默认启用)。 +AUTO_MIGRATE=true +# 自动恢复脏数据迁移状态(默认 true)。 +AUTO_RECOVER_DIRTY=true +# 启动时自动把指定 email 的用户提升为系统管理员(幂等;仅 PROMOTE 从不 DEMOTE)。 +# 适用于 docker-compose/k8s 首次自举;后续提权/撤销走 SystemAdmin 管理页。 +# WEKNORA_BOOTSTRAP_SYSTEM_ADMIN_EMAIL= + +# ========== A3. 网络与外部地址 ========== +# 应用服务主机名,默认 app(Docker 内部服务名);远程后端可设远程地址。 +APP_HOST=app +# 应用服务宿主机映射端口,默认 8080(仅影响宿主机访问,不影响容器间通信)。 +APP_PORT=8080 +# NGINX 代理到后端的目标端口,默认 8080(App 容器内部监听端口)。 +# 本地部署保持默认;远程部署设为远程 App 服务的实际端口。 +# APP_BACKEND_PORT=8080 +# NGINX 代理到后端的协议,默认 http;远程后端为 HTTPS 时设 https。 +# APP_SCHEME=http +# 前端服务端口,默认 80。 +FRONTEND_PORT=80 +# Docreader 地址(app 连接 docreader 用)。 +DOCREADER_ADDR=docreader:50051 +# Docreader 连接方式:grpc / http / https。 +DOCREADER_TRANSPORT=grpc +# 应用外部访问地址(仅影响 IM 渠道中 local 后端的图片/文件链接)。 +# 设为 WeKnora 实例「IM 平台/客户端公网可达」URL,如 https://weknora.example.com。 +# 作用范围:local 后端必填,否则 IM 收到 local://... 无法渲染; +# MinIO/COS/OSS/S3/TOS/OBS 不读此变量,链接由各自 *_ENDPOINT 决定。 +# 内网 IP 和 localhost 对飞书/企微/Slack 等 IM 平台不可达;本地开发请用 ngrok/cloudflared/frp。 +# APP_EXTERNAL_URL= +# 前端外部 origin,用于邀请链接等绝对 URL(留空走 host-relative)。 +# FRONTEND_BASE_URL= +# 对外暴露的 MCP Server 端口(默认 8082)。 # MCP_PORT=8082 -# ========== 镜像版本 ========== -# WeKnora 镜像版本标签,可选值: latest(稳定版), main(最新开发版) -# WEKNORA_VERSION=latest -# gin mod -# 可选值: debug(开发模式,有详细日志), release(生产模式,禁用Swagger文档) -GIN_MODE=release +# ##################################################################### +# B. 数据与存储 +# ##################################################################### -# 日志级别,可选值:debug, info, warn, error, fatal,默认为debug -# LOG_LEVEL=debug +# ========== B1. 数据库 ⚠️ 必填 ========== +# 主数据库类型:postgres / mysql / sqlite。 +DB_DRIVER=postgres +# 数据库主机地址。 +DB_HOST=postgres +# 数据库端口。 +DB_PORT=5432 +# 数据库用户名。 +DB_USER=postgres +# 数据库密码。 +DB_PASSWORD=postgres123!@# +# 数据库名称。 +DB_NAME=WeKnora +# SQLite 驱动时使用(DB_DRIVER=sqlite),postgres/mysql 忽略。 +# DB_PATH=./data/weknora.db -# LLM 调试日志:将每次大模型调用的完整请求和响应写入独立日志文件,便于排查上下文问题 -# 可选值:true(自动放在 LOG_PATH 同目录下 llm_debug.log)、false/空(关闭)、或指定文件路径 -# LLM_DEBUG_LOG=true +# ========== B2. Redis / 流处理 / Asynq 队列 ========== +# --- 流处理后端与 Redis 连接 --- +# 流处理后端:memory / redis。redis 模式下 Asynq 任务队列也依赖此 Redis。 +STREAM_MANAGER_TYPE=redis +# Redis 地址(留空表示禁用 Redis,Lite 模式用 memory)。 +REDIS_ADDR=redis:6379 +# Redis 用户名(Redis 6.0+ ACL,可选)。 +# REDIS_USERNAME= +# Redis 密码,未设置可留空。 +REDIS_PASSWORD=redis123!@# +# Redis 数据库索引,默认 0。 +REDIS_DB=0 +# Redis key 前缀,用于命名空间隔离。 +REDIS_PREFIX=stream: +# Redis 频道命名空间后缀(多部署共享同一 Redis 时隔离用)。 +# WEKNORA_REDIS_NAMESPACE= +# Asynq 客户端 Redis 读写超时(毫秒,默认 500,写可扩到 1000)。 +# WEKNORA_REDIS_OP_TIMEOUT_MS=500 -# ========== 内置模型(Built-in Models)声明式配置(可选) ========== -# 如果启用了 config/builtin_models.yaml(见 config/builtin_models.yaml.example), -# YAML 中的 ${NAME} 占位符会在应用启动期从这里读取真实值。变量名由 YAML 自行 -# 指定,下面给出常见命名作为参考;按你自己的部署改名也可以。详见 -# docs/BUILTIN_MODELS.md。 +# --- Redis TLS(托管 Redis 加密传输,如 AWS ElastiCache;默认关闭)--- +# 是否启用 TLS。 +# REDIS_USE_TLS=false +# TLS 证书校验与 SNI 的服务器名(地址为 IP 时有用)。 +# REDIS_TLS_SERVER_NAME= +# 跳过服务器证书校验。不安全,仅开发/自签证书用,生产禁用。 +# REDIS_TLS_INSECURE_SKIP_VERIFY=false + +# --- Asynq worker 并发 --- +# 每个 pool 是独立 asynq.Server,硬隔离;留空或 <1 走代码默认。值为「每实例保底并发」,多副本部署按副本数累加。也可在系统设置(asynq.*_concurrency)运行时调整,无需重启。格式:变量 = 默认值 — 消费的队列 / 说明 +# default + chat_attachment(文档解析主链路;chat_attachment 权重更高,避免被批量导入挤占) +# WEKNORA_ASYNQ_CORE_CONCURRENCY=8 +# postprocess(解析后的知识库后处理/fan-out;独立成池避免排在长耗时 DocReader 后,需低延迟) +# WEKNORA_ASYNQ_POSTPROCESS_CONCURRENCY=2 +# summary / multimodal / graph / question(摘要、图片多模态、图谱 chunk 抽取、问题生成;LLM/VLM 重,按 provider 预算调) +# WEKNORA_ASYNQ_ENRICHMENT_CONCURRENCY=12 +# sync + low(数据源同步、FAQ 导入、KB 克隆/删除、批量重解析、知识移动;长耗时,不参与 shared 借用) +# WEKNORA_ASYNQ_MAINTENANCE_CONCURRENCY=4 +# 弹性池,可借用 CORE/ENRICHMENT 队列(atomic dequeue 安全);不消费 POSTPROCESS/MAINTENANCE +# WEKNORA_ASYNQ_SHARED_CONCURRENCY=6 +# Wiki 生成专用池(LLM 绑定,按 provider 并发预算调整) +# WEKNORA_WIKI_ASYNQ_CONCURRENCY=8 +# 后台任务每模型并发上限(0/负数禁用;交互 chat 不受其限制) +# WEKNORA_MODEL_MAX_CONCURRENCY=32 + +# ========== B3. 文件存储(通用)========== +# 文件存储类型:local / minio / cos / tos / s3 / obs / oss / dummy。 +STORAGE_TYPE=local +# 允许用户使用的存储类型白名单(逗号分隔,留空允许全部)。 +# STORAGE_ALLOW_LIST=local,minio,cos,tos,s3,obs,oss +# 本地存储根目录(STORAGE_TYPE=local 时用)。 +LOCAL_STORAGE_BASE_DIR=/data/files +# 本地存储路径前缀(legacy 回填用,一般留空)。 +# LOCAL_STORAGE_PATH_PREFIX= +# 统一文件大小限制(MB,默认 50)。影响单文件上传、docreader gRPC 消息、frontend Nginx请求体、浏览器客户端校验。属部署期配置:Go/Nginx/docreader/浏览器四层启动时读一次,运行中改不生效,改后须同步重启四层。 +# MAX_FILE_SIZE_MB=50 + +# ========== B4. 对象存储 provider(按 STORAGE_TYPE 选其一)========== +# ----- MinIO(STORAGE_TYPE=minio)----- +# MinIO 端点(host:port)。IM 渠道时必须是 IM 平台公网可达的 host(不能用 minio:9000)。 +# MINIO_ENDPOINT=minio:9000 +# MINIO_ACCESS_KEY_ID=your_minio_access_key +# MINIO_SECRET_ACCESS_KEY=your_minio_secret_key +# MINIO_BUCKET_NAME=your_minio_bucket_name +# MINIO_PATH_PREFIX= +# MINIO_USE_SSL=false +# MinIO 端口(compose 映射用)。 +# MINIO_PORT=9000 +# MINIO_CONSOLE_PORT=9001 +# ----- 腾讯云 COS(STORAGE_TYPE=cos)----- +# COS_SECRET_ID=your_cos_secret_id +# COS_SECRET_KEY=your_cos_secret_key +# COS_REGION=ap-guangzhou +# COS_BUCKET_NAME=your_cos_bucket_name +# COS_APP_ID=your_cos_app_id +# COS_PATH_PREFIX=your_cos_path_prefix +# COS_TEMP_BUCKET_NAME=your_cos_temp_bucket_name +# COS_TEMP_REGION=your_cos_temp_region +# ----- 火山引擎 TOS(STORAGE_TYPE=tos)----- +# TOS_ENDPOINT=https://tos-cn-beijing.volces.com +# TOS_REGION=cn-beijing +# TOS_ACCESS_KEY=your_tos_access_key +# TOS_SECRET_KEY=your_tos_secret_key +# TOS_BUCKET_NAME=your_tos_bucket_name +# TOS_PATH_PREFIX=your_tos_path_prefix +# TOS_TEMP_BUCKET_NAME=your_tos_temp_bucket_name +# TOS_TEMP_REGION=your_tos_temp_region +# ----- AWS S3(STORAGE_TYPE=s3)----- +# S3_ENDPOINT=https://s3.amazonaws.com +# S3_REGION=us-east-1 +# S3_ACCESS_KEY=your_s3_access_key +# S3_SECRET_KEY=your_s3_secret_key +# S3_BUCKET_NAME=your_s3_bucket_name +# S3_PATH_PREFIX=weknora/ +# S3_USE_SSL=true +# S3_FORCE_PATH_STYLE=false +# ----- 华为云 OBS(STORAGE_TYPE=obs)----- +# OBS_ENDPOINT=obs.cn-north-4.myhuaweicloud.com +# OBS_REGION=cn-north-4 +# OBS_ACCESS_KEY=your_obs_access_key +# OBS_SECRET_KEY=your_obs_secret_key +# OBS_BUCKET_NAME=your_obs_bucket_name +# OBS_PATH_PREFIX=weknora/ +# OBS_USE_SSL=true +# OBS_PROXY_DOMAIN=https://your-domain.com/obs +# ----- 阿里云 OSS(STORAGE_TYPE=oss)----- +# OSS_ENDPOINT=oss-cn-hangzhou.aliyuncs.com +# OSS_REGION=cn-hangzhou +# OSS_ACCESS_KEY=your_oss_access_key +# OSS_SECRET_KEY=your_oss_secret_key +# OSS_BUCKET_NAME=your_oss_bucket_name +# OSS_PATH_PREFIX=weknora/ +# OSS_TEMP_BUCKET_NAME=your_oss_temp_bucket_name +# OSS_TEMP_REGION=your_oss_temp_region + + +# ##################################################################### +# C. 检索与图谱 +# ##################################################################### + +# ========== C1. 向量库 / 检索引擎 ========== +# 向量存储类型(逗号分隔可多驱动):postgres / elasticsearch_v7 / elasticsearch_v8 / +# opensearch / qdrant / milvus / weaviate / doris / tencent_vectordb。 +RETRIEVE_DRIVER=postgres +# 多向量库并行检索超时(秒,RETRIEVE_DRIVER 含多个驱动时生效)。 +# MULTI_STORE_RETRIEVE_TIMEOUT_SEC= +# ----- Elasticsearch v7/v8 ----- +# ELASTICSEARCH_ADDR=http://localhost:9200 +# ELASTICSEARCH_USERNAME=your_elasticsearch_username +# ELASTICSEARCH_PASSWORD=your_elasticsearch_password +# ELASTICSEARCH_INDEX=WeKnora +# ----- OpenSearch(dev compose 自带单节点 profile)----- +# OPENSEARCH_ADDR=http://opensearch:9200 +# OPENSEARCH_USERNAME= +# OPENSEARCH_PASSWORD= +# OPENSEARCH_INSECURE_SKIP_VERIFY=false +# OPENSEARCH_INDEX=WeKnora +# ----- Qdrant ----- +# QDRANT_HOST=qdrant +# QDRANT_PORT=6334 +# QDRANT_REST_PORT=6333 +# QDRANT_COLLECTION=weknora_embeddings +# QDRANT_API_KEY=your_qdrant_api_key +# QDRANT_USE_TLS=false +# ----- Milvus ----- +# MILVUS_ADDRESS=milvus:19530 +# MILVUS_COLLECTION=weknora_embeddings +# MILVUS_METRIC_TYPE=IP # IP(默认)/COSINE/L2,改后需重建 collection。 +# MILVUS_USERNAME=your_milvus_username +# MILVUS_PASSWORD=your_milvus_password +# MILVUS_DB_NAME=your_milvus_db_name +# ----- Weaviate ----- +# 容器内访问用 service:port(不要用 localhost/宿主机映射端口)。 +# WEAVIATE_HOST=weaviate:8080 +# WEAVIATE_GRPC_ADDRESS=weaviate:50051 +# WEAVIATE_SCHEME=http +# WEAVIATE_AUTH_ENABLED=false # 启用 APIKey/OIDC 时再设 true 并配 WEAVIATE_API_KEY。 +# WEAVIATE_API_KEY=your_secret_key +# WEAVIATE_COLLECTION=your_weaviate_db_name +# ----- Apache Doris 4.1+ ----- +# DORIS_ADDR=doris-fe:9030 # FE MySQL 协议地址。 +# DORIS_HTTP_PORT=8030 # FE HTTP,Stream Load partial update 入口。 +# DORIS_DATABASE=weknora +# DORIS_USERNAME=root +# DORIS_PASSWORD= +# DORIS_TABLE_PREFIX=weknora_embeddings +# DORIS_COMPAT_MODE=auto # auto(探测)/legacy(cosine_distance)/inner_product_duplicate;建表后不可互换。 +# compose 端口。 +# DORIS_FE_HTTP_PORT=8030 +# DORIS_FE_MYSQL_PORT=9030 +# DORIS_BE_HTTP_PORT=8040 +# ----- 腾讯云 Tencent VectorDB ----- +# TENCENT_VECTORDB_ADDR=http://your-instance.tencentvectordb.com +# TENCENT_VECTORDB_USERNAME=root +# TENCENT_VECTORDB_API_KEY=your_tencent_vectordb_api_key +# TENCENT_VECTORDB_DATABASE=weknora +# TENCENT_VECTORDB_COLLECTION=weknora_embeddings +# TENCENT_VECTORDB_REPLICA_NUMBER=1 + +# ========== C2. 知识图谱(Neo4j,可选)========== +# 知识图谱唯一全局开关。非 true 则禁用图谱构建与检索(构建阶段需调用大模型,耗时较长)。 +# 注:ENABLE_GRAPH_RAG 自 v0.1.6 起已被 NEO4J_ENABLE 取代,Go 主应用不再读取,已移除。 +# NEO4J_ENABLE=false +# Neo4j 连接 URI。bolt:// 直连单机(推荐,无路由开销);neo4j:// 走集群路由发现(单机也能用但多一次探测)。 +# WeKnora 默认部署单机 Neo4j,故用 bolt://。 +# NEO4J_URI=bolt://neo4j:7687 +# NEO4J_USERNAME=neo4j +# NEO4J_PASSWORD=password + + +# ##################################################################### +# D. 模型 +# ##################################################################### + +# ========== D1. LLM / VLM / Ollama ========== +# Ollama 不可用时仅告警不阻断(true 时生效,默认不阻断,避免未配 Ollama 就启动失败)。 +OLLAMA_OPTIONAL=true +# Ollama 服务基准 URL(连接本地/远程 Ollama)。 +OLLAMA_BASE_URL=http://host.docker.internal:11434 +# 批量 embedding 大小(留空走代码默认)。 +# BATCH_EMBED_SIZE= +# VLM 单次 HTTP 请求超时(秒,默认 180;慢端点超时报 context deadline 时调大)。 +# VLM_HTTP_TIMEOUT_SECONDS=180 +# LLM 流原始转储(排查上下文问题;1 启用,默认目录 ~/.weknora/investigate/llm-stream)。 +# WEKNORA_LLM_STREAM_RAW_DUMP= +# WEKNORA_LLM_STREAM_RAW_DUMP_DIR= + +# ========== D2. 内置模型声明式配置(可选)========== +# 启用 config/builtin_models.yaml(见 config/builtin_models.yaml.example)后,YAML 中的 +# ${NAME} 占位符会在应用启动期从这里读取真实值。变量名由 YAML 自定,下面给出常见命名参考。 +# 详见 docs/BUILTIN_MODELS.md。 # +# 内置对话模型 # LLM_MODEL_NAME= # LLM_BASE_URL= # LLM_API_KEY= # LLM_PROVIDER=openai # +# 内置向量模型 # EMBEDDING_MODEL_NAME= # EMBEDDING_BASE_URL= # EMBEDDING_API_KEY= # EMBEDDING_PROVIDER=openai # +# 内置 Rerank 模型 # RERANK_MODEL_NAME= # RERANK_BASE_URL= # RERANK_API_KEY= # RERANK_PROVIDER=generic -# ========== Langfuse 可观测性(可选) ========== -# 用于追踪 chat / embedding / rerank / VLM / ASR 模型调用,统计 token 消耗。 + +# ##################################################################### +# E. 文档解析 +# ##################################################################### + +# ========== E1. Docreader gRPC 与解析通用 ========== +# ----- gRPC 服务端 TLS / 认证(docreader 与 app 共用,客户端/服务端需配相同值)----- +# 启用 gRPC TLS 加密传输。默认 false(docreader 仅在 compose 内网供 app 调用,明文即可)。 +# GRPC_TLS_ENABLED=false +# 服务端证书 / 客户端证书(mTLS 时填)。server 启用 TLS 时必填。 +# GRPC_TLS_CERT=/path/to/server.crt +# 证书对应私钥。 +# GRPC_TLS_KEY=/path/to/server.key +# CA 证书:client 用于校验 server 证书;server 端 mTLS 时用于签发客户端证书的 CA。 +# GRPC_TLS_CA=/path/to/ca.crt +# TLS SNI / 证书校验名。DOCREADER_ADDR 用 IP、或与证书 CN 不一致时,设为证书里的 hostname。 +# GRPC_TLS_SERVER_NAME= +# server 端:true 时强制要求客户端提供证书(双向 TLS / mTLS)。 +# GRPC_MTLS_REQUIRE_CLIENT_CERT=false +# gRPC per-RPC 认证 token(客户端/服务端需一致)。启用时强烈建议同时开 TLS, +# 否则 token 会明文随每次 RPC 传输;GRPC_TLS_ENABLED=true 时客户端会拒绝在不安全连接上发送 token。 +# GRPC_AUTH_TOKEN=your-secret-token-at-least-16-bytes +# ----- gRPC 服务参数 ----- +# gRPC server 最大并发 worker 数(默认 4)。 +# DOCREADER_GRPC_MAX_WORKERS=4 +# gRPC 单条消息大小上限(MB,默认 50)。通常跟随 MAX_FILE_SIZE_MB;过大扫描件图可能超此值。 +# DOCREADER_GRPC_MAX_FILE_SIZE_MB=50 +# gRPC 监听端口(默认 50051)一般无需修改,需要与docker-compose中的docreader port保持一致。 +# DOCREADER_GRPC_PORT=50051 +# ----- 解析通用 ----- +# DOCX 解析最大页数(默认 0=不限制)。设正整数(如 500)可限制超大 Word 文档解析开销。 +# DOCREADER_DOCX_MAX_PAGES=0 +# MarkItDown(重型解析器)并发 worker 数。0 关闭限流;默认 1 适合单机/GPU 受限。 +# DOCREADER_MARKITDOWN_MAX_WORKERS=1 +# 出站 HTTP/HTTPS 代理(抓取网页 / 远程图片时用)。 +# DOCREADER_EXTERNAL_HTTP_PROXY= +# DOCREADER_EXTERNAL_HTTPS_PROXY= + +# ========== E2. OpenDataLoader hybrid(可选,知识库 parser_engine_rules 指定 engine: opendataloader)========== +# ODL 重型解析器并发(默认 1)。 +# DOCREADER_ODL_MAX_WORKERS=1 +# hybrid 模式开关:off(默认,纯 fast 本地解析)/ docling-fast 等(需另起 odl-hybrid 容器)。 +# DOCREADER_ODL_HYBRID=off +# odl-hybrid 服务地址。代码默认 http://127.0.0.1:5002;docker compose 注入 http://odl-hybrid:5002。 +# DOCREADER_ODL_HYBRID_URL=http://odl-hybrid:5002 +# hybrid 模式选择(auto),一般无需改。 +# DOCREADER_ODL_HYBRID_MODE=auto +# hybrid 失败时是否回退到 fast 模式(默认 false)。 +# DOCREADER_ODL_HYBRID_FALLBACK=false +# hybrid 输出 markdown 是否保留 HTML(默认 false)。 +# DOCREADER_ODL_MARKDOWN_WITH_HTML=false +# ----- odl-hybrid 容器参数(仅 --profile odl-hybrid 时用)----- +# 传给 odl-hybrid 的额外参数。默认 --no-ocr(数字 PDF);扫描件用 --force-ocr(需 EasyOCR+libGL)。 +# ODL_HYBRID_EXTRA_ARGS=--no-ocr +# odl-hybrid 对外端口(dev compose 映射用)。 +# ODL_HYBRID_PORT=5002 +# app 启动时等待 odl-hybrid 就绪的最长时间(秒)。 +# ODL_HYBRID_STARTUP_WAIT_SEC=180 + +# ========== E3. PDF 渲染 ========== +# PDF 渲染 worker 数(跨文档并发,默认 1)。 +# DOCREADER_PDF_RENDER_MAX_WORKERS=1 +# 单个 PDF 内部「扫描页渲染」的并行进程数(pdfium 非线程安全,按进程并行)。默认随 CPU 取min(4, cpu);大体量扫描件串行渲染在 CPU 受限容器上可能耗时数小时,调大可显著缩短(实测874 页 117s->30s/4 进程 ->17s/8 进程)。容器需分配足够 CPU 才能吃到加速。 +# DOCREADER_PDF_RENDER_PARALLELISM=4 +# 渲染 DPI(默认 200)。 +# DOCREADER_PDF_RENDER_DPI=200 +# 渲染图 JPEG 质量(默认 85)。 +# DOCREADER_PDF_JPEG_QUALITY=85 +# 渲染页图的最大长边像素(默认 2000)。防止超大页面渲染出 100+MP 图撑爆 gRPC 消息上限;调小可进一步减小图片体积,过小会影响 OCR 识别(密集中文建议 >=1600)。 +# DOCREADER_PDF_RENDER_MAX_EDGE=2000 + +# ========== E4. PDF 扫描件判定与强制 ========== +# 强制所有 PDF 全页按扫描件解析(渲染成图片再走 OCR/VLM)。适合文本层质量差但页面可 OCR 的PDF;开启后速度和模型调用成本都会上升。默认 false(由下方阈值自动判定)。 +# DOCREADER_PDF_FORCE_SCANNED=false +# 自动判定:一页的图片对象覆盖面积 >= 此比例视为扫描页(默认 0.5)。 +# DOCREADER_PDF_SCAN_IMAGE_RATIO=0.5 +# 自动判定:一页文本字符数少于此值视为「无可用文本层」(默认 10)。 +# DOCREADER_PDF_SCAN_MIN_CHARS=10 + +# ========== E5. PDF 版式 / 文本抽取(原生文本页)========== +# 版式感知文本抽取:重建可读阅读顺序(默认 true)。 +# DOCREADER_PDF_LAYOUT_ORDERING=true +# glyph 无显式空格定位时(OCR/搜索文本常见),间距超过 median 字宽的多少倍时插空格(默认 0.4)。 +# DOCREADER_PDF_WORD_GAP_WIDTH_RATIO=0.4 +# 丢弃窄边栏(arXiv 侧栏水印、页码标签)的页宽比例阈值(默认 0.12)。 +# DOCREADER_PDF_MARGIN_COL_WIDTH_RATIO=0.12 +# 一行至少多少字符才允许字体大小启发式将其提升为 markdown 标题(默认 8)。 +# DOCREADER_PDF_MIN_HEADING_LINE_CHARS=8 +# 把视觉上较大的行提升为 markdown 标题(用 rect 高度做字体大小代理,默认 true)。 +# DOCREADER_PDF_DETECT_HEADINGS=true +# 丢弃不可见文本(render-mode 3)、页外文本和退化文本,防 hidden-text 注入(默认 true)。 +# DOCREADER_PDF_FILTER_HIDDEN_TEXT=true +# 清理 pdfium 占位符(U+FFFE)和软连字符;剥离矢量图坐标轴/图例文字(默认 true)。 +# DOCREADER_PDF_SANITIZE_TEXT=true +# 剥离图表区碎片文本(与 SANITIZE_TEXT 配合,默认 true)。 +# DOCREADER_PDF_STRIP_CHART_DEBRIS=true + +# ========== E6. PDF 嵌入图片抽取(原生文本页)========== +# 抽取原生页面里的嵌入位图供 VLM/OCR 分析(默认 true)。 +# DOCREADER_PDF_EXTRACT_EMBEDDED_IMAGES=true +# 嵌入图片保留的最小像素宽与高(默认 80,低于则丢弃)。 +# DOCREADER_PDF_EMBED_MIN_PIXELS=80 +# 嵌入图片占页面面积的最小比例,低于则丢弃(默认 0.01)。 +# DOCREADER_PDF_EMBED_MIN_AREA_RATIO=0.01 +# 同一张图在文本页中出现比例 >= 此值时视为页眉页脚等运行项并去重(默认 0.5)。 +# DOCREADER_PDF_EMBED_REPEAT_PAGE_FRAC=0.5 +# 每篇文档抽取嵌入图片的硬上限(默认 50)。 +# DOCREADER_PDF_EMBED_MAX_IMAGES=50 + +# ========== E7. PDF 图表区识别(矢量图区域)========== +# 把检测到的矢量图表区(无嵌入位图)渲染成 JPEG 供 VLM/OCR(默认 true)。 +# DOCREADER_PDF_RENDER_VECTOR_FIGURES=true +# 一个区域被视为图表所需的每行最少字符数(默认 18)。 +# DOCREADER_PDF_MIN_CHART_REGION_CHARS=18 +# 一个区域被视为图表所需的最小面积占比(默认 0.015)。 +# DOCREADER_PDF_MIN_CHART_REGION_AREA=0.015 +# 一个区域被视为图表的最大面积占比(超过则不当图表,默认 0.42)。 +# DOCREADER_PDF_MAX_CHART_REGION_AREA=0.42 +# 图形高度占页高的最大比例,超过则不当作独立图表(默认 0.38)。 +# DOCREADER_PDF_MAX_FIGURE_HEIGHT_RATIO=0.38 + +# ========== E8. 文档处理 / 任务超时 ========== +# 单文档处理任务总超时(Go duration,默认 2h;大文件可调大)。 +# WEKNORA_DOCUMENT_PROCESS_TIMEOUT=2h +# 单次 DocReader RPC 超时(默认 30m,须小于上一项)。 +# WEKNORA_DOCREADER_CALL_TIMEOUT=30m +# 知识库巡检回收(回收卡在 processing 的脏数据;false 禁用,不建议)。 +# WEKNORA_HOUSEKEEPING_ENABLED=true +# 聊天附件解析产物保留时长(小时,默认 24)。 +# WEKNORA_CHAT_ATTACHMENT_TTL_HOURS=24 +# 单轮问答等待附件解析完成的最长时间(秒,默认 60;大/扫描件调大)。 +# WEKNORA_CHAT_ATTACHMENT_WAIT_TIMEOUT_SEC=60 +# 附件 VLM OCR 调优(扫描件/图片型文档):并发数 / 最大页数。 +# WEKNORA_CHAT_ATTACHMENT_OCR_CONCURRENCY=8 +# WEKNORA_CHAT_ATTACHMENT_OCR_MAX_PAGES=8 + + +# ##################################################################### +# F. 认证与多租户 +# ##################################################################### + +# ========== F1. 密钥 ⚠️ 必填(生产务必改默认值)========== +# JWT 签名密钥,用于前端登录刷新 Token(留空则启动时随机生成)。 +JWT_SECRET=weknora-jwt-secret +# AES-256 主密钥,用于数据库中 API Key 等敏感字段落盘加密(必须为 32 字节)。 +# 加密范围:tenants.api_key、模型 API key、向量库凭证、web search provider key、 +# WeKnoraCloud.AppSecret 等。缺失或长度不对时已加密字段无法解密(UI 显示为空,需重填)。 +# 生产必须显式设置且妥善保管,丢失则所有加密数据不可恢复。 +# 注:TENANT_AES_KEY / CRYPTO_MASTER_KEY / CRYPTO_SALT 已废弃。v0.4.0 起 CryptoService(PBKDF2)被移除,加密统一改用 SYSTEM_AES_KEY。这三个变量 Go 主应用不再读取,已移除。 +SYSTEM_AES_KEY=weknora-system-aes-key-32bytes!! + +# ========== F2. 注册与租户策略 ========== +# 禁止新用户注册(生产建议 true)。 +# DISABLE_REGISTRATION=false +# 公开注册后的默认空间策略:create_personal(默认,自动创建个人空间)/ tenantless。 +# WEKNORA_AUTH_DEFAULT_TENANT_MODE=create_personal +# 是否允许普通用户登录后主动创建空间(默认 true;false 仅能邀请加入,超管不受影响)。 +# WEKNORA_TENANT_SELF_SERVICE_CREATION_ENABLED=true +# 启用空间级 RBAC(true 默认强制鉴权 / false 观察模式仅记录不拦截)。 +# WEKNORA_TENANT_ENABLE_RBAC=true +# 启用跨租户访问(需配合用户的 CanAccessAllTenants 权限;默认 false)。开启有存在一个跨租户管理员,需要手动修改数据库的数据为某个用户设置为跨租户管理员 +# WEKNORA_TENANT_ENABLE_CROSS_TENANT_ACCESS=false +# 单个非超管用户可自助创建空间数上限(>0 强制限额;=0 走默认;<0 关闭限额)。 +# WEKNORA_TENANT_MAX_OWNED_PER_USER= +# 创建空间时是否自动生成 full_access API Key 并在响应中返回 token(默认 false,兼容旧版回退开关)。 +# WEKNORA_TENANT_AUTO_CREATE_API_KEY=false +# 新建空间默认存储配额(GB,默认 10)。 +# WEKNORA_TENANT_DEFAULT_STORAGE_QUOTA_GB=10 +# 租户邀请链接 TTL(Go duration,默认 168h=7 天)。 +# WEKNORA_INVITATION_TTL=168h +# 审计日志保留天数(0 禁用清理,默认 90)。 +# WEKNORA_AUDIT_RETENTION_DAYS=90 + +# ========== F3. OIDC 认证(可选,OIDC_AUTH_ENABLE=true 启用)========== +# OIDC_AUTH_ENABLE=false +# OIDC_AUTH_ISSUER_URL=http://127.0.0.1:5556/dex +# OIDC_AUTH_DISCOVERY_URL=http://127.0.0.1:5556/dex/.well-known/openid-configuration +# OIDC_AUTH_PROVIDER_DISPLAY_NAME=OIDC +# OIDC_AUTH_CLIENT_ID=client_id_for_oidc_client +# OIDC_AUTH_CLIENT_SECRET=secret_for_oidc_client +# 若 OIDC_AUTH_DISCOVERY_URL 已填,以下端点可留空。 +# OIDC_AUTH_AUTHORIZATION_ENDPOINT=http://127.0.0.1:5556/dex/auth +# OIDC_AUTH_TOKEN_ENDPOINT=http://127.0.0.1:5556/dex/token +# OIDC_AUTH_USER_INFO_ENDPOINT=http://127.0.0.1:5556/dex/userinfo +# OIDC_AUTH_SCOPES="openid profile email" +# OIDC 首次自动开户后的空间策略与本地注册共用 WEKNORA_AUTH_DEFAULT_TENANT_MODE,无独立配置。 +# OIDC_USER_INFO_MAPPING_USER_NAME=name +# OIDC_USER_INFO_MAPPING_EMAIL=email + + +# ##################################################################### +# G. Agent 与沙箱 +# ##################################################################### + +# ========== G1. Agent Skills Sandbox ========== +# Sandbox 模式:docker(默认)/ local / disabled。 +WEKNORA_SANDBOX_MODE=docker +# 脚本执行超时(秒,默认 60)。 +WEKNORA_SANDBOX_TIMEOUT=60 +# Sandbox Docker 镜像(默认 wechatopenai/weknora-sandbox:latest)。 +# WEKNORA_SANDBOX_DOCKER_IMAGE=wechatopenai/weknora-sandbox:latest +# 自定义 Skills 目录(挂载后指定,免重建镜像)。 +# WEKNORA_SKILLS_DIR= +# 智能体大模型调用默认超时(秒,默认 120;复杂推理调大如 300/600)。 +# 注:全局默认;单个智能体在数据库配独立 llm_call_timeout 时以其为准。 +# WEKNORA_AGENT_LLM_TIMEOUT=300 +# MCP 工具人工审核等待超时(秒,默认 600;支持 Go duration 如 30s/5m/1h)。 +# WEKNORA_AGENT_TOOL_APPROVAL_TIMEOUT=600 +# MCP 工具人工审批失败时是否放行(true 放行 / 默认 fail-close 拒绝)。 +# WEKNORA_AGENT_TOOL_APPROVAL_FAIL_OPEN= + + +# ##################################################################### +# H. 可选集成 +# ##################################################################### + +# ========== H1. 网络搜索(SearXNG / Tavily)========== +# ===== SearXNG(可选自建网络搜索)===== +# 启用:`docker compose --profile searxng up -d`。 +# SEARXNG_SECRET 不设时使用 docker-compose 中的写死默认值,足够本机/loopback 部署使用; +# 如果改 SEARXNG_BIND=0.0.0.0 把实例暴露到 LAN/公网,请务必用 openssl rand -hex 32 生成 +# 并显式设置 SEARXNG_SECRET,否则默认值会被任何人用于签名 image-proxy URL。 +# +# 后端访问方式(容器化部署):控制台中 Provider 类型选 "SearXNG", +# Instance URL 填 http://searxng:8080;docker compose 已默认把 searxng 主机名注入 +# SSRF_WHITELIST_EXTRA,无需额外配置。 +# +# 本地开发(go run + docker compose -f docker-compose.dev.yml --profile searxng up): +# 后端跑在宿主机,需走 published 端口;Instance URL 填 http://127.0.0.1:8888, +# 并把 127.0.0.1 加入下方 SSRF_WHITELIST。 +# +# 端口默认仅监听 127.0.0.1,避免把开了 limiter:false 的实例暴露到 LAN。 +# 如需对内网开放,显式覆盖 SEARXNG_BIND=0.0.0.0 并自行加固。 +# SEARXNG_PORT=8888 +# SEARXNG_BIND=127.0.0.1 +# SEARXNG_SECRET= +# Tavily Search API Key(可选,启用 Tavily 网页搜索提供者)。 +# TAVILY_API_KEY=tvly-your_tavily_api_key + +# ========== H2. MCP Server(可选,--profile full 时启动)========== +# MCP Server 访问 WeKnora REST API 用的 API Key(在前端「设置 -> API Keys」生成)。 +# WEKNORA_API_KEY= +# HTTP/SSE 传输必填:mcp-server 启动时若缺少此项会拒绝启动(客户端以 Authorization: Bearer 携带)。 +# MCP_SERVER_AUTH_TOKEN= +# 调用 WeKnora REST 的读超时(秒,默认 300)。 +# WEKNORA_CHAT_TIMEOUT=300 +# 是否校验 WeKnora 后端 TLS 证书(默认 true;自签证书可设 false)。 +# WEKNORA_VERIFY_SSL=true +# 允许上传的目录白名单(逗号分隔;留空禁用文件上传工具)。 +# MCP_ALLOWED_UPLOAD_DIRS= + + +# ##################################################################### +# I. 可观测性(Langfuse,可选) +# ##################################################################### + +# ========== I1. Langfuse 接入(追踪 chat/embedding/rerank/VLM/ASR 模型调用,统计 token 消耗)========== # 详细说明:docs/Langfuse集成.md # # 方案 A:接入 Langfuse Cloud(最简单) @@ -58,22 +608,20 @@ GIN_MODE=release # 1) 启动自建栈:docker compose --profile langfuse up -d # 首次启动后 ClickHouse 迁移约 1-2 分钟,耐心等待 langfuse-web 健康 # 2) 浏览器打开 http://localhost:3000 注册管理员账号并生成 API Key -# 3) 取消注释下方 LANGFUSE_HOST=http://langfuse-web:3000 -# 填入刚生成的 PUBLIC_KEY / SECRET_KEY +# 3) 取消注释下方 LANGFUSE_HOST=http://langfuse-web:3000,填入刚生成的 PUBLIC_KEY / SECRET_KEY # 4) docker compose up -d app # -# 只要同时设置了 PUBLIC_KEY + SECRET_KEY 就会自动启用,无需显式开关。 +# 只要同时设置 PUBLIC_KEY + SECRET_KEY 就会自动启用,无需显式开关。 LANGFUSE_PUBLIC_KEY=pk-lf-xxxxxxxx LANGFUSE_SECRET_KEY=sk-lf-xxxxxxxx LANGFUSE_HOST=http://langfuse-web:3000 # 自建模式下改成:LANGFUSE_HOST=http://langfuse-web:3000 -# -# 可选:显式开关(true/false,默认根据 key 自动判断) +# 可选:显式开关(true/false,默认根据 key 自动判断)。 # LANGFUSE_ENABLED=true -# 可选:版本 / 环境标签,便于在 Langfuse UI 过滤 +# 可选:版本 / 环境标签,便于在 Langfuse UI 过滤。 # LANGFUSE_RELEASE=v0.4.2 # LANGFUSE_ENVIRONMENT=production -# 可选:批量上报与采样策略(生产高流量建议调大 FLUSH_AT、降低 SAMPLE_RATE) +# 可选:批量上报与采样策略(生产高流量建议调大 FLUSH_AT、降低 SAMPLE_RATE)。 # LANGFUSE_FLUSH_AT=15 # LANGFUSE_FLUSH_INTERVAL=3s # LANGFUSE_QUEUE_SIZE=2048 @@ -81,33 +629,29 @@ LANGFUSE_HOST=http://langfuse-web:3000 # LANGFUSE_SAMPLE_RATE=1.0 # LANGFUSE_DEBUG=false -# ========== Langfuse 自建栈配置(仅在使用 --profile langfuse 时需要) ========== -# 设计说明:为了最小化资源占用,Langfuse 自建栈会**复用** WeKnora 已有的 +# ========== I2. Langfuse 自建栈配置(仅在使用 --profile langfuse 时需要)========== +# 设计说明:为最小化资源占用,Langfuse 自建栈会**复用** WeKnora 已有的 # - postgres:创建独立的 "langfuse" 数据库(由 langfuse-db-init 容器一次性创建) # - redis :使用独立的 Redis DB 号(默认 1,WeKnora 用 0) # 真正新增的只有 3 个常驻容器:langfuse-web、langfuse-worker、langfuse-clickhouse # + 1 个专用 S3:langfuse-minio # + 1 个一次性 init:langfuse-db-init -# -# Langfuse Web UI 对外端口 +# Langfuse Web UI 对外端口。 # LANGFUSE_WEB_PORT=3000 -# -# Langfuse 专用 MinIO 端口(避免和 WeKnora 主 MinIO 9000/9001 冲突) +# Langfuse 专用 MinIO 端口(避免和 WeKnora 主 MinIO 9000/9001 冲突)。 # LANGFUSE_MINIO_S3_PORT=9100 # LANGFUSE_MINIO_CONSOLE_PORT=9101 -# -# 在 WeKnora-postgres 中创建的 Langfuse 库名 +# 媒体上传外部 endpoint(浏览器直连 Langfuse MinIO),默认指向宿主机映射的 9100 端口。 +# LANGFUSE_S3_MEDIA_UPLOAD_ENDPOINT=http://localhost:9100 +# 在 WeKnora-postgres 中创建的 Langfuse 库名。 # LANGFUSE_DB_NAME=langfuse -# -# 在 WeKnora-redis 中使用的 DB 号(1~15,不要和 WeKnora 的 0 冲突) +# 在 WeKnora-redis 中使用的 DB 号(1~15,不要和 WeKnora 的 0 冲突)。 # LANGFUSE_REDIS_DB=1 -# -# ClickHouse / Langfuse 专用 MinIO 凭证(生产请务必修改) +# ClickHouse / Langfuse 专用 MinIO 凭证(生产请务必修改)。 # LANGFUSE_CLICKHOUSE_USER=clickhouse # LANGFUSE_CLICKHOUSE_PASSWORD=clickhouse # LANGFUSE_MINIO_USER=langfuseminio # LANGFUSE_MINIO_PASSWORD=langfuseminiosecret -# # Langfuse 核心安全字段,生产必须重新生成: # LANGFUSE_SALT=$(openssl rand -base64 32) # LANGFUSE_ENCRYPTION_KEY=$(openssl rand -hex 32) @@ -117,8 +661,7 @@ LANGFUSE_HOST=http://langfuse-web:3000 # LANGFUSE_NEXTAUTH_SECRET= # LANGFUSE_NEXTAUTH_URL=http://localhost:3000 # LANGFUSE_TELEMETRY_ENABLED=false -# -# 可选:自动化首次启动(填写后直接注入管理员+项目,跳过 UI 注册) +# 可选:自动化首次启动(填写后直接注入管理员+项目,跳过 UI 注册)。 # LANGFUSE_INIT_ORG_ID=WeKnora # LANGFUSE_INIT_ORG_NAME=WeKnora # LANGFUSE_INIT_PROJECT_ID=WeKnora @@ -129,136 +672,20 @@ LANGFUSE_HOST=http://langfuse-web:3000 # LANGFUSE_INIT_USER_NAME=Admin # LANGFUSE_INIT_USER_PASSWORD=change-me-please -# 时区设置,默认为 Asia/Shanghai -# 影响系统时间显示和日志时间戳 -# 常用值:Asia/Shanghai, Asia/Tokyo, America/New_York, Europe/London, UTC -TZ=Asia/Shanghai -# 系统默认语言(BCP-47 格式),用于 Prompt 中 {{language}} 占位符的回退值 -# 优先级:Accept-Language 请求头 > 此环境变量 > 内置默认值 (en-US) -# 常用值:zh-CN, en-US, ja-JP, ko-KR, ru-RU -# WEKNORA_LANGUAGE=zh-CN +# ##################################################################### +# J. 安全与部署调优 +# ##################################################################### -# 禁止新用户注册(生产环境建议设为 true) -DISABLE_REGISTRATION=false - -# 公开注册后的默认空间策略:create_personal(默认,自动创建个人空间) -# 或 tenantless(仅创建账户,等待邀请或用户主动创建空间)。 -# WEKNORA_AUTH_DEFAULT_TENANT_MODE=create_personal - -# 是否允许普通用户登录后主动创建空间。设为 false 时只能通过邀请加入已有空间, -# 跨空间超管不受影响。默认 true。 -# WEKNORA_TENANT_SELF_SERVICE_CREATION_ENABLED=true - -# Ollama 服务的基准 URL,用于连接本地/其他服务器上运行的 Ollama 服务 -OLLAMA_BASE_URL=http://host.docker.internal:11434 - -# 存储配置 -# 主数据库类型(postgres/mysql) -DB_DRIVER=postgres - -# 向量存储类型(postgres/elasticsearch_v7/elasticsearch_v8/qdrant/milvus/weaviate/doris/tencent_vectordb) -RETRIEVE_DRIVER=postgres - -# 允许用户使用哪些文件存储类型,使用逗号分隔,留空则允许所有类型的存储 -# STORAGE_ALLOW_LIST=local,minio,cos,tos,s3 - -# 文件存储类型(local/minio/cos/tos/s3) -STORAGE_TYPE=local - -# 流处理后端(memory/redis) -STREAM_MANAGER_TYPE=redis - -# 应用服务主机名,默认为app(Docker内部服务名) -# 如需代理到远程后端,可设为远程地址,如 remote-app.example.com -APP_HOST=app - -# 应用服务宿主机映射端口,默认为8080(仅影响宿主机访问,不影响容器间通信) -APP_PORT=8080 - -# NGINX 代理到后端的目标端口,默认为8080(App容器内部监听端口) -# 本地部署:保持默认即可,无需随 APP_PORT 修改 -# 远程部署:设为远程 App 服务的实际端口 -# APP_BACKEND_PORT=8080 - -# NGINX 代理到后端的协议,默认为http -# 远程部署如后端为 HTTPS,需设为 https -# APP_SCHEME=http - -# 应用外部访问地址(仅影响 IM 渠道中 local 后端的图片/文件链接) -# 设置为 WeKnora 实例的「IM 平台 / 客户端公网可达」URL,如 https://weknora.example.com -# -# 作用范围: -# - local 后端:必须设置,否则 IM 收到的是 local://... 路径,无法渲染 -# - MinIO/COS/OSS/S3/TOS/OBS/KS3:不读取此变量;它们的链接由各自 SDK 生成, -# host 由对应的 *_ENDPOINT 决定,同样必须公网可达 -# -# 内网 IP(192.168.x / 10.x / 172.16-31.x)和 localhost 对飞书 / 企微 / Slack -# 等 IM 平台服务器都不可达;本地开发请用 ngrok / cloudflared / frp 之类的隧道。 -# APP_EXTERNAL_URL= - -# 前端服务端口,默认为80 -FRONTEND_PORT=80 - -# 文档解析模块端口,默认为50051 -DOCREADER_PORT=50051 - -# 数据库主机地址 -DB_HOST=postgres - -# 数据库端口 -DB_PORT=5432 - -# 数据库用户名 -DB_USER=postgres - -# 数据库密码 -DB_PASSWORD=postgres123!@# - -# 数据库名称 -DB_NAME=WeKnora - -# 如果使用 redis 作为流处理后端,需要配置以下参数 -# Redis用户名,Redis 6.0+ ACL 功能支持(可选) -# REDIS_USERNAME= - -# Redis密码,如果没有设置密码,可以留空 -REDIS_PASSWORD=redis123!@# - -# Redis数据库索引,默认为0 -REDIS_DB=0 - -# Redis key的前缀,用于命名空间隔离 -REDIS_PREFIX=stream: - -# 是否为 Redis 连接启用 TLS(适用于要求传输层加密的托管 Redis, -# 如 AWS ElastiCache in-transit encryption、Azure Cache 等)。默认关闭。 -# REDIS_USE_TLS=false -# 可选:用于证书校验与 SNI 的服务器名(当地址是 IP 时有用) -# REDIS_TLS_SERVER_NAME= -# 跳过服务器证书校验。不安全,仅用于开发或自签名证书环境,生产禁用。 -# 私有 CA 签发的证书目前无法通过自定义 CA 文件校验,只能临时使用 skip-verify(开发环境)。 -# REDIS_TLS_INSECURE_SKIP_VERIFY=false - -# 当使用本地存储时,文件保存的基础目录路径 -LOCAL_STORAGE_BASE_DIR=/data/files - -# 是否自动恢复脏数据 -AUTO_RECOVER_DIRTY=true - -TENANT_AES_KEY=weknorarag-api-key-secret-secret - -# AES-256 密钥,用于数据库中 API Key 等敏感字段的落盘加密(必须为32字节) -SYSTEM_AES_KEY=weknora-system-aes-key-32bytes!! - -# SSRF 校验白名单(可选)。逗号分隔;每条可为:精确域名(api.internal)、通配域名(*.example.com)、 -# IPv4(203.0.113.5)、IPv6(2001:db8::1,不带方括号)或 CIDR(10.0.0.0/8, 2001:db8::/32)。 +# ========== J1. SSRF 防护 ========== +# SSRF 校验白名单(可选)。逗号分隔;每条可为:精确域名(api.internal)、通配域名(*.example.com)、 +# IPv4(203.0.113.5)、IPv6(2001:db8::1,不带方括号)或 CIDR(10.0.0.0/8, 2001:db8::/32)。 # 列入者会在 URL 校验等地方绕过常规 SSRF 规则,生产环境请谨慎配置。 # SSRF_WHITELIST=internal.service,*.corp.example,172.16.0.0/12,2001:db8::1,fd00::/8 # # ===== 向量库地址的 SSRF 校验 ===== # 通过 API 创建/测试向量库连接时,地址会经过 SSRF 校验。docker-compose 内置服务 -# (qdrant, milvus, weaviate, doris-fe)已通过 SSRF_WHITELIST_EXTRA 默认放行。 +# (qdrant, milvus, weaviate, doris-fe, searxng)已通过 SSRF_WHITELIST_EXTRA 默认放行。 # 如使用外部私网地址或被拦截端口(5432, 9200 等),请将主机加入 SSRF_WHITELIST_EXTRA # (注意:自定义该变量会覆盖 compose 默认值,需重新包含内置服务名),例如: # SSRF_WHITELIST_EXTRA=searxng,qdrant,milvus,weaviate,doris-fe,my-opensearch.internal @@ -267,536 +694,13 @@ SYSTEM_AES_KEY=weknora-system-aes-key-32bytes!! # OpenSearch 经 published 端口 http://localhost:9200 访问;通过 API 创建该向量库前, # 需把 localhost 加入 SSRF_WHITELIST(9200 是被拦截端口,localhost 是受限主机名): # SSRF_WHITELIST=localhost - -# ===== SearXNG(可选自建网络搜索)===== -# 启用:`docker compose --profile searxng up -d`。 -# SEARXNG_SECRET 不设时使用 docker-compose 中的写死默认值,足够本机/loopback -# 部署使用;如果改 SEARXNG_BIND=0.0.0.0 把实例暴露到 LAN/公网,请务必用 -# `openssl rand -hex 32` 生成并显式设置 SEARXNG_SECRET,否则默认值会被任何人 -# 用于签名 image-proxy URL。 -# -# 后端访问方式(容器化部署):控制台中 Provider 类型选 "SearXNG", -# Instance URL 填 http://searxng:8080 ;docker compose 已默认把 `searxng` 主机名 -# 注入 SSRF_WHITELIST_EXTRA,无需额外配置。 -# -# 本地开发(go run + docker compose -f docker-compose.dev.yml --profile searxng up): -# 后端跑在宿主机,需走 published 端口;Instance URL 填 http://127.0.0.1:8888 , -# 并把 127.0.0.1 加入下方 SSRF_WHITELIST: -# SSRF_WHITELIST=127.0.0.1 -# -# 端口默认仅监听 127.0.0.1,避免把开了 limiter:false 的实例暴露到 LAN。 -# 如需对内网开放,显式覆盖 SEARXNG_BIND=0.0.0.0 并自行加固。 -# SEARXNG_PORT=8888 -# SEARXNG_BIND=127.0.0.1 -# SEARXNG_SECRET= -# SSRF_WHITELIST_EXTRA=searxng - -# 是否开启知识图谱构建和检索(构建阶段需调用大模型,耗时较长) -ENABLE_GRAPH_RAG=false - - -# 配置 JWT_SECRET 用于前端登录刷新Token -JWT_SECRET=weknora-jwt-secret - -# MinIO端口 -# MINIO_PORT=9000 - -# MinIO控制台端口 -# MINIO_CONSOLE_PORT=9001 - -# Embedding并发数,出现429错误时,可调小此参数 -CONCURRENCY_POOL_SIZE=5 - -# (Removed: IMAGE_MAX_CONCURRENT, OCR_BACKEND — moved to Go App module after lightweight refactoring) - -# 如果使用ElasticSearch作为向量存储,需要配置以下参数 -# ElasticSearch地址,例如 http://localhost:9200 -# ELASTICSEARCH_ADDR=your_elasticsearch_addr - -# ElasticSearch用户名,如果需要身份验证 -# ELASTICSEARCH_USERNAME=your_elasticsearch_username - -# ElasticSearch密码,如果需要身份验证 -# ELASTICSEARCH_PASSWORD=your_elasticsearch_password - -# ElasticSearch索引名称,用于存储向量数据 -# ELASTICSEARCH_INDEX=WeKnora - -# 如果使用Qdrant作为向量存储,需要配置以下参数 -# Qdrant服务主机地址 -# QDRANT_HOST=localhost - -# Qdrant服务端口 -# QDRANT_PORT=6334 - -# Qdrant集合名称,用于存储向量数据 -# QDRANT_COLLECTION=weknora_embeddings - -# Qdrant API密钥,如果需要身份验证(可选) -# QDRANT_API_KEY=your_qdrant_api_key - -# 是否启用TLS加密连接(可选,默认为false) -# QDRANT_USE_TLS=false - -# 如果使用腾讯云 Tencent VectorDB 作为向量存储,需要配置以下参数 -# Tencent VectorDB 访问地址 -# TENCENT_VECTORDB_ADDR=http://your-instance.tencentvectordb.com - -# Tencent VectorDB 用户名 -# TENCENT_VECTORDB_USERNAME=root - -# Tencent VectorDB API Key -# TENCENT_VECTORDB_API_KEY=your_tencent_vectordb_api_key - -# Tencent VectorDB 数据库名称(可选,默认 weknora) -# TENCENT_VECTORDB_DATABASE=weknora - -# Tencent VectorDB 集合名前缀(可选,默认 weknora_embeddings;实际集合会按向量维度追加后缀) -# TENCENT_VECTORDB_COLLECTION=weknora_embeddings - -# Tencent VectorDB 集合副本数(可选,默认 1;单节点 QA 环境可设为 0) -# TENCENT_VECTORDB_REPLICA_NUMBER=1 - -# 如果使用MinIO作为文件存储,需要配置以下参数 -# MinIO访问端点(host:port),连接外部MinIO时需修改 -# -# 重要:用于 IM 渠道时,MINIO_ENDPOINT 必须是 IM 平台 / 客户端公网可达的 host。 -# MinIO SDK 生成的 presigned URL 直接使用这个 host,飞书 / 企微 / Slack 等都 -# 无法解析 docker-compose 的内部服务名 minio:9000,会导致 IM 中图片不显示。 -# 推荐做法:配置一个公网域名(如 minio.example.com)并启用 HTTPS。 -# MINIO_ENDPOINT=minio:9000 - -# MinIO访问密钥 -# MINIO_ACCESS_KEY_ID=your_minio_access_key - -# MinIO密钥 -# MINIO_SECRET_ACCESS_KEY=your_minio_secret_key - -# MinIO桶名称,用于存储文件 -# MINIO_BUCKET_NAME=your_minio_bucket_name - -# 如果使用腾讯云COS作为文件存储,需要配置以下参数 -# 腾讯云COS的访问密钥ID -# COS_SECRET_ID=your_cos_secret_id - -# 腾讯云COS的密钥 -# COS_SECRET_KEY=your_cos_secret_key - -# 腾讯云COS的区域,例如 ap-guangzhou -# COS_REGION=your_cos_region - -# 腾讯云COS的桶名称 -# COS_BUCKET_NAME=your_cos_bucket_name - -# 腾讯云COS的应用ID -# COS_APP_ID=your_cos_app_id - -# 腾讯云COS的路径前缀,用于存储文件 -# COS_PATH_PREFIX=your_cos_path_prefix - -# COS_ENABLE_OLD_DOMAIN=true 表示启用旧的域名格式,默认为 true -COS_ENABLE_OLD_DOMAIN=true - -# 如果使用火山引擎TOS作为文件存储,需要配置以下参数 -# 火山引擎TOS的访问端点,例如 https://tos-cn-beijing.volces.com -# TOS_ENDPOINT=https://tos-cn-beijing.volces.com - -# 火山引擎TOS的区域,例如 cn-beijing -# TOS_REGION=cn-beijing - -# 火山引擎TOS访问密钥 Access Key -# TOS_ACCESS_KEY=your_tos_access_key - -# 火山引擎TOS访问密钥 Secret Key -# TOS_SECRET_KEY=your_tos_secret_key - -# 火山引擎TOS桶名称 -# TOS_BUCKET_NAME=your_tos_bucket_name - -# 火山引擎TOS可选路径前缀(可选) -# TOS_PATH_PREFIX=your_tos_path_prefix - -# 火山引擎TOS临时桶名称(可选,用于存放自动过期临时文件) -# TOS_TEMP_BUCKET_NAME=your_tos_temp_bucket_name - -# 火山引擎TOS临时桶区域(可选,默认与主桶相同) -# TOS_TEMP_REGION=your_tos_temp_region - -# 如果使用AWS S3作为文件存储,需要配置以下参数 -# AWS S3的访问端点,例如 https://s3.amazonaws.com -# S3_ENDPOINT=https://s3.amazonaws.com - -# AWS S3的区域,例如 us-east-1 -# S3_REGION=us-east-1 - -# AWS S3访问密钥 Access Key -# S3_ACCESS_KEY=your_s3_access_key - -# AWS S3访问密钥 Secret Key -# S3_SECRET_KEY=your_s3_secret_key - -# AWS S3桶名称 -# S3_BUCKET_NAME=your_s3_bucket_name - -# AWS S3可选路径前缀(可选) -# S3_PATH_PREFIX=your_s3_path_prefix - -# 如果使用华为云OBS作为文件存储,需要配置以下参数 -# 华为云OBS的访问端点,例如 obs.cn-north-4.myhuaweicloud.com -# OBS_ENDPOINT=obs.cn-north-4.myhuaweicloud.com - -# 华为云OBS的区域,默认 cn-north-4 -# OBS_REGION=cn-north-4 - -# 华为云OBS访问密钥 Access Key -# OBS_ACCESS_KEY=your_obs_access_key - -# 华为云OBS访问密钥 Secret Key -# OBS_SECRET_KEY=your_obs_secret_key - -# 华为云OBS桶名称 -# OBS_BUCKET_NAME=your_obs_bucket_name - -# 华为云OBS可选路径前缀(可选) -# OBS_PATH_PREFIX=weknora/ - - -# 华云OBS代理域名(可选,优先级最高) -# OBS_PROXY_DOMAIN=https://your-domain.com/obs - -# 如果解析网络连接使用Web代理,需要配置以下参数 -# WEB_PROXY=your_web_proxy - -# Neo4j 开关 -# NEO4J_ENABLE=false - -# Neo4j的访问地址 -# NEO4J_URI=neo4j://neo4j:7687 - -# Neo4j的用户名和密码 -# NEO4J_USERNAME=neo4j - -# Neo4j的密码 -# NEO4J_PASSWORD=password - -# ========== 文件上传大小限制 ========== -# 统一的文件大小限制(MB),默认为 50MB。 -# 影响:单文件上传、docreader gRPC 消息大小、frontend Nginx 请求体大小、 -# 前端浏览器侧的客户端校验。 -# -# 这是部署期配置:四个层(Go 后端 / Nginx / docreader / 浏览器 bundle) -# 都在容器启动时读取一次,运行中改 env 不会生效。修改后必须同步重启 -# 这四层。曾经尝试做成 system_settings 运行时项,但 Nginx / -# docreader / 浏览器 bundle 不会随之 reload,结果是 UI 改了 200 但 -# Nginx 仍按旧值在 50 处直接 413,所以撤回了 UI 入口(见 -# internal/utils/filesize.go 注释)。 -# MAX_FILE_SIZE_MB=50 - -# ========== Agent Skills Sandbox 配置 ========== -# Sandbox 模式: docker(默认), local, disabled -WEKNORA_SANDBOX_MODE=docker - -# 脚本执行超时时间(秒),默认60 -WEKNORA_SANDBOX_TIMEOUT=60 - - -# ========== Agent 配置 ========== -# 智能体大模型调用默认超时时间(秒),默认 120 -# 对于复杂的推理行为,建议调大此值(如 300 或 600) -# 注:此值为全局默认值。若单个智能体在数据库中配置了独立的 llm_call_timeout,则以智能体配置为准(优先级更高)。 -# WEKNORA_AGENT_LLM_TIMEOUT=300 - -# MCP 工具人工审核等待超时(秒)(可选) -# 当某个 MCP 工具被标记为「需人工审核」后,Agent 会暂停并等待用户确认; -# 该值控制最长等待时间,超时视为拒绝。默认 600(10 分钟)。 -# 也支持 Go duration 写法(如 30s / 5m / 1h)。 -# WEKNORA_AGENT_TOOL_APPROVAL_TIMEOUT=600 - -# ========== Tenant / RBAC 配置 ========== -# 启用空间级 RBAC(基于 tenant_members 表的角色强制鉴权)。 -# - true(默认):开启后,无 active membership 或角色不足的请求会被 403 拒绝 -# - false:观察模式,记录但不拦截,仅用于上线初期审计角色分配的灰度窗口 -# 详细灰度方案见 docs/RBAC说明.md。 -# 注意:开发环境用 Air 热重载时,修改本变量需重启 dev 脚本(仅源代码变更才重读 .env)。 -# WEKNORA_TENANT_ENABLE_RBAC=true - -# 启动时自动把指定 email 的用户提升为系统管理员(SystemAdmin)。 -# - 该用户必须已经注册过;如果尚未注册,启动只会 warn 一行,下次重启会重试 -# - 操作幂等:已是系统管理员的用户重复 bootstrap 是 no-op -# - 仅 PROMOTE,从不 DEMOTE:在 UI 上手动撤销后,下次重启不会被覆盖 -# - 适用于 docker-compose / k8s 部署的初次自举;后续的提权/撤销请走 SystemAdmin 管理页 -# WEKNORA_BOOTSTRAP_SYSTEM_ADMIN_EMAIL= - -# 单个非超管用户可自助创建(成为 Owner)的空间数上限。 -# 仅统计 Owner 角色——被邀请为 Admin/Editor/Viewer 的不计入。 -# 拥有 CanAccessAllTenants 的超管不受此限制。 -# > 0 :启用该值作为硬上限;超出返回 429 -# = 0 :使用 handler 默认值 -# < 0 :彻底关闭限额(不建议在共享部署中使用) -# WEKNORA_TENANT_MAX_OWNED_PER_USER= - -# 创建空间时是否自动生成一个全量权限(full_access)的 API Key, -# 并在「创建空间」接口的响应中返回其明文 token(字段 api_key)。 -# 用于兼容旧版本「创建空间即下发默认 API Key」的行为(破坏性变更的回退开关)。 -# - true :创建空间时自动创建 full_access API Key 并返回 token -# - false(默认):不自动创建,需通过 API Key 管理页/接口显式创建 -# 也可在系统设置中以 tenant.auto_create_api_key 实时调整,无需重启。 -# WEKNORA_TENANT_AUTO_CREATE_API_KEY=false - -# APK 镜像源设置(可选) -APK_MIRROR_ARG=mirrors.tencent.com - -# 如果使用Milvus作为向量存储,需要配置以下参数 -# Milvus服务地址 -# MILVUS_ADDRESS=milvus:19530 - -# Milvus集合名称,用于存储向量数据 -# MILVUS_COLLECTION=weknora_embeddings - -# Milvus向量搜索度量类型,支持 IP(默认)、COSINE、L2 -# 注意:修改度量类型后需要重建collection才能生效 -# MILVUS_METRIC_TYPE=IP - -# Milvus 用户名(可选) -# MILVUS_USERNAME=your_milvus_username - -# Milvus 密码(可选) -# MILVUS_PASSWORD=your_milvus_password - -# Milvus 数据库名称(可选) -# MILVUS_DB_NAME=your_milvus_db_name - -# Docreader 地址 -DOCREADER_ADDR=docreader:50051 - -# Docreader 连接方式 -DOCREADER_TRANSPORT=grpc - -# gRPC TLS 配置(可选) -# GRPC_TLS_ENABLED=false -# GRPC_TLS_CERT=/path/to/server.crt # server: 必填;client: mTLS 时填 -# GRPC_TLS_KEY=/path/to/server.key # 同上 -# GRPC_TLS_CA=/path/to/ca.crt # client: 校验 server 证书用;server: mTLS 时签发客户端证书的 CA -# GRPC_TLS_SERVER_NAME= # 可选;当 DOCREADER_ADDR 用 IP/与证书 CN 不一致时设为证书的 hostname -# GRPC_MTLS_REQUIRE_CLIENT_CERT=false # server 端:true 时强制要求客户端证书(mTLS) - -# gRPC 认证 Token(可选,客户端和服务端需配置相同的值) -# 注意:启用 GRPC_AUTH_TOKEN 时强烈建议同时启用 TLS,否则 token 会以明文随 -# 每次 RPC 在网络上传输。当 GRPC_TLS_ENABLED=true 时客户端会拒绝在不安全 -# 的连接上发送 token。 -# GRPC_AUTH_TOKEN=your-secret-token-at-least-16-bytes - -# Docreader 中 DOCX 解析的最大页数,默认 0(不限制) -# 设为正整数(如 500)可限制超大 Word 文档的解析开销;超过页数的内容将不会继续解析 -# DOCREADER_DOCX_MAX_PAGES=0 - -# Docreader 重型解析器并发控制,适合限制多 PDF/OCR 同时导入时的资源占用 -# 设为 0 可关闭对应限流;默认 1 更适合普通单机或 GPU 资源有限的部署 -# DOCREADER_MARKITDOWN_MAX_WORKERS=1 -# DOCREADER_PDF_RENDER_MAX_WORKERS=1 -# 单个 PDF 内部「扫描页渲染」的并行进程数。pdfium 非线程安全,故按进程并行, -# 每个进程各自打开文档渲染分到的页。大体量扫描件串行渲染在 CPU 受限容器上可能 -# 耗时数小时,这是缩短该耗时的主要手段(实测 874 页 117s→30s/4 进程,→17s/8 进程)。 -# 默认随 CPU 核数自动取 min(4, cpu)。注意:容器需分配足够 CPU 才能吃到加速。 -# DOCREADER_PDF_RENDER_PARALLELISM=4 -# DOCREADER_PDF_RENDER_DPI=200 -# DOCREADER_PDF_JPEG_QUALITY=85 -# 渲染页图的最大长边像素(防止超大页面 PDF 渲染出 100+MP 图、撑爆 gRPC 消息上限) -# 调小可进一步减小图片体积;过小会影响 OCR 识别(密集中文建议 >=1600) -# DOCREADER_PDF_RENDER_MAX_EDGE=2000 -# Layout text: insert spaces when glyph gaps exceed this × median char width (default 0.4). -# DOCREADER_PDF_WORD_GAP_WIDTH_RATIO=0.4 -# Native PDF layout: drop narrow margin columns (arXiv sidebar) below this page-width ratio (default 0.12). -# DOCREADER_PDF_MARGIN_COL_WIDTH_RATIO=0.12 -# DOCREADER_PDF_MIN_HEADING_LINE_CHARS=8 -# Remove U+FFFE/soft-hyphen artifacts; strip vector chart axis text; render chart areas as JPEG. -# DOCREADER_PDF_SANITIZE_TEXT=true -# DOCREADER_PDF_STRIP_CHART_DEBRIS=true -# DOCREADER_PDF_RENDER_VECTOR_FIGURES=true -# 强制 PDF 全页按扫描件解析。适合文本层质量很差、但页面可 OCR 的 PDF。 -# 开启后所有 PDF 页都会渲染成图片再走 OCR/VLM,速度和模型调用成本会上升。 -# DOCREADER_PDF_FORCE_SCANNED=false - -# OpenDataLoader PDF(知识库 parser_engine_rules 指定 engine: opendataloader) -# 需 Java 11+;docreader 镜像已包含 openjdk-17-jre-headless。 -# DOCREADER_ODL_MAX_WORKERS=1 -# fast 模式(默认):DOCREADER_ODL_HYBRID=off -# hybrid 需另起服务;镜像/模型较大,默认 pull/up 与 --full 均不含 odl-hybrid。 -# 默认 --no-ocr(不做 EasyOCR)。 -# 开发:make dev-start DEV_ARGS=--odl-hybrid(本地 build) -# 生产/docker-compose.yml(需 DOCREADER_ODL_HYBRID=docling-fast 等): -# docker compose --profile odl-hybrid up -d --build odl-hybrid -# 该镜像未发布到 Docker Hub(本地 tag: weknora-odl-hybrid:local),make pull-images 不会拉取,只能按需 build。 -# 修改 Dockerfile.odl-hybrid 后需重建:docker compose --profile odl-hybrid build --no-cache odl-hybrid -# ODL_HYBRID_EXTRA_ARGS=--no-ocr -# 扫描件不要用 hybrid OCR,请用 builtin 扫描渲染 + Go OCR,或 MinerU;若坚持 hybrid OCR: -# ODL_HYBRID_EXTRA_ARGS=--force-ocr -# DOCREADER_ODL_HYBRID=docling-fast -# DOCREADER_ODL_HYBRID_URL=http://odl-hybrid:5002 -# 开发环境 hybrid:make dev-start DEV_ARGS=--odl-hybrid -# 仅用 fast 模式(不需 odl-hybrid 容器)时请保持 DOCREADER_ODL_HYBRID=off。 -# ODL_HYBRID_PORT=5002 -# ODL_HYBRID_STARTUP_WAIT_SEC=180 -# DOCREADER_ODL_HYBRID_MODE=auto -# DOCREADER_ODL_HYBRID_FALLBACK=false -# DOCREADER_ODL_MARKDOWN_WITH_HTML=false - -# VLM(视觉模型)单次 HTTP 请求的整体超时时间(秒)。 -# 扫描件整页 OCR(全文+版式抽取)在慢端点上很容易超过默认值, -# 出现 "context deadline exceeded (Client.Timeout exceeded while awaiting headers)" 时调大本值。 -# 默认 180。 -# VLM_HTTP_TIMEOUT_SECONDS=180 - -# 如果使用Weaviate作为向量存储,需要配置以下参数 -# 注意:容器内访问请使用 service:port(不要用 localhost,也不要用宿主机映射端口) -# Weaviate HTTP 地址(Docker 内:weaviate:8080;宿主机访问:localhost:9035) -# WEAVIATE_HOST=weaviate:8080 - -# Weaviate gRPC 地址(Docker 内:weaviate:50051;宿主机访问:localhost:50052) -# WEAVIATE_GRPC_ADDRESS=weaviate:50051 - -# 保留原始 URL 的图片域名白名单(可选,逗号分隔) -# 配置后,这些域名的图片仍会被下载和分析(OCR/字幕),但 markdown 中保留原始 URL, -# 不会被替换为对象存储的 provider:// URL。适用于内部稳定服务(如自建 MinerU)。 +# 保留原始 URL 的图片域名白名单(可选,逗号分隔)。配置后这些域名的图片仍会被下载分析 +# (OCR/字幕),但 markdown 中保留原始 URL,不替换为对象存储的 provider:// URL。 # IMAGE_HOST_KEEP_URL=mineru.internal.example.com -# Weaviate 架构模式 -# WEAVIATE_SCHEME=http - -# 是否开启认证(如果你在 weaviate 里启用了 APIKey/OIDC 认证,再把这里设为 true 并配置 WEAVIATE_API_KEY) -# WEAVIATE_AUTH_ENABLED=false - -# API Key(可选) -# WEAVIATE_API_KEY=your_secret_key - -# Weaviate 数据库名称(可选) -#WEAVIATE_COLLECTION=your_weaviate_db_name - -# 如果使用 Apache Doris 4.1+ 作为向量存储,需要配置以下参数 -# Doris FE 的 MySQL 协议地址(host:port)。容器内推荐用服务名 doris-fe:9030。 -# DORIS_ADDR=doris-fe:9030 - -# Doris FE 的 HTTP 端口,用于 Stream Load 批量字段更新(partial update)。 -# DORIS_HTTP_PORT=8030 - -# Doris 目标数据库名(建库语句:CREATE DATABASE weknora;) -# DORIS_DATABASE=weknora - -# Doris 用户名(默认 root) -# DORIS_USERNAME=root - -# Doris 密码(默认空) -# DORIS_PASSWORD= - -# Doris 表前缀,对应每维度的物理表 _ -# DORIS_TABLE_PREFIX=weknora_embeddings - -# Doris compatibility mode: auto (probe server), legacy (cosine_distance), or inner_product_duplicate (inner_product); NOT interchangeable after tables are created. -# DORIS_COMPAT_MODE= - -# Tavily Search API Key(可选,启用 Tavily 网页搜索提供者) -# TAVILY_API_KEY=tvly-your_tavily_api_key - -# ----- OIDC Auth ----- -# 如果需要启用OIDC登录,设为true并填写后续字段 -# OIDC_AUTH_ENABLE=false - -# (Optional) 用于OIDC自动发现端点配置 -# OIDC_AUTH_ISSUER_URL=http://127.0.0.1:5556/dex -# OIDC_AUTH_DISCOVERY_URL=http://127.0.0.1:5556/dex/.well-known/openid-configuration - -# OIDC_AUTH_PROVIDER_DISPLAY_NAME=OIDC -# OIDC_AUTH_CLIENT_ID=client_id_for_oidc_client -# OIDC_AUTH_CLIENT_SECRET=secret_for_oidc_client - -# (Optional) OIDC 端点配置, 如果上面的OIDC_AUTH_DISCOVERY_URL填过了,下面的这些可以留空 -# OIDC_AUTH_AUTHORIZATION_ENDPOINT=http://127.0.0.1:5556/dex/auth -# OIDC_AUTH_TOKEN_ENDPOINT=http://127.0.0.1:5556/dex/token -# OIDC_AUTH_USER_INFO_ENDPOINT=http://127.0.0.1:5556/dex/userinfo - -# OIDC_AUTH_SCOPES="openid profile email" - -# 说明:OIDC 首次自动开户后的空间策略与本地注册共用同一开关 -# WEKNORA_AUTH_DEFAULT_TENANT_MODE(create_personal / tenantless),无独立配置。 - -# 用于OIDC用于信息中提取用户数据 -# OIDC_USER_INFO_MAPPING_USER_NAME=name -# OIDC_USER_INFO_MAPPING_EMAIL=email - -# Document processing task timeout. Large files may need more than Asynq's default 30m. -# WEKNORA_DOCUMENT_PROCESS_TIMEOUT=2h - -# --- Async pipeline tuning (optional) ----------------------------------------- -# Per-instance guaranteed worker capacity for document parse / manual reparse. -# Core and enrichment can additionally borrow from the shared elastic pool. -# WEKNORA_ASYNQ_CORE_CONCURRENCY=8 - -# Dedicated lightweight post-process/fan-out workers. Keeping this separate -# prevents completed parses from waiting behind long DocReader jobs. -# WEKNORA_ASYNQ_POSTPROCESS_CONCURRENCY=2 - -# Per-instance guaranteed capacity for summary, image, graph, and question -# enrichment tasks. -# WEKNORA_ASYNQ_ENRICHMENT_CONCURRENCY=12 - -# Per-instance capacity for datasource sync, batch operations, and cleanup. -# Maintenance is not eligible for shared burst capacity because its tasks can -# be long-running. -# WEKNORA_ASYNQ_MAINTENANCE_CONCURRENCY=4 - -# Elastic capacity shared by core parse and enrichment queues. Queue dequeue is -# atomic, so these workers safely supplement both dedicated pools. -# WEKNORA_ASYNQ_SHARED_CONCURRENCY=6 - -# Worker pool size for the DEDICATED wiki asynq server. The wiki generation -# pipeline runs on its own pool with its own concurrency budget, hard-isolated -# from the parse pool above: heavy document parsing can never starve wiki -# generation during upload storms, and a wiki burst can never starve -# user-facing parsing. Default 8. Wiki work is synthesis-LLM-bound, so size -# this to your LLM provider's concurrency budget. Also settable in the UI -# (asynq.wiki_concurrency); requires a process restart. -# WEKNORA_WIKI_ASYNQ_CONCURRENCY=8 - -# Default per-model concurrency cap for background tasks (document ingest / -# enrichment). Shared across replicas, keyed by model ID. Only affects -# background LLM/embedding/VLM calls — interactive chat is never gated. -# 0 or negative disables the default cap (per-model overrides in model -# management still apply). Also settable in the management UI under -# Settings → System settings (model.max_concurrency); UI changes take effect -# immediately without a restart. -# WEKNORA_MODEL_MAX_CONCURRENCY=32 - -# Read/write timeout (in milliseconds) the asynq client uses against Redis. -# Default 500ms (writes scale to 1000ms). Bump if you see "i/o timeout" -# errors during heavy multimodal counter DECRs or large batch uploads. -# WEKNORA_REDIS_OP_TIMEOUT_MS=500 - -# Maximum wall time for a single DocReader call. Caps a hung docreader -# (network partition, OCR runaway) so it cannot pin a worker for hours. -# Default 30m. Must be shorter than WEKNORA_DOCUMENT_PROCESS_TIMEOUT. -# WEKNORA_DOCREADER_CALL_TIMEOUT=30m - -# Background sweep that recovers knowledge stuck in "processing" past -# DocumentProcessTimeout + 10m. Set to "false" to opt out (not recommended). -# WEKNORA_HOUSEKEEPING_ENABLED=true - -# Lifetime of parsed chat attachments and their source/extracted image files. -# Messages keep only the selected prompt excerpts needed by conversation -# history. Default: 24 hours. -# WEKNORA_CHAT_ATTACHMENT_TTL_HOURS=24 - -# How long a chat turn waits (seconds) for still-parsing attachments before -# proceeding with only the finished ones. Large or scanned PDFs may need more -# time to parse; raise this if attachments are frequently skipped. Default: 60. -# A per-agent "Attachment Parse Wait Timeout" (when > 0) overrides this global. -# WEKNORA_CHAT_ATTACHMENT_WAIT_TIMEOUT_SEC=60 - -# Chat attachment VLM OCR tuning (scanned / image-only documents). The slow part -# of parsing is per-page VLM OCR, not the document reader. OCR_CONCURRENCY sets -# how many pages are OCR'd in parallel (default 8, matching the page cap so a -# scan finishes in one wave — raising it loads the VLM harder; this stays global -# because all agents share the VLM backend). OCR_MAX_PAGES caps how many pages of -# a scanned document are sent to the VLM (default 8); a per-agent "Scanned OCR -# Max Pages" (when > 0) overrides this global. -# WEKNORA_CHAT_ATTACHMENT_OCR_CONCURRENCY=8 -# WEKNORA_CHAT_ATTACHMENT_OCR_MAX_PAGES=8 +# ========== J2. 代理与并发 ========== +# gin 信任的代理 CIDR(逗号分隔)。默认信任 loopback + 私网段(容器网络内 nginx 已覆盖)。 +# 显式设为空字符串则禁用代理信任(ClientIP 返回直连对端)。生产部署在多层代理后需按实际填写。 +# WEKNORA_TRUSTED_PROXIES= +# ants 协程池大小(Embedding 并发,出现 429 时调小)。 +CONCURRENCY_POOL_SIZE=5 diff --git a/docker-compose.dev.yml b/docker-compose.dev.yml index 1c743923..5e26bd38 100644 --- a/docker-compose.dev.yml +++ b/docker-compose.dev.yml @@ -247,26 +247,78 @@ services: volumes: - docreader-tmp-dev:/tmp/docreader environment: + # ========== 基础 ========== - TZ=${TZ:-Asia/Shanghai} + - LOG_LEVEL=${LOG_LEVEL:-} - DOCREADER_IMAGE_OUTPUT_DIR=/tmp/docreader - - DOCREADER_PDF_FORCE_SCANNED=${DOCREADER_PDF_FORCE_SCANNED:-false} - MAX_FILE_SIZE_MB=${MAX_FILE_SIZE_MB:-} + # docreader 对外 HTTP 抓取的 SSRF 白名单(逗号分隔;与 app 共用同名变量) + - SSRF_WHITELIST=${SSRF_WHITELIST:-} + - SSRF_WHITELIST_EXTRA=${SSRF_WHITELIST_EXTRA:-} + # ========== gRPC 服务端 TLS / 认证 ========== + - GRPC_TLS_ENABLED=${GRPC_TLS_ENABLED:-false} + - GRPC_TLS_CERT=${GRPC_TLS_CERT:-} + - GRPC_TLS_KEY=${GRPC_TLS_KEY:-} + - GRPC_TLS_CA=${GRPC_TLS_CA:-} + - GRPC_TLS_SERVER_NAME=${GRPC_TLS_SERVER_NAME:-} + # true 时强制要求客户端证书(mTLS) + - GRPC_MTLS_REQUIRE_CLIENT_CERT=${GRPC_MTLS_REQUIRE_CLIENT_CERT:-false} + - GRPC_AUTH_TOKEN=${GRPC_AUTH_TOKEN:-} + # ========== gRPC 服务参数 ========== + - DOCREADER_GRPC_MAX_WORKERS=${DOCREADER_GRPC_MAX_WORKERS:-4} + - DOCREADER_GRPC_MAX_FILE_SIZE_MB=${DOCREADER_GRPC_MAX_FILE_SIZE_MB:-${MAX_FILE_SIZE_MB:-50}} + - DOCREADER_GRPC_PORT=${DOCREADER_GRPC_PORT:-50051} + # ========== 解析通用 ========== + - DOCREADER_DOCX_MAX_PAGES=${DOCREADER_DOCX_MAX_PAGES:-0} + - DOCREADER_MARKITDOWN_MAX_WORKERS=${DOCREADER_MARKITDOWN_MAX_WORKERS:-1} + # 出站 HTTP/HTTPS 代理(抓取网页 / 远程图片时) + - DOCREADER_EXTERNAL_HTTP_PROXY=${DOCREADER_EXTERNAL_HTTP_PROXY:-} + - DOCREADER_EXTERNAL_HTTPS_PROXY=${DOCREADER_EXTERNAL_HTTPS_PROXY:-} + # ========== OpenDataLoader hybrid ========== - DOCREADER_ODL_MAX_WORKERS=${DOCREADER_ODL_MAX_WORKERS:-1} - DOCREADER_ODL_HYBRID=${DOCREADER_ODL_HYBRID:-off} - DOCREADER_ODL_HYBRID_URL=${DOCREADER_ODL_HYBRID_URL:-http://odl-hybrid:5002} - DOCREADER_ODL_HYBRID_MODE=${DOCREADER_ODL_HYBRID_MODE:-auto} - DOCREADER_ODL_HYBRID_FALLBACK=${DOCREADER_ODL_HYBRID_FALLBACK:-false} - DOCREADER_ODL_MARKDOWN_WITH_HTML=${DOCREADER_ODL_MARKDOWN_WITH_HTML:-false} - - DOCREADER_MARKITDOWN_MAX_WORKERS=${DOCREADER_MARKITDOWN_MAX_WORKERS:-1} + # ========== PDF 渲染 ========== - DOCREADER_PDF_RENDER_MAX_WORKERS=${DOCREADER_PDF_RENDER_MAX_WORKERS:-1} + # 单个 PDF 内部扫描页渲染并行进程数(pdfium 非线程安全;默认随 CPU min(4,cpu)) + - DOCREADER_PDF_RENDER_PARALLELISM=${DOCREADER_PDF_RENDER_PARALLELISM:-4} - DOCREADER_PDF_RENDER_DPI=${DOCREADER_PDF_RENDER_DPI:-200} - - DOCREADER_PDF_JPEG_QUALITY=${DOCREADER_PDF_JPEG_QUALITY:-90} - - GRPC_TLS_ENABLED=${GRPC_TLS_ENABLED:-false} - - GRPC_TLS_CERT=${GRPC_TLS_CERT:-} - - GRPC_TLS_KEY=${GRPC_TLS_KEY:-} - - GRPC_TLS_CA=${GRPC_TLS_CA:-} - - GRPC_TLS_SERVER_NAME=${GRPC_TLS_SERVER_NAME:-} - - GRPC_AUTH_TOKEN=${GRPC_AUTH_TOKEN:-} + # JPEG 质量(代码默认 85;compose 此前误写 90,已对齐) + - DOCREADER_PDF_JPEG_QUALITY=${DOCREADER_PDF_JPEG_QUALITY:-85} + # 渲染页图最大长边像素(防超大页撑爆 gRPC 消息上限;密集中文建议 >=1600) + - DOCREADER_PDF_RENDER_MAX_EDGE=${DOCREADER_PDF_RENDER_MAX_EDGE:-2000} + # 强制 PDF 全页按扫描件解析(文本层差但可 OCR 时;速度/成本上升) + - DOCREADER_PDF_FORCE_SCANNED=${DOCREADER_PDF_FORCE_SCANNED:-false} + # ========== PDF 版式 / 文本调优 ========== + # glyph 间距超过 median 字宽的多少倍时插空格(默认 0.4) + - DOCREADER_PDF_WORD_GAP_WIDTH_RATIO=${DOCREADER_PDF_WORD_GAP_WIDTH_RATIO:-0.4} + # 丢弃窄边栏(arXiv 侧栏)的页宽比例阈值(默认 0.12) + - DOCREADER_PDF_MARGIN_COL_WIDTH_RATIO=${DOCREADER_PDF_MARGIN_COL_WIDTH_RATIO:-0.12} + - DOCREADER_PDF_MIN_HEADING_LINE_CHARS=${DOCREADER_PDF_MIN_HEADING_LINE_CHARS:-8} + # 清理 U+FFFE/软连字符、剥离矢量图轴文字、图表区按 JPEG 渲染 + - DOCREADER_PDF_SANITIZE_TEXT=${DOCREADER_PDF_SANITIZE_TEXT:-true} + - DOCREADER_PDF_STRIP_CHART_DEBRIS=${DOCREADER_PDF_STRIP_CHART_DEBRIS:-true} + - DOCREADER_PDF_RENDER_VECTOR_FIGURES=${DOCREADER_PDF_RENDER_VECTOR_FIGURES:-true} + - DOCREADER_PDF_DETECT_HEADINGS=${DOCREADER_PDF_DETECT_HEADINGS:-} + - DOCREADER_PDF_LAYOUT_ORDERING=${DOCREADER_PDF_LAYOUT_ORDERING:-} + - DOCREADER_PDF_FILTER_HIDDEN_TEXT=${DOCREADER_PDF_FILTER_HIDDEN_TEXT:-} + # 扫描件判定:图片面积占比 >= 此值视为扫描页(默认留空走代码默认) + - DOCREADER_PDF_SCAN_IMAGE_RATIO=${DOCREADER_PDF_SCAN_IMAGE_RATIO:-} + - DOCREADER_PDF_SCAN_MIN_CHARS=${DOCREADER_PDF_SCAN_MIN_CHARS:-} + # 嵌入图片抽取 + - DOCREADER_PDF_EXTRACT_EMBEDDED_IMAGES=${DOCREADER_PDF_EXTRACT_EMBEDDED_IMAGES:-} + - DOCREADER_PDF_EMBED_MIN_PIXELS=${DOCREADER_PDF_EMBED_MIN_PIXELS:-} + - DOCREADER_PDF_EMBED_MIN_AREA_RATIO=${DOCREADER_PDF_EMBED_MIN_AREA_RATIO:-} + - DOCREADER_PDF_EMBED_REPEAT_PAGE_FRAC=${DOCREADER_PDF_EMBED_REPEAT_PAGE_FRAC:-} + - DOCREADER_PDF_EMBED_MAX_IMAGES=${DOCREADER_PDF_EMBED_MAX_IMAGES:-} + # 图表区识别 + - DOCREADER_PDF_MIN_CHART_REGION_AREA=${DOCREADER_PDF_MIN_CHART_REGION_AREA:-} + - DOCREADER_PDF_MIN_CHART_REGION_CHARS=${DOCREADER_PDF_MIN_CHART_REGION_CHARS:-} + - DOCREADER_PDF_MAX_CHART_REGION_AREA=${DOCREADER_PDF_MAX_CHART_REGION_AREA:-} + - DOCREADER_PDF_MAX_FIGURE_HEIGHT_RATIO=${DOCREADER_PDF_MAX_FIGURE_HEIGHT_RATIO:-} healthcheck: test: ["CMD", "grpc_health_probe", "-addr=localhost:50051"] interval: 30s diff --git a/docker-compose.yml b/docker-compose.yml index 978ec944..1d0150cb 100644 --- a/docker-compose.yml +++ b/docker-compose.yml @@ -63,26 +63,66 @@ services: env_file: - .env environment: - - LOG_LEVEL=${LOG_LEVEL:-} + # ========== 日志 ========== + # 日志级别,默认debug + - LOG_LEVEL=${LOG_LEVEL:-debug} + # 日志文件路径(留空则只输出 stdout);LLM_DEBUG_LOG 开启时同目录写 llm_debug.log + - LOG_PATH=${LOG_PATH:-} + # 自定义日志格式模板(留空用内置默认格式) + - LOG_FORMAT=${LOG_FORMAT:-} + # LLM 调试日志:true 写 LOG_PATH 同目录 llm_debug.log,或指定路径;留空关闭 + - LLM_DEBUG_LOG=${LLM_DEBUG_LOG:-false} + # ========== 运行时基础 ========== + # gin mod + # 可选值: debug(开发模式,有详细日志), release(生产模式,禁用Swagger文档) + - GIN_MODE=${GIN_MODE:-release} + # 时区,默认为Asia/Shanghai + - TZ=${TZ:-Asia/Shanghai} + # 系统默认语言,默认为en-US,优先级为:Accept-Language 请求头 > 此环境变量 > 内置默认值 (en-US) + - WEKNORA_LANGUAGE=${WEKNORA_LANGUAGE:-} + # gin 信任的代理 CIDR(逗号分隔);显式设为空字符串则禁用代理信任。 + # 默认信任 loopback + 私网段(容器网络内 nginx 已覆盖) + # - WEKNORA_TRUSTED_PROXIES=${WEKNORA_TRUSTED_PROXIES:-} + # 启动时自动执行数据库迁移;设为 false 禁用,默认启用 + - AUTO_MIGRATE=${AUTO_MIGRATE:-true} + # 本地存储后端生成下载链接用的外部可达 URL(IM 渠道 local 后端必填) + # - APP_EXTERNAL_URL=${APP_EXTERNAL_URL:-} + # 前端外部 origin,用于邀请链接等绝对 URL(留空走 host-relative) + - FRONTEND_BASE_URL=${FRONTEND_BASE_URL:-} + # ========== 对象存储 - 腾讯云 COS ========== - COS_SECRET_ID=${COS_SECRET_ID:-} - COS_SECRET_KEY=${COS_SECRET_KEY:-} - COS_REGION=${COS_REGION:-} - COS_BUCKET_NAME=${COS_BUCKET_NAME:-} - COS_APP_ID=${COS_APP_ID:-} - COS_PATH_PREFIX=${COS_PATH_PREFIX:-} - - COS_ENABLE_OLD_DOMAIN=${COS_ENABLE_OLD_DOMAIN:-} - - GIN_MODE=${GIN_MODE:-release} + - COS_TEMP_BUCKET_NAME=${COS_TEMP_BUCKET_NAME:-} + - COS_TEMP_REGION=${COS_TEMP_REGION:-} + + # 认证 / 租户 / RBAC / 审计 + # 禁止新用户注册(生产建议 true) - DISABLE_REGISTRATION=${DISABLE_REGISTRATION:-false} - - WEKNORA_AUTH_DEFAULT_TENANT_MODE=${WEKNORA_AUTH_DEFAULT_TENANT_MODE:-} - - WEKNORA_TENANT_SELF_SERVICE_CREATION_ENABLED=${WEKNORA_TENANT_SELF_SERVICE_CREATION_ENABLED:-} + # 公开注册后的默认空间策略:create_personal(默认,自动创建个人空间)/ tenantless + - WEKNORA_AUTH_DEFAULT_TENANT_MODE=${WEKNORA_AUTH_DEFAULT_TENANT_MODE:-create_personal} + # 是否允许普通用户登录后主动创建空间(默认 true;false 仅能邀请加入,超管不受影响) + - WEKNORA_TENANT_SELF_SERVICE_CREATION_ENABLED=${WEKNORA_TENANT_SELF_SERVICE_CREATION_ENABLED:-true} + # 启用跨租户访问(需配合用户的 CanAccessAllTenants 权限;默认 false + - WEKNORA_TENANT_ENABLE_CROSS_TENANT_ACCESS=${WEKNORA_TENANT_ENABLE_CROSS_TENANT_ACCESS:-false} + # 新建空间默认存储配额(GB,默认 10) + - WEKNORA_TENANT_DEFAULT_STORAGE_QUOTA_GB=${WEKNORA_TENANT_DEFAULT_STORAGE_QUOTA_GB:-10} + # 租户邀请链接 TTL(Go duration,默认 168h=7 天) + - WEKNORA_INVITATION_TTL=${WEKNORA_INVITATION_TTL:-168h} + # 审计日志保留天数(0 禁用清理,默认 90) + - WEKNORA_AUDIT_RETENTION_DAYS=${WEKNORA_AUDIT_RETENTION_DAYS:-90} + # 数据库设置 - DB_DRIVER=${DB_DRIVER:-postgres} - DB_HOST=${DB_HOST:-postgres} - DB_PORT=${DB_PORT:-5432} - DB_USER=${DB_USER:-} - DB_PASSWORD=${DB_PASSWORD:-} - DB_NAME=${DB_NAME:-} - - TZ=${TZ:-Asia/Shanghai} - - WEKNORA_LANGUAGE=${WEKNORA_LANGUAGE:-zh-CN} + # SQLite 驱动时使用(DB_DRIVER=sqlite);postgres 驱动忽略 + # - DB_PATH=${DB_PATH:-} # ========== Langfuse (optional observability) ========== # Enabled automatically when LANGFUSE_PUBLIC_KEY + LANGFUSE_SECRET_KEY are set. # See docs/Langfuse集成.md for the full list of tuning knobs. @@ -98,7 +138,8 @@ services: - LANGFUSE_REQUEST_TIMEOUT=${LANGFUSE_REQUEST_TIMEOUT:-} - LANGFUSE_SAMPLE_RATE=${LANGFUSE_SAMPLE_RATE:-} - LANGFUSE_DEBUG=${LANGFUSE_DEBUG:-} - - RETRIEVE_DRIVER=${RETRIEVE_DRIVER:-} + # 向量库 / 检索引擎 + - RETRIEVE_DRIVER=${RETRIEVE_DRIVER:-postgres} - ELASTICSEARCH_ADDR=${ELASTICSEARCH_ADDR:-} - ELASTICSEARCH_USERNAME=${ELASTICSEARCH_USERNAME:-} - ELASTICSEARCH_PASSWORD=${ELASTICSEARCH_PASSWORD:-} @@ -111,6 +152,25 @@ services: - MILVUS_ADDRESS=${MILVUS_ADDRESS:-milvus:19530} - MILVUS_COLLECTION=${MILVUS_COLLECTION:-weknora_embeddings} - MILVUS_METRIC_TYPE=${MILVUS_METRIC_TYPE:-IP} + - MILVUS_USERNAME=${MILVUS_USERNAME:-} + - MILVUS_PASSWORD=${MILVUS_PASSWORD:-} + - MILVUS_DB_NAME=${MILVUS_DB_NAME:-} + # 多向量库并行检索超时(秒,RETRIEVE_DRIVER 含多个驱动时生效) + - MULTI_STORE_RETRIEVE_TIMEOUT_SEC=${MULTI_STORE_RETRIEVE_TIMEOUT_SEC:-} + # ========== OpenSearch(RETRIEVE_DRIVER=opensearch)========== + - OPENSEARCH_ADDR=${OPENSEARCH_ADDR:-} + - OPENSEARCH_USERNAME=${OPENSEARCH_USERNAME:-} + - OPENSEARCH_PASSWORD=${OPENSEARCH_PASSWORD:-} + - OPENSEARCH_INSECURE_SKIP_VERIFY=${OPENSEARCH_INSECURE_SKIP_VERIFY:-false} + - OPENSEARCH_INDEX=${OPENSEARCH_INDEX:-} + # ========== 腾讯云 VectorDB(RETRIEVE_DRIVER=tencent_vectordb)========== + - TENCENT_VECTORDB_ADDR=${TENCENT_VECTORDB_ADDR:-} + - TENCENT_VECTORDB_USERNAME=${TENCENT_VECTORDB_USERNAME:-} + - TENCENT_VECTORDB_API_KEY=${TENCENT_VECTORDB_API_KEY:-} + - TENCENT_VECTORDB_DATABASE=${TENCENT_VECTORDB_DATABASE:-} + - TENCENT_VECTORDB_COLLECTION=${TENCENT_VECTORDB_COLLECTION:-} + - TENCENT_VECTORDB_REPLICA_NUMBER=${TENCENT_VECTORDB_REPLICA_NUMBER:-} + # Docreader 解析调优 - DOCREADER_ADDR=${DOCREADER_ADDR:-docreader:50051} - DOCREADER_TRANSPORT=${DOCREADER_TRANSPORT:-grpc} # docreader gRPC TLS / 认证(客户端侧) @@ -120,45 +180,104 @@ services: - GRPC_TLS_CA=${GRPC_TLS_CA:-} - GRPC_TLS_SERVER_NAME=${GRPC_TLS_SERVER_NAME:-} - GRPC_AUTH_TOKEN=${GRPC_AUTH_TOKEN:-} - - WEAVIATE_HOST=${WEAVIATE_HOST:-weaviate:8080} - - WEAVIATE_GRPC_ADDRESS=${WEAVIATE_GRPC_ADDRESS:-weaviate:50051} - - WEAVIATE_SCHEME=${WEAVIATE_SCHEME:-http} - - WEAVIATE_AUTH_ENABLED=${WEAVIATE_AUTH_ENABLED:-false} + - WEAVIATE_HOST=${WEAVIATE_HOST:-} + - WEAVIATE_GRPC_ADDRESS=${WEAVIATE_GRPC_ADDRESS:-} + - WEAVIATE_SCHEME=${WEAVIATE_SCHEME:-} + - WEAVIATE_AUTH_ENABLED=${WEAVIATE_AUTH_ENABLED:-} - WEAVIATE_API_KEY=${WEAVIATE_API_KEY:-} - - DORIS_ADDR=${DORIS_ADDR:-doris-fe:9030} - - DORIS_HTTP_PORT=${DORIS_HTTP_PORT:-8030} - - DORIS_DATABASE=${DORIS_DATABASE:-weknora} - - DORIS_USERNAME=${DORIS_USERNAME:-root} + - DORIS_ADDR=${DORIS_ADDR:-} + - DORIS_HTTP_PORT=${DORIS_HTTP_PORT:-} + - DORIS_DATABASE=${DORIS_DATABASE:-} + - DORIS_USERNAME=${DORIS_USERNAME:-} - DORIS_PASSWORD=${DORIS_PASSWORD:-} - - DORIS_TABLE_PREFIX=${DORIS_TABLE_PREFIX:-weknora_embeddings} - - DORIS_COMPAT_MODE=${DORIS_COMPAT_MODE:-auto} - - STORAGE_TYPE=${STORAGE_TYPE:-} - - LOCAL_STORAGE_BASE_DIR=${LOCAL_STORAGE_BASE_DIR:-} + - DORIS_TABLE_PREFIX=${DORIS_TABLE_PREFIX:-} + - DORIS_COMPAT_MODE=${DORIS_COMPAT_MODE:-} + # ========== 文件存储 ========== + - STORAGE_TYPE=${STORAGE_TYPE:-local} + # 允许用户使用的存储类型白名单(逗号分隔,留空允许全部) + - STORAGE_ALLOW_LIST=${STORAGE_ALLOW_LIST:-} + - LOCAL_STORAGE_BASE_DIR=${LOCAL_STORAGE_BASE_DIR:-/data/files} + # 本地存储路径前缀(legacy 回填用,一般留空) + - LOCAL_STORAGE_PATH_PREFIX=${LOCAL_STORAGE_PATH_PREFIX:-} - AUTO_RECOVER_DIRTY=${AUTO_RECOVER_DIRTY:-true} + # ----- MinIO(STORAGE_TYPE=minio)----- - MINIO_ENDPOINT=${MINIO_ENDPOINT:-minio:9000} - MINIO_ACCESS_KEY_ID=${MINIO_ACCESS_KEY_ID:-minioadmin} - MINIO_SECRET_ACCESS_KEY=${MINIO_SECRET_ACCESS_KEY:-minioadmin} - MINIO_BUCKET_NAME=${MINIO_BUCKET_NAME:-} + - MINIO_PATH_PREFIX=${MINIO_PATH_PREFIX:-} + - MINIO_USE_SSL=${MINIO_USE_SSL:-false} + # ----- 火山引擎 TOS(STORAGE_TYPE=tos)----- + - TOS_ENDPOINT=${TOS_ENDPOINT:-} + - TOS_REGION=${TOS_REGION:-} + - TOS_ACCESS_KEY=${TOS_ACCESS_KEY:-} + - TOS_SECRET_KEY=${TOS_SECRET_KEY:-} + - TOS_BUCKET_NAME=${TOS_BUCKET_NAME:-} + - TOS_PATH_PREFIX=${TOS_PATH_PREFIX:-} + - TOS_TEMP_BUCKET_NAME=${TOS_TEMP_BUCKET_NAME:-} + - TOS_TEMP_REGION=${TOS_TEMP_REGION:-} + # ----- AWS S3(STORAGE_TYPE=s3)----- + - S3_ENDPOINT=${S3_ENDPOINT:-} + - S3_REGION=${S3_REGION:-} + - S3_ACCESS_KEY=${S3_ACCESS_KEY:-} + - S3_SECRET_KEY=${S3_SECRET_KEY:-} + - S3_BUCKET_NAME=${S3_BUCKET_NAME:-} + - S3_PATH_PREFIX=${S3_PATH_PREFIX:-weknora/} + - S3_USE_SSL=${S3_USE_SSL:-true} + - S3_FORCE_PATH_STYLE=${S3_FORCE_PATH_STYLE:-false} + # ----- 华为云 OBS(STORAGE_TYPE=obs)----- - OBS_ENDPOINT=${OBS_ENDPOINT:-} - OBS_REGION=${OBS_REGION:-} - OBS_ACCESS_KEY=${OBS_ACCESS_KEY:-} - OBS_SECRET_KEY=${OBS_SECRET_KEY:-} - OBS_BUCKET_NAME=${OBS_BUCKET_NAME:-} - - OBS_PATH_PREFIX=${OBS_PATH_PREFIX:-} + - OBS_PATH_PREFIX=${OBS_PATH_PREFIX:-weknora/} + - OBS_USE_SSL=${OBS_USE_SSL:-true} - OBS_PROXY_DOMAIN=${OBS_PROXY_DOMAIN:-} + # ----- 阿里云 OSS(STORAGE_TYPE=oss)----- + - OSS_ENDPOINT=${OSS_ENDPOINT:-} + - OSS_REGION=${OSS_REGION:-} + - OSS_ACCESS_KEY=${OSS_ACCESS_KEY:-} + - OSS_SECRET_KEY=${OSS_SECRET_KEY:-} + - OSS_BUCKET_NAME=${OSS_BUCKET_NAME:-} + - OSS_PATH_PREFIX=${OSS_PATH_PREFIX:-weknora/} + - OSS_TEMP_BUCKET_NAME=${OSS_TEMP_BUCKET_NAME:-} + - OSS_TEMP_REGION=${OSS_TEMP_REGION:-} - OLLAMA_BASE_URL=${OLLAMA_BASE_URL:-http://host.docker.internal:11434} + # Ollama 不可用时仅告警不阻断(true 时生效) + - OLLAMA_OPTIONAL=${OLLAMA_OPTIONAL:-true} + # 批量 embedding 大小 + - BATCH_EMBED_SIZE=${BATCH_EMBED_SIZE:-} + # VLM 单次 HTTP 请求超时(秒,默认 180) + - VLM_HTTP_TIMEOUT_SECONDS=${VLM_HTTP_TIMEOUT_SECONDS:-} + # LLM 流原始转储(排查上下文问题;1 启用,默认目录 ~/.weknora/investigate/llm-stream) + - WEKNORA_LLM_STREAM_RAW_DUMP=${WEKNORA_LLM_STREAM_RAW_DUMP:-} + - WEKNORA_LLM_STREAM_RAW_DUMP_DIR=${WEKNORA_LLM_STREAM_RAW_DUMP_DIR:-} - STREAM_MANAGER_TYPE=${STREAM_MANAGER_TYPE:-} - REDIS_ADDR=${REDIS_ADDR:-redis:6379} - REDIS_USERNAME=${REDIS_USERNAME:-} - REDIS_PASSWORD=${REDIS_PASSWORD:-} - REDIS_DB=${REDIS_DB:-} - REDIS_PREFIX=${REDIS_PREFIX:-} - - ENABLE_GRAPH_RAG=${ENABLE_GRAPH_RAG:-} + # Redis TLS(托管 Redis 加密传输;REDIS_USE_TLS=true 时生效,详见 .env.example) + - REDIS_TLS_SERVER_NAME=${REDIS_TLS_SERVER_NAME:-} + - REDIS_TLS_INSECURE_SKIP_VERIFY=${REDIS_TLS_INSECURE_SKIP_VERIFY:-} + # Redis 频道命名空间后缀(多部署共享同一 Redis 时隔离用) + - WEKNORA_REDIS_NAMESPACE=${WEKNORA_REDIS_NAMESPACE:-} + # Asynq 客户端 Redis 读写超时(毫秒,默认 500) + - WEKNORA_REDIS_OP_TIMEOUT_MS=${WEKNORA_REDIS_OP_TIMEOUT_MS:-} + # 知识图谱唯一开关是 NEO4J_ENABLE(见下方)。ENABLE_GRAPH_RAG 自 v0.1.6 起已被 + # NEO4J_ENABLE 取代,Go 主应用不再读取,此处不再透传。 - NEO4J_ENABLE=${NEO4J_ENABLE:-} - NEO4J_URI=${NEO4J_URI:-bolt://neo4j:7687} - NEO4J_USERNAME=${NEO4J_USERNAME:-neo4j} - NEO4J_PASSWORD=${NEO4J_PASSWORD:-password} - - TENANT_AES_KEY=${TENANT_AES_KEY:-} + # 数据库中 API Key 等敏感字段落盘加密的 AES-256 主密钥(必须为 32 字节)。 + # 加密范围:tenants.api_key、模型 API key、向量库凭证、web search provider key、 + # WeKnoraCloud.AppSecret 等。缺失或长度不对时,已加密字段无法解密(UI 显示为空, + # 需重新填写)。生产环境必须显式设置且妥善保管,丢失则所有加密数据不可恢复。 + # (TENANT_AES_KEY / CRYPTO_MASTER_KEY / CRYPTO_SALT 已废弃:v0.4.0 起加密统一 + # 改用 SYSTEM_AES_KEY,Go 主应用不再读取这三个变量。) - SYSTEM_AES_KEY=${SYSTEM_AES_KEY:-} - SSRF_WHITELIST=${SSRF_WHITELIST:-} # 保留原始 URL 的图片域名白名单(逗号分隔,不替换为 provider://) @@ -174,13 +293,16 @@ services: - SSRF_WHITELIST_EXTRA=${SSRF_WHITELIST_EXTRA:-searxng,qdrant,milvus,weaviate,doris-fe} - CONCURRENCY_POOL_SIZE=${CONCURRENCY_POOL_SIZE:-5} - JWT_SECRET=${JWT_SECRET:-} - # Crypto: 主密钥和盐值,用于 AppSecret 等敏感字段的 AES-256 加密 - # 若不设置则自动生成并持久化到 data-files volume(/data/files/.crypto_state.json) - # 重启时自动从文件恢复,保证已加密数据可继续解密 - - CRYPTO_MASTER_KEY=${CRYPTO_MASTER_KEY:-} - - CRYPTO_SALT=${CRYPTO_SALT:-} # File size limit (in MB) - MAX_FILE_SIZE_MB=${MAX_FILE_SIZE_MB:-50} + # 文档处理任务总超时(Go duration,默认 2h) + - WEKNORA_DOCUMENT_PROCESS_TIMEOUT=${WEKNORA_DOCUMENT_PROCESS_TIMEOUT:-} + # 单次 DocReader RPC 超时(默认 30m,须小于上一项) + - WEKNORA_DOCREADER_CALL_TIMEOUT=${WEKNORA_DOCREADER_CALL_TIMEOUT:-} + # 知识库巡检回收(回收卡在 processing 的脏数据;false 禁用,不建议) + - WEKNORA_HOUSEKEEPING_ENABLED=${WEKNORA_HOUSEKEEPING_ENABLED:-} + # 自定义 Skills 目录(挂载后指定,免重建镜像) + - WEKNORA_SKILLS_DIR=${WEKNORA_SKILLS_DIR:-} - WEKNORA_CHAT_ATTACHMENT_TTL_HOURS=${WEKNORA_CHAT_ATTACHMENT_TTL_HOURS:-24} - WEKNORA_CHAT_ATTACHMENT_WAIT_TIMEOUT_SEC=${WEKNORA_CHAT_ATTACHMENT_WAIT_TIMEOUT_SEC:-60} - WEKNORA_CHAT_ATTACHMENT_OCR_CONCURRENCY=${WEKNORA_CHAT_ATTACHMENT_OCR_CONCURRENCY:-8} @@ -192,6 +314,8 @@ services: # Agent LLM call timeout - WEKNORA_AGENT_LLM_TIMEOUT=${WEKNORA_AGENT_LLM_TIMEOUT:-} - WEKNORA_AGENT_TOOL_APPROVAL_TIMEOUT=${WEKNORA_AGENT_TOOL_APPROVAL_TIMEOUT:-} + # MCP 工具人工审批失败时是否放行(true 放行 / 默认 fail-close 拒绝) + - WEKNORA_AGENT_TOOL_APPROVAL_FAIL_OPEN=${WEKNORA_AGENT_TOOL_APPROVAL_FAIL_OPEN:-} # Tenant / RBAC(详见 docs/RBAC说明.md 与 .env.example 注释) # - WEKNORA_TENANT_ENABLE_RBAC: 是否启用空间角色强制鉴权(true / false),默认 true # - WEKNORA_TENANT_MAX_OWNED_PER_USER: 单个非超管自助创建空间的上限 @@ -210,6 +334,19 @@ services: - WEKNORA_MODEL_MAX_CONCURRENCY=${WEKNORA_MODEL_MAX_CONCURRENCY:-32} - APK_MIRROR_ARG=${APK_MIRROR_ARG:-} - WEKNORA_BOOTSTRAP_SYSTEM_ADMIN_EMAIL=${WEKNORA_BOOTSTRAP_SYSTEM_ADMIN_EMAIL:-} + # ========== OIDC 认证(可选,OIDC_AUTH_ENABLE=true 启用,详见 .env.example)========== + - OIDC_AUTH_ENABLE=${OIDC_AUTH_ENABLE:-false} + - OIDC_AUTH_ISSUER_URL=${OIDC_AUTH_ISSUER_URL:-} + - OIDC_AUTH_DISCOVERY_URL=${OIDC_AUTH_DISCOVERY_URL:-} + - OIDC_AUTH_PROVIDER_DISPLAY_NAME=${OIDC_AUTH_PROVIDER_DISPLAY_NAME:-} + - OIDC_AUTH_CLIENT_ID=${OIDC_AUTH_CLIENT_ID:-} + - OIDC_AUTH_CLIENT_SECRET=${OIDC_AUTH_CLIENT_SECRET:-} + - OIDC_AUTH_AUTHORIZATION_ENDPOINT=${OIDC_AUTH_AUTHORIZATION_ENDPOINT:-} + - OIDC_AUTH_TOKEN_ENDPOINT=${OIDC_AUTH_TOKEN_ENDPOINT:-} + - OIDC_AUTH_USER_INFO_ENDPOINT=${OIDC_AUTH_USER_INFO_ENDPOINT:-} + - OIDC_AUTH_SCOPES=${OIDC_AUTH_SCOPES:-} + - OIDC_USER_INFO_MAPPING_USER_NAME=${OIDC_USER_INFO_MAPPING_USER_NAME:-} + - OIDC_USER_INFO_MAPPING_EMAIL=${OIDC_USER_INFO_MAPPING_EMAIL:-} depends_on: redis: condition: service_started @@ -254,25 +391,78 @@ services: volumes: - docreader-tmp:/tmp/docreader environment: + # ========== 基础 ========== - TZ=${TZ:-Asia/Shanghai} + - LOG_LEVEL=${LOG_LEVEL:-} - DOCREADER_IMAGE_OUTPUT_DIR=/tmp/docreader - - DOCREADER_PDF_FORCE_SCANNED=${DOCREADER_PDF_FORCE_SCANNED:-false} - MAX_FILE_SIZE_MB=${MAX_FILE_SIZE_MB:-} + # docreader 对外 HTTP 抓取的 SSRF 白名单(逗号分隔;与 app 共用同名变量) + - SSRF_WHITELIST=${SSRF_WHITELIST:-} + - SSRF_WHITELIST_EXTRA=${SSRF_WHITELIST_EXTRA:-} + # ========== gRPC 服务端 TLS / 认证 ========== + - GRPC_TLS_ENABLED=${GRPC_TLS_ENABLED:-false} + - GRPC_TLS_CERT=${GRPC_TLS_CERT:-} + - GRPC_TLS_KEY=${GRPC_TLS_KEY:-} + - GRPC_TLS_CA=${GRPC_TLS_CA:-} + - GRPC_TLS_SERVER_NAME=${GRPC_TLS_SERVER_NAME:-} + # true 时强制要求客户端证书(mTLS) + - GRPC_MTLS_REQUIRE_CLIENT_CERT=${GRPC_MTLS_REQUIRE_CLIENT_CERT:-false} + - GRPC_AUTH_TOKEN=${GRPC_AUTH_TOKEN:-} + # ========== gRPC 服务参数 ========== + - DOCREADER_GRPC_MAX_WORKERS=${DOCREADER_GRPC_MAX_WORKERS:-4} + - DOCREADER_GRPC_MAX_FILE_SIZE_MB=${DOCREADER_GRPC_MAX_FILE_SIZE_MB:-${MAX_FILE_SIZE_MB:-50}} + - DOCREADER_GRPC_PORT=${DOCREADER_GRPC_PORT:-50051} + # ========== 解析通用 ========== + - DOCREADER_DOCX_MAX_PAGES=${DOCREADER_DOCX_MAX_PAGES:-0} + - DOCREADER_MARKITDOWN_MAX_WORKERS=${DOCREADER_MARKITDOWN_MAX_WORKERS:-1} + # 出站 HTTP/HTTPS 代理(抓取网页 / 远程图片时) + - DOCREADER_EXTERNAL_HTTP_PROXY=${DOCREADER_EXTERNAL_HTTP_PROXY:-} + - DOCREADER_EXTERNAL_HTTPS_PROXY=${DOCREADER_EXTERNAL_HTTPS_PROXY:-} + # ========== OpenDataLoader hybrid ========== - DOCREADER_ODL_MAX_WORKERS=${DOCREADER_ODL_MAX_WORKERS:-1} - DOCREADER_ODL_HYBRID=${DOCREADER_ODL_HYBRID:-off} - DOCREADER_ODL_HYBRID_URL=${DOCREADER_ODL_HYBRID_URL:-http://odl-hybrid:5002} - DOCREADER_ODL_HYBRID_MODE=${DOCREADER_ODL_HYBRID_MODE:-auto} - DOCREADER_ODL_HYBRID_FALLBACK=${DOCREADER_ODL_HYBRID_FALLBACK:-false} - DOCREADER_ODL_MARKDOWN_WITH_HTML=${DOCREADER_ODL_MARKDOWN_WITH_HTML:-false} - - DOCREADER_MARKITDOWN_MAX_WORKERS=${DOCREADER_MARKITDOWN_MAX_WORKERS:-1} + # ========== PDF 渲染 ========== - DOCREADER_PDF_RENDER_MAX_WORKERS=${DOCREADER_PDF_RENDER_MAX_WORKERS:-1} + # 单个 PDF 内部扫描页渲染并行进程数(pdfium 非线程安全;默认随 CPU min(4,cpu)) + - DOCREADER_PDF_RENDER_PARALLELISM=${DOCREADER_PDF_RENDER_PARALLELISM:-4} - DOCREADER_PDF_RENDER_DPI=${DOCREADER_PDF_RENDER_DPI:-200} - - DOCREADER_PDF_JPEG_QUALITY=${DOCREADER_PDF_JPEG_QUALITY:-90} - - GRPC_TLS_ENABLED=${GRPC_TLS_ENABLED:-false} - - GRPC_TLS_CERT=${GRPC_TLS_CERT:-} - - GRPC_TLS_KEY=${GRPC_TLS_KEY:-} - - GRPC_TLS_CA=${GRPC_TLS_CA:-} - - GRPC_AUTH_TOKEN=${GRPC_AUTH_TOKEN:-} + # JPEG 质量(代码默认 85;compose 此前误写 90,已对齐) + - DOCREADER_PDF_JPEG_QUALITY=${DOCREADER_PDF_JPEG_QUALITY:-85} + # 渲染页图最大长边像素(防超大页撑爆 gRPC 消息上限;密集中文建议 >=1600) + - DOCREADER_PDF_RENDER_MAX_EDGE=${DOCREADER_PDF_RENDER_MAX_EDGE:-2000} + # 强制 PDF 全页按扫描件解析(文本层差但可 OCR 时;速度/成本上升) + - DOCREADER_PDF_FORCE_SCANNED=${DOCREADER_PDF_FORCE_SCANNED:-false} + # ========== PDF 版式 / 文本调优 ========== + # glyph 间距超过 median 字宽的多少倍时插空格(默认 0.4) + - DOCREADER_PDF_WORD_GAP_WIDTH_RATIO=${DOCREADER_PDF_WORD_GAP_WIDTH_RATIO:-0.4} + # 丢弃窄边栏(arXiv 侧栏)的页宽比例阈值(默认 0.12) + - DOCREADER_PDF_MARGIN_COL_WIDTH_RATIO=${DOCREADER_PDF_MARGIN_COL_WIDTH_RATIO:-0.12} + - DOCREADER_PDF_MIN_HEADING_LINE_CHARS=${DOCREADER_PDF_MIN_HEADING_LINE_CHARS:-8} + # 清理 U+FFFE/软连字符、剥离矢量图轴文字、图表区按 JPEG 渲染 + - DOCREADER_PDF_SANITIZE_TEXT=${DOCREADER_PDF_SANITIZE_TEXT:-true} + - DOCREADER_PDF_STRIP_CHART_DEBRIS=${DOCREADER_PDF_STRIP_CHART_DEBRIS:-true} + - DOCREADER_PDF_RENDER_VECTOR_FIGURES=${DOCREADER_PDF_RENDER_VECTOR_FIGURES:-true} + - DOCREADER_PDF_DETECT_HEADINGS=${DOCREADER_PDF_DETECT_HEADINGS:-} + - DOCREADER_PDF_LAYOUT_ORDERING=${DOCREADER_PDF_LAYOUT_ORDERING:-} + - DOCREADER_PDF_FILTER_HIDDEN_TEXT=${DOCREADER_PDF_FILTER_HIDDEN_TEXT:-} + # 扫描件判定:图片面积占比 >= 此值视为扫描页(默认留空走代码默认) + - DOCREADER_PDF_SCAN_IMAGE_RATIO=${DOCREADER_PDF_SCAN_IMAGE_RATIO:-} + - DOCREADER_PDF_SCAN_MIN_CHARS=${DOCREADER_PDF_SCAN_MIN_CHARS:-} + # 嵌入图片抽取 + - DOCREADER_PDF_EXTRACT_EMBEDDED_IMAGES=${DOCREADER_PDF_EXTRACT_EMBEDDED_IMAGES:-} + - DOCREADER_PDF_EMBED_MIN_PIXELS=${DOCREADER_PDF_EMBED_MIN_PIXELS:-} + - DOCREADER_PDF_EMBED_MIN_AREA_RATIO=${DOCREADER_PDF_EMBED_MIN_AREA_RATIO:-} + - DOCREADER_PDF_EMBED_REPEAT_PAGE_FRAC=${DOCREADER_PDF_EMBED_REPEAT_PAGE_FRAC:-} + - DOCREADER_PDF_EMBED_MAX_IMAGES=${DOCREADER_PDF_EMBED_MAX_IMAGES:-} + # 图表区识别 + - DOCREADER_PDF_MIN_CHART_REGION_AREA=${DOCREADER_PDF_MIN_CHART_REGION_AREA:-} + - DOCREADER_PDF_MIN_CHART_REGION_CHARS=${DOCREADER_PDF_MIN_CHART_REGION_CHARS:-} + - DOCREADER_PDF_MAX_CHART_REGION_AREA=${DOCREADER_PDF_MAX_CHART_REGION_AREA:-} + - DOCREADER_PDF_MAX_FIGURE_HEIGHT_RATIO=${DOCREADER_PDF_MAX_FIGURE_HEIGHT_RATIO:-} healthcheck: test: ["CMD", "grpc_health_probe", "-addr=localhost:50051"] interval: 30s @@ -790,6 +980,14 @@ services: environment: - WEKNORA_BASE_URL=http://app:8080/api/v1 - WEKNORA_API_KEY=${WEKNORA_API_KEY:-} + # HTTP/SSE 传输必填:mcp-server 启动时若缺少此项会拒绝启动(客户端以 Authorization: Bearer 携带) + - MCP_SERVER_AUTH_TOKEN=${MCP_SERVER_AUTH_TOKEN:-} + # 调用 WeKnora REST 的读超时(秒,默认 300) + - WEKNORA_CHAT_TIMEOUT=${WEKNORA_CHAT_TIMEOUT:-300} + # 是否校验 WeKnora 后端 TLS 证书(默认 true;自签证书可设 false) + - WEKNORA_VERIFY_SSL=${WEKNORA_VERIFY_SSL:-true} + # 允许上传的目录白名单(逗号分隔;留空禁用文件上传工具) + - MCP_ALLOWED_UPLOAD_DIRS=${MCP_ALLOWED_UPLOAD_DIRS:-} depends_on: app: condition: service_healthy diff --git a/helm/templates/NOTES.txt b/helm/templates/NOTES.txt index 4c4030b7..d74b4946 100644 --- a/helm/templates/NOTES.txt +++ b/helm/templates/NOTES.txt @@ -104,10 +104,11 @@ Supported LLM backends: Neo4j is enabled for GraphRAG feature. -To use GraphRAG, set ENABLE_GRAPH_RAG=true in the app: +To use GraphRAG, enable Neo4j. NEO4J_ENABLE is the sole graph switch and is +injected automatically when neo4j.enabled=true (no need to set ENABLE_GRAPH_RAG, +which is deprecated and no longer read by the app): helm upgrade {{ .Release.Name }} ./helm \ - --set app.env.ENABLE_GRAPH_RAG=true \ --set neo4j.enabled=true \ --set neo4j.password= diff --git a/helm/templates/app.yaml b/helm/templates/app.yaml index b475fcef..f0e18a22 100644 --- a/helm/templates/app.yaml +++ b/helm/templates/app.yaml @@ -99,11 +99,6 @@ spec: secretKeyRef: name: {{ include "weknora.secretName" . }} key: JWT_SECRET - - name: TENANT_AES_KEY - valueFrom: - secretKeyRef: - name: {{ include "weknora.secretName" . }} - key: TENANT_AES_KEY - name: SYSTEM_AES_KEY valueFrom: secretKeyRef: @@ -124,10 +119,12 @@ spec: value: {{ .Values.app.env.AUTO_RECOVER_DIRTY | quote }} - name: CONCURRENCY_POOL_SIZE value: {{ .Values.app.env.CONCURRENCY_POOL_SIZE | quote }} - - name: ENABLE_GRAPH_RAG - value: {{ .Values.app.env.ENABLE_GRAPH_RAG | quote }} {{- if .Values.neo4j.enabled }} # Neo4j configuration (for GraphRAG) + # NEO4J_ENABLE 是知识图谱的唯一开关(Go 代码认它,不认 ENABLE_GRAPH_RAG)。 + # neo4j.enabled=true 时自动注入,无需用户单独设置。 + - name: NEO4J_ENABLE + value: "true" - name: NEO4J_URI value: "bolt://neo4j:7687" - name: NEO4J_USERNAME diff --git a/helm/templates/secrets.yaml b/helm/templates/secrets.yaml index e09e9de5..e029a10a 100644 --- a/helm/templates/secrets.yaml +++ b/helm/templates/secrets.yaml @@ -13,23 +13,18 @@ IMPORTANT: For production deployments, use one of these approaches: {{- if not .Values.secrets.existingSecret }} {{/* Reuse the previously generated random keys on upgrade. Without this lookup, -randAlphaNum would re-roll on every `helm upgrade` and rotate SYSTEM_AES_KEY / -TENANT_AES_KEY, making any data encrypted with the old key unreadable +randAlphaNum would re-roll on every `helm upgrade` and rotate SYSTEM_AES_KEY, +making any data encrypted with the old key unreadable (e.g. tenants.api_key would surface as enc:v1:... in the UI). */}} {{- $secretName := include "weknora.secretName" . }} {{- $existing := lookup "v1" "Secret" .Release.Namespace $secretName }} -{{- $existingTenantKey := "" }} {{- $existingSystemKey := "" }} {{- if and $existing $existing.data }} - {{- if index $existing.data "TENANT_AES_KEY" }} - {{- $existingTenantKey = index $existing.data "TENANT_AES_KEY" | b64dec }} - {{- end }} {{- if index $existing.data "SYSTEM_AES_KEY" }} {{- $existingSystemKey = index $existing.data "SYSTEM_AES_KEY" | b64dec }} {{- end }} {{- end }} -{{- $tenantAesKey := .Values.secrets.tenantAesKey | default $existingTenantKey | default (randAlphaNum 32) }} {{- $systemAesKey := .Values.secrets.systemAesKey | default $existingSystemKey | default (randAlphaNum 32) }} apiVersion: v1 kind: Secret @@ -49,7 +44,9 @@ stringData: REDIS_PASSWORD: {{ required "secrets.redisPassword is required" .Values.secrets.redisPassword | quote }} # Application secrets JWT_SECRET: {{ required "secrets.jwtSecret is required" .Values.secrets.jwtSecret | quote }} - TENANT_AES_KEY: {{ $tenantAesKey | quote }} + # SYSTEM_AES_KEY 加密:tenants.api_key、模型 API key、向量库凭证、web search provider key、 + # WeKnoraCloud.AppSecret 等。(TENANT_AES_KEY 已废弃:v0.4.0 起加密统一用 SYSTEM_AES_KEY, + # Go 主应用不再读取 TENANT_AES_KEY,已从 Secret 中移除。) SYSTEM_AES_KEY: {{ $systemAesKey | quote }} {{- if .Values.neo4j.enabled }} # Neo4j credentials (for GraphRAG) diff --git a/helm/values.yaml b/helm/values.yaml index 3f119e87..b36ddc68 100644 --- a/helm/values.yaml +++ b/helm/values.yaml @@ -96,7 +96,6 @@ app: AUTO_RECOVER_DIRTY: "true" STREAM_MANAGER_TYPE: redis CONCURRENCY_POOL_SIZE: "5" - ENABLE_GRAPH_RAG: "false" TZ: UTC # -- Additional environment variables @@ -392,24 +391,23 @@ secrets: redisPassword: "" # -- JWT signing secret (REQUIRED: change in production) jwtSecret: "" - # -- Tenant AES encryption key (32 bytes). - # STRONGLY RECOMMENDED to set this explicitly in production. - # If left empty, a random 32-char value is generated on first install and - # reused on subsequent `helm upgrade` via Secret lookup. However, if the - # Secret is ever deleted/recreated (e.g. namespace recreated, GitOps prune, - # cluster rebuilt) a new random value will be generated and any data - # encrypted with the old key becomes UNRECOVERABLE. - tenantAesKey: "" # -- System AES-256 key for database field encryption (must be exactly 32 bytes). # Encrypts: tenants.api_key, model API keys, vector store credentials, # web search provider keys, WeKnoraCloud.AppSecret. - # STRONGLY RECOMMENDED to set this explicitly in production. Same caveat as - # tenantAesKey: losing this key makes all encrypted fields unreadable - # (the UI will display ciphertext like "enc:v1:..." instead of plaintext). + # STRONGLY RECOMMENDED to set this explicitly in production. If left empty, a + # random 32-char value is generated on first install and reused on subsequent + # `helm upgrade` via Secret lookup. However, if the Secret is ever + # deleted/recreated (e.g. namespace recreated, GitOps prune, cluster rebuilt) + # a new random value will be generated and any data encrypted with the old + # key becomes UNRECOVERABLE (the UI will display ciphertext like "enc:v1:..." + # instead of plaintext). + # NOTE: TENANT_AES_KEY is deprecated since v0.4.0 — encryption now uses + # SYSTEM_AES_KEY exclusively. The Go app no longer reads TENANT_AES_KEY and + # it has been removed from the Secret. systemAesKey: "" # -- Use existing secret instead of creating one - # The secret must contain keys: DB_USER, DB_PASSWORD, DB_NAME, REDIS_USERNAME, REDIS_PASSWORD, JWT_SECRET, TENANT_AES_KEY, SYSTEM_AES_KEY + # The secret must contain keys: DB_USER, DB_PASSWORD, DB_NAME, REDIS_USERNAME, REDIS_PASSWORD, JWT_SECRET, SYSTEM_AES_KEY existingSecret: "" # ----------------------------------------------------------------------------- @@ -434,7 +432,7 @@ minio: # -- Neo4j configuration (Knowledge Graph) # Equivalent to: docker compose --profile neo4j -# Required for GraphRAG feature (ENABLE_GRAPH_RAG=true) +# Required for GraphRAG feature (sets NEO4J_ENABLE=true automatically when enabled) neo4j: # -- Enable Neo4j for GraphRAG enabled: false diff --git a/scripts/cloud-image/README.md b/scripts/cloud-image/README.md index 48d4fae2..feedc90a 100644 --- a/scripts/cloud-image/README.md +++ b/scripts/cloud-image/README.md @@ -231,7 +231,7 @@ sudo bash /opt/weknora-tools/scripts/cloud-image/cleanup.sh 用户用你的镜像创建实例后,第一次开机时 `weknora-firstboot.service` 会: -1. 生成随机的 `DB_PASSWORD` / `REDIS_PASSWORD` / `JWT_SECRET` / `SYSTEM_AES_KEY` / `TENANT_AES_KEY` +1. 生成随机的 `DB_PASSWORD` / `REDIS_PASSWORD` / `JWT_SECRET` / `SYSTEM_AES_KEY` 2. 写回 `/opt/WeKnora/.env` 3. `docker compose up -d` 启动全部服务 4. 把生成的凭证写到 `/root/weknora-credentials.txt`(仅 root 可读) diff --git a/scripts/cloud-image/firstboot.sh b/scripts/cloud-image/firstboot.sh index 5f95223b..6cb7db6f 100755 --- a/scripts/cloud-image/firstboot.sh +++ b/scripts/cloud-image/firstboot.sh @@ -60,7 +60,6 @@ DB_PWD=$(genpw) REDIS_PWD=$(genpw) JWT=$(genpw)$(genpw) SYS_AES=$(gen32) -TENANT_AES=$(gen32) # 用 | 作 sed 分隔符避免冲突; 仅替换以 KEY= 开头的行 replace() { @@ -76,7 +75,6 @@ replace DB_PASSWORD "${DB_PWD}" replace REDIS_PASSWORD "${REDIS_PWD}" replace JWT_SECRET "${JWT}" replace SYSTEM_AES_KEY "${SYS_AES}" -replace TENANT_AES_KEY "${TENANT_AES}" replace GIN_MODE "release" # 把 prepare.sh 阶段记录在 .cloud-image-meta 里的 WEKNORA_REF 还原为 .env 的 @@ -124,7 +122,6 @@ cat >"${CRED_FILE}" <