From c866cf5d449bb6ec4f88025326d73937b83fe06f Mon Sep 17 00:00:00 2001 From: wizardchen Date: Thu, 2 Apr 2026 11:31:17 +0800 Subject: [PATCH] docs: update project descriptions and features in multiple language READMEs --- README.md | 114 +++++++++++++++++++++------------------------- README_CN.md | 124 ++++++++++++++++++++++----------------------------- README_JA.md | 111 ++++++++++++++++++++++----------------------- README_KO.md | 112 +++++++++++++++++++++++----------------------- 4 files changed, 217 insertions(+), 244 deletions(-) diff --git a/README.md b/README.md index 43f3bf48..805074b4 100644 --- a/README.md +++ b/README.md @@ -42,9 +42,11 @@ ## 📌 Overview -[**WeKnora**](https://weknora.weixin.qq.com) is an LLM-powered framework designed for deep document understanding and semantic retrieval, especially for handling complex, heterogeneous documents. +[**WeKnora**](https://weknora.weixin.qq.com) is an LLM-powered intelligent knowledge management and Q&A framework built for enterprise-grade document understanding and semantic retrieval. -It adopts a modular architecture that combines multimodal preprocessing, semantic vector indexing, intelligent retrieval, and large language model inference. At its core, WeKnora follows the **RAG (Retrieval-Augmented Generation)** paradigm, enabling high-quality, context-aware answers by combining relevant document chunks with model reasoning. +WeKnora offers two Q&A modes — **Quick Q&A** and **Intelligent Reasoning**. Quick Q&A uses a **RAG (Retrieval-Augmented Generation)** pipeline to rapidly retrieve relevant chunks and generate answers, ideal for everyday knowledge queries. Intelligent Reasoning is powered by a **ReACT Agent** engine that employs a **progressive strategy** to autonomously orchestrate knowledge retrieval, MCP tools, and web search, iteratively reasoning and reflecting to arrive at a final conclusion — suited for multi-source synthesis and complex tasks. Custom agents are also supported, allowing flexible configuration of dedicated knowledge bases, tool sets, and system prompts. Choose the right mode for the task, balancing response speed with reasoning depth. + +The framework supports auto-syncing knowledge from Feishu (more data sources coming soon), handles 10+ document formats including PDF, Word, images, and Excel, and can serve Q&A directly through IM channels like WeCom, Feishu, Slack, and Telegram. It is compatible with major LLM providers including OpenAI, DeepSeek, Qwen (Alibaba Cloud), Zhipu, Hunyuan, Gemini, MiniMax, NVIDIA, and Ollama. Its fully modular design allows swapping LLMs, vector databases, and storage backends, with support for local and private cloud deployment ensuring complete data sovereignty. **Website:** https://weknora.weixin.qq.com @@ -129,69 +131,54 @@ It adopts a modular architecture that combines multimodal preprocessing, semanti -## 🔒 Security Notice - -**Important:** Starting from v0.1.3, WeKnora includes login authentication functionality to enhance system security. For production deployments, we strongly recommend: - -- Deploy WeKnora services in internal/private network environments rather than public internet -- Avoid exposing the service directly to public networks to prevent potential information leakage -- Configure proper firewall rules and access controls for your deployment environment -- Regularly update to the latest version for security patches and improvements ## 🏗️ Architecture ![weknora-architecture.png](./docs/images/architecture.png) -WeKnora employs a modern modular design to build a complete document understanding and retrieval pipeline. The system primarily includes document parsing, vector processing, retrieval engine, and large model inference as core modules, with each component being flexibly configurable and extendable. +Fully modular pipeline from document parsing, vectorization, and retrieval to LLM inference — every component is swappable and extensible. Supports local / private cloud deployment with full data sovereignty and a zero-barrier Web UI for quick onboarding. -## 🎯 Key Features +## 🧩 Feature Overview -- **🤖 Agent Mode**: Support for ReACT Agent mode that can use built-in tools to retrieve knowledge bases, MCP tools, and web search tools to access external services, providing comprehensive summary reports through multiple iterations and reflection -- **🔍 Precise Understanding**: Structured content extraction from PDFs, Word documents, images and more into unified semantic views -- **🧠 Intelligent Reasoning**: Leverages LLMs to understand document context and user intent for accurate Q&A and multi-turn conversations -- **📚 Multi-Type Knowledge Bases**: Support for FAQ and document knowledge base types, with folder import, URL import, tag management, and online entry capabilities -- **🔧 Flexible Extension**: All components from parsing and embedding to retrieval and generation are decoupled for easy customization -- **⚡ Efficient Retrieval**: Hybrid retrieval strategies combining keywords, vectors, and knowledge graphs, with cross-knowledge base retrieval support -- **🌐 Web Search**: Support for extensible web search engines with built-in DuckDuckGo search engine -- **🔌 MCP Tool Integration**: Support for extending Agent capabilities through MCP, with built-in uvx and npx launchers, supporting multiple transport methods -- **⚙️ Conversation Strategy**: Support for configuring Agent models, normal mode models, retrieval thresholds, and Prompts, with precise control over multi-turn conversation behavior -- **🎯 User-Friendly**: Intuitive web interface and standardized APIs for zero technical barriers -- **🔒 Secure & Controlled**: Support for local deployment and private cloud, ensuring complete data sovereignty +**🤖 Intelligent Conversation** -## 📊 Application Scenarios +| Capability | Details | +|------------|---------| +| Intelligent Reasoning | ReACT progressive multi-step reasoning, autonomously orchestrating knowledge retrieval, MCP tools, and web search; custom agent support | +| Quick Q&A | RAG-based Q&A over knowledge bases for fast and accurate answers | +| Tool Calling | Built-in tools, MCP tools, web search | +| Conversation Strategy | Online Prompt editing, retrieval threshold tuning, multi-turn context awareness | +| Suggested Questions | Auto-generated question suggestions based on knowledge base content | -| Scenario | Applications | Core Value | -|---------|----------|----------| -| **Enterprise Knowledge Management** | Internal document retrieval, policy Q&A, operation manual search | Improve knowledge discovery efficiency, reduce training costs | -| **Academic Research Analysis** | Paper retrieval, research report analysis, scholarly material organization | Accelerate literature review, assist research decisions | -| **Product Technical Support** | Product manual Q&A, technical documentation search, troubleshooting | Enhance customer service quality, reduce support burden | -| **Legal & Compliance Review** | Contract clause retrieval, regulatory policy search, case analysis | Improve compliance efficiency, reduce legal risks | -| **Medical Knowledge Assistance** | Medical literature retrieval, treatment guideline search, case analysis | Support clinical decisions, improve diagnosis quality | +**📚 Knowledge Management** -## 🧩 Feature Matrix +| Capability | Details | +|------------|---------| +| Knowledge Base Types | FAQ / Document with folder import, URL import, tag management, and online entry | +| Data Source Import | Auto-sync from Feishu (more data sources coming soon); incremental and full sync | +| Document Formats | PDF / Word / Txt / Markdown / HTML / Images / CSV / Excel / PPT / JSON | +| Retrieval Strategies | BM25 sparse / Dense retrieval / GraphRAG / parent-child chunking / multi-dimensional indexing | +| E2E Testing | Full-pipeline visualization with recall hit rate, BLEU / ROUGE metric evaluation | -| Module | Support | Description | -|---------|---------|-------------| -| Agent Mode | ✅ ReACT Agent Mode | Built-in tools for knowledge base retrieval, MCP tool calls, and web search; cross-knowledge base retrieval with multi-step iteration | -| Knowledge Base Types | ✅ FAQ / Document | FAQ and document knowledge bases with folder import, URL import, tag management, online entry, and knowledge move | -| Document Formats | ✅ PDF / Word / Txt / Markdown / HTML / Images (OCR + Caption) | Structured and unstructured document parsing; image text extraction via OCR; image caption generation via VLM | -| IM Channel Integration | ✅ WeCom / Feishu / Slack / Telegram / DingTalk / Mattermost | WebSocket and Webhook modes; streaming replies; slash commands (/help, /info, /search, /stop, /clear); per-user rate limiting; Redis-based multi-instance coordination | -| Model Management | ✅ Centralized configuration, built-in model sharing | Centralized model config with per-knowledge-base model selection; multi-tenant shared built-in model support | -| Embedding Models | ✅ Local models (Ollama), BGE / GTE / OpenAI-compatible APIs | Customizable embedding models compatible with local deployment and cloud vector generation APIs | -| Vector DB Integration | ✅ PostgreSQL (pgvector) / Elasticsearch / Milvus / Weaviate / Qdrant | Five vector index backends with flexible switching to match retrieval scenario requirements | -| Object Storage | ✅ Local / MinIO / AWS S3 / Volcengine TOS | Pluggable storage adapters for file and image assets; bucket auto-creation on startup | -| Retrieval Strategies | ✅ BM25 / Dense Retrieval / GraphRAG | Sparse/dense recall and knowledge graph-enhanced retrieval; customizable retrieve-rerank-generate pipeline | -| LLM Integration | ✅ Qwen / DeepSeek / MiniMax / NVIDIA / Novita AI / OpenAI-compatible | Local models via Ollama or external API services; thinking/non-thinking mode switching; vLLM streaming reasoning content support | -| Conversation Strategy | ✅ Agent model, normal model, retrieval threshold, Prompt configuration | Online Prompt editing; retrieval threshold tuning; precise multi-turn conversation behavior control | -| Web Search | ✅ DuckDuckGo / Bing / Google (extensible) | Pluggable search engine providers; web search toggle per conversation | -| MCP Tools | ✅ uvx / npx launchers, Stdio / HTTP Streamable / SSE | Extend agent capabilities via MCP; stable tool naming with collision protection; VLM auto-description for tool-returned images | -| Suggested Questions | ✅ Knowledge-base-driven question suggestions | Agent surfaces context-aware suggested questions in chat interface; image knowledge auto-generates questions | -| QA Capabilities | ✅ Context-aware, multi-turn dialogue, prompt templates | Complex semantic modeling, instruction control, chain-of-thought Q&A with configurable prompts and context windows | -| Security | ✅ AES-256-GCM at-rest encryption, SSRF protection | API keys encrypted at rest; SSRF-safe HTTP client for remote API calls; sandbox execution for agent skills | -| E2E Testing | ✅ Retrieval + generation visualization and metric evaluation | End-to-end test tools for evaluating recall hit rates, answer coverage, BLEU/ROUGE metrics | -| Deployment Modes | ✅ Local / Docker / Kubernetes (Helm) | Private and offline deployment; fast development mode with hot-reload; Helm chart for Kubernetes | -| User Interfaces | ✅ Web UI + RESTful API | Interactive web interface and standard API; Agent/normal mode switching; tool call process display | -| Task Management | ✅ MQ async tasks, automatic database migration | MQ-based async task state; automatic schema and data migration on version upgrade | +**🔌 Integrations & Extensions** + +| Capability | Details | +|------------|---------| +| LLMs | OpenAI / DeepSeek / Qwen (Alibaba Cloud) / Zhipu / Hunyuan / Doubao (Volcengine) / Gemini / MiniMax / NVIDIA / Novita AI / SiliconFlow / OpenRouter / Ollama | +| Embeddings | Ollama / BGE / GTE / OpenAI-compatible APIs | +| Vector DBs | PostgreSQL (pgvector) / Elasticsearch / Milvus / Weaviate / Qdrant | +| Object Storage | Local / MinIO / AWS S3 / Volcengine TOS | +| IM Channels | WeCom / Feishu / Slack / Telegram / DingTalk / Mattermost | +| Web Search | DuckDuckGo / Bing / Google / Tavily | + +**🛡️ Platform** + +| Capability | Details | +|------------|---------| +| Deployment | Local / Docker / Kubernetes (Helm) with private and offline support | +| UI | Web UI / RESTful API / Chrome Extension | +| Task Management | MQ async tasks, automatic database migration on version upgrade | +| Model Management | Centralized config, per-knowledge-base model selection, multi-tenant built-in model sharing | ## 🚀 Getting Started @@ -225,13 +212,7 @@ cp .env.example .env #### ③ Start the core services -Check which images need to be started in the `.env` file, then start the WeKnora core services with Docker Compose. - -```bash -docker compose up -d -``` - -#### ③.0 Start Ollama separately (Optional) +#### Start Ollama separately (Optional) If you configured a local Ollama model in `.env`, start the Ollama service separately: @@ -239,7 +220,7 @@ If you configured a local Ollama model in `.env`, start the Ollama service separ ollama serve > /dev/null 2>&1 & ``` -#### ③.1 Activate different combinations of features +#### Activate different combinations of features - Minimum core services ```bash @@ -423,6 +404,15 @@ test: Add retrieval engine test cases refactor: Restructure document parsing module ``` +## 🔒 Security Notice + +**Important:** Starting from v0.1.3, WeKnora includes login authentication functionality to enhance system security. For production deployments, we strongly recommend: + +- Deploy WeKnora services in internal/private network environments rather than public internet +- Avoid exposing the service directly to public networks to prevent potential information leakage +- Configure proper firewall rules and access controls for your deployment environment +- Regularly update to the latest version for security patches and improvements + ## 👥 Contributors Thanks to these excellent contributors: diff --git a/README_CN.md b/README_CN.md index fc7b33d5..a5062acf 100644 --- a/README_CN.md +++ b/README_CN.md @@ -42,9 +42,11 @@ ## 📌 项目介绍 -**[WeKnora(维娜拉)](https://weknora.weixin.qq.com)** 是一款基于大语言模型(LLM)的文档理解与语义检索框架,专为结构复杂、内容异构的文档场景而打造。 +**[WeKnora(维娜拉)](https://weknora.weixin.qq.com)** 是一款基于大语言模型(LLM)的智能知识管理与问答框架,专为企业级文档理解与语义检索场景打造。 -框架采用模块化架构,融合多模态预处理、语义向量索引、智能召回与大模型生成推理,构建起高效、可控的文档问答流程。核心检索流程基于 **RAG(Retrieval-Augmented Generation)** 机制,将上下文相关片段与语言模型结合,实现更高质量的语义回答。 +WeKnora 提供**快速问答**与**智能推理**两种问答模式。快速问答基于 **RAG(Retrieval-Augmented Generation)** 流水线,快速召回相关片段并生成回答,适合日常知识查询。智能推理基于 **ReACT Agent** 引擎,采用**渐进式策略**自主编排知识检索、MCP 工具和网络搜索,经过多轮迭代与反思逐步推导最终结论,适合多源信息整合与复杂任务。同时支持自定义智能体,灵活配置专属的知识库、工具集与系统提示词。两种模式按需选用,兼顾响应速度与推理深度。 + +框架支持从飞书等外部平台自动同步知识(更多数据源持续接入中),覆盖 PDF、Word、图片、Excel 等十余种文档格式,并可通过企业微信、飞书、Slack、Telegram 等 IM 频道直接提供问答服务。模型层面兼容 OpenAI、DeepSeek、Qwen(阿里云)、智谱、混元、Gemini、MiniMax、NVIDIA、Ollama 等主流厂商。全流程模块化设计,大模型、向量数据库、存储等组件均可灵活替换,支持本地与私有云部署,数据完全自主可控。 **官网:** [https://weknora.weixin.qq.com](https://weknora.weixin.qq.com) @@ -52,7 +54,7 @@ **v0.3.5 版本亮点:** -- **Telegram、ding'ding & Mattermost IM集成**:新增Telegram机器人(webhook/长轮询,流式editMessageText回复)、钉钉机器人(webhook/Stream模式,AI卡片流式输出)和Mattermost适配器;IM频道现已覆盖企业微信、飞书、Slack、Telegram、钉钉、Mattermost共6个平台 +- **Telegram、钉钉 & Mattermost IM集成**:新增Telegram机器人(webhook/长轮询,流式editMessageText回复)、钉钉机器人(webhook/Stream模式,AI卡片流式输出)和Mattermost适配器;IM频道现已覆盖企业微信、飞书、Slack、Telegram、钉钉、Mattermost共6个平台 - **IM斜杠命令与QA队列**:可插拔斜杠命令框架(/help、/info、/search、/stop、/clear),配合有界QA工作池、用户级限流和基于Redis的多实例分布式协调 - **推荐问题**:Agent基于关联知识库自动生成上下文相关的推荐问题,在对话界面开场前展示;图片知识自动触发问题生成任务 - **VLM自动描述MCP工具返回图片**:当MCP工具返回图片时,Agent通过配置的VLM模型自动生成文字描述,使不支持图片输入的LLM也能理解图片内容 @@ -129,72 +131,54 @@ -## 🔒 安全声明 - -**重要提示:** 从 v0.1.3 版本开始,WeKnora 提供了登录鉴权功能,以增强系统安全性。在生产环境部署时,我们强烈建议: - -- 将 WeKnora 服务部署在内网/私有网络环境中,而非公网环境 -- 避免将服务直接暴露在公网上,以防止重要信息泄露风险 -- 为部署环境配置适当的防火墙规则和访问控制 -- 定期更新到最新版本以获取安全补丁和改进 ## 🏗️ 架构设计 ![weknora-architecture.png](./docs/images/architecture.png) -WeKnora 采用现代化模块化设计,构建了一条完整的文档理解与检索流水线。系统主要包括文档解析、向量化处理、检索引擎和大模型推理等核心模块,每个组件均可灵活配置与扩展。 +从文档解析、向量化、检索到大模型推理,全流程模块化解耦,组件可灵活替换与扩展。支持本地 / 私有云部署,数据完全自主可控,零门槛 Web UI 快速上手。 -## 🎯 核心特性 +## 🧩 功能概览 -- **🤖 Agent模式**:支持ReACT Agent模式,可调用内置工具检索知识库、MCP工具和网络搜索,通过多次迭代和反思给出全面总结报告 -- **🔍 精准理解**:支持 PDF、Word、图片等文档的结构化内容提取,统一构建语义视图 -- **🧠 智能推理**:借助大语言模型理解文档上下文与用户意图,支持精准问答与多轮对话 -- **📚 多类型知识库**:支持FAQ和文档两种类型知识库,支持文件夹导入、URL导入、标签管理和在线录入 -- **🔧 灵活扩展**:从解析、嵌入、召回到生成全流程解耦,便于灵活集成与定制扩展 -- **⚡ 高效检索**:混合多种检索策略:关键词、向量、知识图谱,支持跨知识库检索 -- **🌐 网络搜索**:支持可扩展的网络搜索引擎,内置DuckDuckGo搜索引擎 -- **🔌 MCP工具集成**:支持通过MCP扩展Agent能力,内置uvx、npx启动工具,支持多种传输方式 -- **⚙️ 对话策略**:支持配置Agent模型、普通模式模型、检索阈值和Prompt,精确控制多轮对话行为 -- **🎯 简单易用**:直观的Web界面与标准API,零技术门槛快速上手 -- **🔒 安全可控**:支持本地化与私有云部署,数据完全自主可控 +**🤖 智能对话** -## 📊 适用场景 +| 能力 | 详情 | +|------|------| +| 智能推理 | ReACT 渐进式多步推理,自主编排知识检索、MCP 工具与网络搜索,支持自定义智能体 | +| 快速问答 | 基于知识库的 RAG 问答,快速准确地回答问题 | +| 工具调用 | 内置工具、MCP 工具、Skills 支持、网络搜索 | +| 对话策略 | 在线 Prompt 编辑、检索阈值调节、多轮上下文感知 | +| 推荐问题 | 基于知识库内容自动生成推荐问题 | + +**📚 知识管理** + +| 能力 | 详情 | +|------|------| +| 知识库类型 | FAQ / 文档,支持文件夹导入、URL 导入、标签管理、在线录入 | +| 数据源导入 | 飞书知识库自动同步(更多数据源开发中),支持增量与全量同步 | +| 文档格式 | PDF / Word / Txt / Markdown / HTML / 图片 / CSV / Excel / PPT / JSON | +| 检索策略 | BM25 稀疏召回 / Dense 稠密召回 / GraphRAG 图谱增强 / 父子分块 / 多维度索引 | +| 端到端测试 | 检索+生成全链路可视化,评估召回命中率、BLEU / ROUGE 等指标 | + +**🔌 集成与扩展** + +| 能力 | 详情 | +|------|------| +| 模型厂商 | OpenAI / DeepSeek / Qwen(阿里云)/ 智谱 / 混元 / 豆包(火山引擎)/ Gemini / MiniMax / NVIDIA / Novita AI / SiliconFlow / OpenRouter / Ollama | +| 向量数据库 | PostgreSQL (pgvector) / Elasticsearch / Milvus / Weaviate / Qdrant | +| 对象存储 | 本地 / 腾讯云COS / 火山引擎 TOS / MinIO / AWS S3 | +| IM 集成 | 企业微信 / 飞书 / Slack / Telegram / 钉钉 / Mattermost | +| 网络搜索 | DuckDuckGo / Bing / Google / Tavily | -| 应用场景 | 具体应用 | 核心价值 | -| ---------- | -------------------- | ----------------- | -| **企业知识管理** | 内部文档检索、规章制度问答、操作手册查询 | 提升知识查找效率,降低培训成本 | -| **科研文献分析** | 论文检索、研究报告分析、学术资料整理 | 加速文献调研,辅助研究决策 | -| **产品技术支持** | 产品手册问答、技术文档检索、故障排查 | 提升客户服务质量,减少技术支持负担 | -| **法律合规审查** | 合同条款检索、法规政策查询、案例分析 | 提高合规效率,降低法律风险 | -| **医疗知识辅助** | 医学文献检索、诊疗指南查询、病例分析 | 辅助临床决策,提升诊疗质量 | +**🛡️ 平台能力** - -## 🧩 功能模块能力 - - -| 功能模块 | 支持情况 | 说明 | -| ------- | ------------------------------------------------------------------ | --------------------------------------------------------------------------------------- | -| Agent模式 | ✅ ReACT Agent模式 | 内置工具检索知识库、调用MCP工具和网络搜索;支持跨知识库检索与多轮迭代推理 | -| 知识库类型 | ✅ FAQ / 文档 | FAQ和文档两种类型,支持文件夹导入、URL导入、标签管理、在线录入和知识迁移 | -| 文档格式支持 | ✅ PDF / Word / Txt / Markdown / HTML / 图片(OCR + Caption) | 结构化与非结构化文档解析;图片OCR文字提取;VLM图片描述生成 | -| IM频道集成 | ✅ 企业微信 / 飞书 / Slack / Telegram / 钉钉 / Mattermost | WebSocket和Webhook双模式;流式回复;斜杠命令(/help、/info、/search、/stop、/clear);用户级限流;基于Redis的多实例分布式协调 | -| 模型管理 | ✅ 集中配置、内置模型共享 | 模型集中配置,知识库级别模型选择,支持多租户共享内置模型 | -| 嵌入模型支持 | ✅ 本地模型(Ollama)、BGE / GTE / OpenAI兼容接口 | 支持自定义embedding模型,兼容本地部署与云端向量生成接口 | -| 向量数据库接入 | ✅ PostgreSQL(pgvector)/ Elasticsearch / Milvus / Weaviate / Qdrant | 五种向量索引后端,可灵活切换,适配不同检索场景 | -| 对象存储 | ✅ 本地 / MinIO / AWS S3 / 火山引擎TOS | 可插拔存储适配器;启动时自动创建存储桶 | -| 检索机制 | ✅ BM25 / Dense Retrieve / GraphRAG | 稠密/稀疏召回、知识图谱增强检索;可自由组合召回-重排-生成流程 | -| 大模型集成 | ✅ Qwen / DeepSeek / MiniMax / NVIDIA / Novita AI / OpenAI兼容 | 接入本地大模型(Ollama)或外部API服务;思考/非思考模式切换;vLLM流式推理内容支持 | -| 对话策略 | ✅ Agent模型、普通模式模型、检索阈值、Prompt配置 | 在线Prompt编辑;检索阈值调节;精确控制多轮对话行为 | -| 网络搜索 | ✅ DuckDuckGo / Bing / Google(可扩展) | 可插拔搜索引擎;按对话开关网络搜索 | -| MCP工具 | ✅ uvx / npx启动工具,Stdio / HTTP Streamable / SSE | 通过MCP扩展Agent能力;工具名称稳定(跨重连保持一致);VLM自动描述工具返回图片 | -| 推荐问题 | ✅ 基于知识库的问题推荐 | Agent在对话前展示推荐问题;图片知识自动触发问题生成 | -| 问答能力 | ✅ 上下文感知、多轮对话、提示词模板 | 复杂语义建模、指令控制与链式问答,可配置提示词与上下文窗口 | -| 安全机制 | ✅ AES-256-GCM静态加密、SSRF防护 | API密钥静态加密;远程API调用的SSRF安全校验;Agent技能沙盒执行 | -| 端到端测试支持 | ✅ 检索+生成过程可视化与指标评估 | 一体化链路测试,支持评估召回命中率、回答覆盖度、BLEU/ROUGE等指标 | -| 部署模式 | ✅ 本地 / Docker / Kubernetes(Helm) | 私有化和离线部署;热重载快速开发模式;Helm Chart支持Kubernetes部署 | -| 用户界面 | ✅ Web UI + RESTful API | 交互式界面与标准API;Agent/普通模式切换;工具调用过程可视化 | -| 任务管理 | ✅ MQ异步任务、数据库自动迁移 | MQ异步任务状态维护;版本升级时自动执行数据库表结构和数据迁移 | +| 能力 | 详情 | +|------|------| +| 部署 | 本地 / Docker / Kubernetes (Helm),支持私有化离线部署 | +| 界面 | Web UI / RESTful API / Chrome Extension| +| 任务管理 | MQ 异步任务,版本升级自动数据库迁移 | +| 模型管理 | 集中配置,知识库级别模型选择,多租户共享内置模型 | ## 🚀 快速开始 @@ -229,13 +213,7 @@ cp .env.example .env #### ③ 启动主服务 -检查 `.env` 文件中需要启动的镜像,然后使用 Docker Compose 启动 WeKnora 主服务。 - -```bash -docker compose up -d -``` - -#### ③.0 单独启动 Ollama(可选) +#### 单独启动 Ollama(可选) 如果你在 `.env` 中配置了本地 Ollama 模型,还需要额外启动 Ollama 服务: @@ -243,7 +221,7 @@ docker compose up -d ollama serve > /dev/null 2>&1 & ``` -#### ③.1 激活不同组合的功能 +#### 激活不同组合的功能 - 启动最小功能 @@ -313,11 +291,6 @@ docker compose down -**知识库管理:** 支持创建FAQ和文档两种类型知识库,支持拖拽上传、文件夹导入、URL导入等多种方式,自动识别文档结构并提取核心知识,建立索引。支持标签管理和在线录入,系统清晰展示处理进度和文档状态,实现高效的知识库管理。 - -**Agent模式:** 支持开启ReACT Agent模式,可使用内置工具检索知识库,调用用户配置的MCP工具和网络搜索工具访问外部服务,通过多次迭代和反思,最终给出全面的总结报告。支持跨知识库检索,可以选择多个知识库同时检索。 - -**对话策略:** 支持配置Agent模型、普通模式所需的模型、检索阈值,支持在线配置Prompt,精确控制多轮对话行为和检索召回执行方式。对话输入框支持Agent模式/普通模式切换,支持开启和关闭网络搜索,支持选择对话模型。 ### 文档知识图谱 @@ -428,6 +401,15 @@ test: 添加检索引擎测试用例 refactor: 重构文档解析模块 ``` +## 🔒 安全声明 + +**重要提示:** 从 v0.1.3 版本开始,WeKnora 提供了登录鉴权功能,以增强系统安全性。在生产环境部署时,我们强烈建议: + +- 将 WeKnora 服务部署在内网/私有网络环境中,而非公网环境 +- 避免将服务直接暴露在公网上,以防止重要信息泄露风险 +- 为部署环境配置适当的防火墙规则和访问控制 +- 定期更新到最新版本以获取安全补丁和改进 + ## 👥 贡献者 感谢以下优秀的贡献者们: diff --git a/README_JA.md b/README_JA.md index abb5975d..73b7c1a7 100644 --- a/README_JA.md +++ b/README_JA.md @@ -42,9 +42,11 @@ ## 📌 プロジェクト紹介 -[**WeKnora(ウィーノラ)**](https://weknora.weixin.qq.com) は、大規模言語モデル(LLM)をベースとした文書理解と意味検索フレームワークで、構造が複雑で内容が異質な文書シナリオ向けに特別に設計されています。 +[**WeKnora(ウィーノラ)**](https://weknora.weixin.qq.com) は、大規模言語モデル(LLM)をベースとしたインテリジェントなナレッジ管理・Q&Aフレームワークで、エンタープライズ向けの文書理解と意味検索シナリオに特化して設計されています。 -フレームワークはモジュラーアーキテクチャを採用し、マルチモーダル前処理、意味ベクトルインデックス、インテリジェント検索、大規模モデル生成推論を統合して、効率的で制御可能な文書Q&Aワークフローを構築します。コア検索プロセスは **RAG(Retrieval-Augmented Generation)** メカニズムに基づいており、文脈関連フラグメントと言語モデルを組み合わせて、より高品質な意味的回答を実現します。 +WeKnora は**クイック Q&A** と**インテリジェント推論**の 2 つの Q&A モードを提供します。クイック Q&A は **RAG(Retrieval-Augmented Generation)** パイプラインで関連フラグメントを素早く検索・回答を生成し、日常的なナレッジ検索に最適です。インテリジェント推論は **ReACT Agent** エンジンにより、**プログレッシブ戦略**でナレッジ検索、MCP ツール、Web 検索を自律的にオーケストレーションし、反復推論とリフレクションで段階的に結論を導きます。複数情報源の統合や複雑なタスクに最適です。カスタムエージェントにも対応し、専用のナレッジベース、ツールセット、システムプロンプトを柔軟に設定できます。用途に応じてモードを選択し、応答速度と推論の深さを両立します。 + +Feishuなどの外部プラットフォームからのナレッジ自動同期(他のデータソースも順次対応中)に対応し、PDF、Word、画像、Excelなど10以上の文書フォーマットをサポート。WeChat Work、Feishu、Slack、TelegramなどのIMチャネルから直接Q&Aサービスを提供できます。モデル層ではOpenAI、DeepSeek、Qwen(Alibaba Cloud)、Zhipu、Hunyuan、Gemini、MiniMax、NVIDIA、Ollamaなど主要プロバイダーに対応。全プロセスをモジュラー設計し、大規模モデル、ベクトルデータベース、ストレージなどのコンポーネントを柔軟に差し替え可能。ローカルおよびプライベートクラウドデプロイに対応し、データは完全に自己管理可能です。 **公式サイト:** https://weknora.weixin.qq.com @@ -129,34 +131,12 @@ -## 🔒 セキュリティ通知 - -**重要:** v0.1.3バージョンより、WeKnoraにはシステムセキュリティを強化するためのログイン認証機能が含まれています。v0.2.0では、さらに多くの機能強化と改善が追加されました。本番環境でのデプロイメントにおいて、以下を強く推奨します: - -- WeKnoraサービスはパブリックインターネットではなく、内部/プライベートネットワーク環境にデプロイしてください -- 重要な情報漏洩を防ぐため、サービスを直接パブリックネットワークに公開することは避けてください -- デプロイメント環境に適切なファイアウォールルールとアクセス制御を設定してください -- セキュリティパッチと改善のため、定期的に最新バージョンに更新してください ## 🏗️ アーキテクチャ設計 ![weknora-architecture.png](./docs/images/architecture.png) -WeKnoraは現代的なモジュラー設計を採用し、完全な文書理解と検索パイプラインを構築しています。システムには主に文書解析、ベクトル化処理、検索エンジン、大規模モデル推論などのコアモジュールが含まれ、各コンポーネントは柔軟に設定および拡張できます。 - -## 🎯 コア機能 - -- **🤖 Agentモード**:ReACT Agentモードをサポート、組み込みツールでナレッジベースを検索、MCPツールとWeb検索を呼び出し、複数回の反復とリフレクションを通じて包括的なサマリーレポートを提供 -- **🔍 正確な理解**:PDF、Word、画像などの文書の構造化コンテンツ抽出をサポートし、統一された意味ビューを構築 -- **🧠 インテリジェント推論**:大規模言語モデルを活用して文書コンテキストとユーザーの意図を理解し、正確なQ&Aとマルチターン対話をサポート -- **📚 複数タイプのナレッジベース**:FAQとドキュメントの2種類のナレッジベースをサポート、フォルダーインポート、URLインポート、タグ管理、オンライン入力機能 -- **🔧 柔軟な拡張**:解析、埋め込み、検索から生成までの全プロセスを分離し、柔軟な統合とカスタマイズ拡張を容易に -- **⚡ 効率的な検索**:複数の検索戦略のハイブリッド:キーワード、ベクトル、ナレッジグラフ、クロスナレッジベース検索をサポート -- **🌐 Web検索**:拡張可能なWeb検索エンジンをサポート、DuckDuckGo検索エンジンを組み込み -- **🔌 MCPツール統合**:MCPを通じてAgent機能を拡張、uvx、npx起動ツールを組み込み、複数の転送方式をサポート -- **⚙️ 対話戦略**:Agentモデル、通常モードモデル、検索閾値、Promptの設定をサポート、マルチターン対話の動作を精密に制御 -- **🎯 使いやすさ**:直感的なWebインターフェースと標準API、技術的な障壁なしで素早く開始可能 -- **🔒 セキュアで制御可能**:ローカルおよびプライベートクラウドデプロイメントをサポート、データは完全に自己管理可能 +文書解析・ベクトル化・検索から大規模モデル推論まで、全パイプラインをモジュラー分離。各コンポーネントは柔軟に差し替え・拡張可能。ローカル / プライベートクラウドデプロイに対応し、データ完全自己管理、ゼロバリアの Web UI で即座に利用開始。 ## 📊 適用シナリオ @@ -168,30 +148,47 @@ WeKnoraは現代的なモジュラー設計を採用し、完全な文書理解 | **法的コンプライアンス審査** | 契約条項検索、法規政策照会、ケース分析 | コンプライアンス効率の向上、法的リスクの削減 | | **医療知識支援** | 医学文献検索、診療ガイドライン照会、症例分析 | 臨床意思決定の支援、診療品質の向上 | -## 🧩 機能モジュール能力 +## 🧩 機能概要 -| 機能モジュール | サポート状況 | 説明 | -|---------|------------|------| -| Agentモード | ✅ ReACT Agentモード | 組み込みツールでナレッジベースを検索、MCPツールとWeb検索を呼び出し、クロスナレッジベース検索と複数回の反復推論をサポート | -| ナレッジベースタイプ | ✅ FAQ / ドキュメント | FAQとドキュメントの2種類のナレッジベース、フォルダーインポート、URLインポート、タグ管理、オンライン入力、ナレッジ移動をサポート | -| 文書フォーマットサポート | ✅ PDF / Word / Txt / Markdown / HTML / 画像(OCR + Caption) | 構造化・非構造化文書の解析、OCRによる画像文字抽出、VLMによる画像キャプション生成 | -| IMチャネル統合 | ✅ WeChat Work / Feishu / Slack / Telegram / DingTalk / Mattermost | WebSocket・Webhookモード、ストリーミング返信、スラッシュコマンド(/help、/info、/search、/stop、/clear)、ユーザー単位レート制限、RedisベースのマルチインスタンスDistributed Coordination | -| モデル管理 | ✅ 集中設定、組み込みモデル共有 | モデルの集中設定、ナレッジベース単位のモデル選択、マルチテナント間での組み込みモデル共有 | -| 埋め込みモデルサポート | ✅ ローカルモデル(Ollama)、BGE / GTE / OpenAI互換API | カスタムembeddingモデル対応、ローカルデプロイとクラウドベクトル生成インターフェースに対応 | -| ベクトルデータベース接続 | ✅ PostgreSQL(pgvector)/ Elasticsearch / Milvus / Weaviate / Qdrant | 5種類のベクトルインデックスバックエンドを柔軟に切り替え可能 | -| オブジェクトストレージ | ✅ ローカル / MinIO / AWS S3 / 火山引擎TOS | プラグイン式ストレージアダプター、起動時にバケットを自動作成 | -| 検索メカニズム | ✅ BM25 / Dense Retrieve / GraphRAG | 密・疎検索、ナレッジグラフ強化検索、検索-再ランキング-生成を自由に組み合わせ | -| 大規模モデル統合 | ✅ Qwen / DeepSeek / MiniMax / NVIDIA / Novita AI / OpenAI互換 | ローカルモデル(Ollama)または外部APIサービスに接続、思考/非思考モード切り替え、vLLMストリーミング推論コンテンツ対応 | -| 対話戦略 | ✅ Agentモデル、通常モードモデル、検索閾値、Prompt設定 | オンラインPrompt編集、検索閾値チューニング、マルチターン対話の精密制御 | -| Web検索 | ✅ DuckDuckGo / Bing / Google(拡張可能) | プラグイン式検索エンジン、対話ごとにWeb検索を切り替え可能 | -| MCPツール | ✅ uvx / npx起動ツール、Stdio / HTTP Streamable / SSE | MCPでAgent機能を拡張、安定したツール名管理(衝突防止付き)、ツール返却画像のVLM自動説明 | -| 推奨質問 | ✅ ナレッジベース連動の質問推奨 | Agentがチャット前に推奨質問を提示、画像ナレッジが質問生成を自動トリガー | -| Q&A能力 | ✅ コンテキスト認識、マルチターン対話、プロンプトテンプレート | 複雑な意味モデリング、指示制御、チェーンQ&A、プロンプトとコンテキストウィンドウを設定可能 | -| セキュリティ | ✅ AES-256-GCM静的暗号化、SSRF防護 | APIキーの静的暗号化、リモートAPI呼び出しのSSRFセーフ検証、Agentスキルのサンドボックス実行 | -| エンドツーエンドテストサポート | ✅ 検索+生成プロセスの可視化と指標評価 | 一体化テストツール、リコール的中率・回答カバレッジ・BLEU/ROUGE等の指標評価 | -| デプロイメントモード | ✅ ローカル / Docker / Kubernetes(Helm) | プライベート化・オフラインデプロイ、ホットリロード高速開発モード、Kubernetes用Helm Chart | -| ユーザーインターフェース | ✅ Web UI + RESTful API | インタラクティブインターフェースと標準API、Agentモード/通常モード切り替え、ツール呼び出しプロセス表示 | -| タスク管理 | ✅ MQ非同期タスク、データベース自動マイグレーション | MQによる非同期タスク状態維持、バージョンアップ時のDB自動マイグレーション | +**🤖 インテリジェント対話** + +| 機能 | 詳細 | +|------|------| +| インテリジェント推論 | ReACT プログレッシブ・マルチステップ推論、ナレッジ検索・MCP ツール・Web 検索を自律的にオーケストレーション、カスタムエージェント対応 | +| クイック Q&A | ナレッジベースベースの RAG Q&A、迅速かつ正確な回答 | +| ツール呼び出し | 組み込みツール、MCP ツール、Web 検索 | +| 対話戦略 | オンライン Prompt 編集、検索閾値チューニング、マルチターン文脈認識 | +| 推奨質問 | ナレッジベースの内容に基づく質問の自動生成 | + +**📚 ナレッジ管理** + +| 機能 | 詳細 | +|------|------| +| ナレッジベースタイプ | FAQ / ドキュメント、フォルダーインポート・URL インポート・タグ管理・オンライン入力 | +| データソースインポート | Feishuナレッジベースの自動同期(他のデータソースも開発中)、増分・全量同期対応 | +| 文書フォーマット | PDF / Word / Txt / Markdown / HTML / 画像 / CSV / Excel / PPT / JSON | +| 検索戦略 | BM25 疎検索 / Dense 密検索 / GraphRAG グラフ強化 / 親子チャンキング / 多次元インデックス | +| E2E テスト | 検索+生成の全パイプライン可視化、リコール的中率・BLEU / ROUGE 指標評価 | + +**🔌 連携と拡張** + +| 機能 | 詳細 | +|------|------| +| 大規模モデル | OpenAI / DeepSeek / Qwen (Alibaba Cloud) / Zhipu / Hunyuan / Doubao (Volcengine) / Gemini / MiniMax / NVIDIA / Novita AI / SiliconFlow / OpenRouter / Ollama | +| Embedding | Ollama / BGE / GTE / OpenAI 互換 API | +| ベクトル DB | PostgreSQL (pgvector) / Elasticsearch / Milvus / Weaviate / Qdrant | +| オブジェクトストレージ | ローカル / MinIO / AWS S3 / 火山引擎 TOS | +| IM 統合 | WeChat Work / Feishu / Slack / Telegram / DingTalk / Mattermost | +| Web 検索 | DuckDuckGo / Bing / Google / Tavily | + +**🛡️ プラットフォーム** + +| 機能 | 詳細 | +|------|------| +| デプロイ | ローカル / Docker / Kubernetes (Helm)、プライベート化・オフラインデプロイ対応 | +| UI | Web UI / RESTful API / Chrome Extension | +| タスク管理 | MQ 非同期タスク、バージョンアップ時の DB 自動マイグレーション | +| モデル管理 | 集中設定、ナレッジベース単位のモデル選択、マルチテナント組み込みモデル共有 | ## 🚀 クイックスタート @@ -225,13 +222,8 @@ cp .env.example .env #### ③ メインサービスを起動します -`.env` ファイルで起動する必要があるイメージを確認し、Docker Compose で WeKnora のメインサービスを起動します。 -```bash -docker compose up -d -``` - -#### ③.0 Ollama を個別に起動する (オプション) +#### Ollama を個別に起動する (オプション) `.env` でローカル Ollama モデルを設定している場合は、追加で Ollama サービスを起動してください。 @@ -239,7 +231,7 @@ docker compose up -d ollama serve > /dev/null 2>&1 & ``` -#### ③.1 さまざまな機能の組み合わせを有効にする +#### さまざまな機能の組み合わせを有効にする - 最小限のコアサービス ```bash @@ -417,6 +409,15 @@ test: 検索エンジンテストケースを追加 refactor: 文書解析モジュールをリファクタリング ``` +## 🔒 セキュリティ通知 + +**重要:** v0.1.3バージョンより、WeKnoraにはシステムセキュリティを強化するためのログイン認証機能が含まれています。v0.2.0では、さらに多くの機能強化と改善が追加されました。本番環境でのデプロイメントにおいて、以下を強く推奨します: + +- WeKnoraサービスはパブリックインターネットではなく、内部/プライベートネットワーク環境にデプロイしてください +- 重要な情報漏洩を防ぐため、サービスを直接パブリックネットワークに公開することは避けてください +- デプロイメント環境に適切なファイアウォールルールとアクセス制御を設定してください +- セキュリティパッチと改善のため、定期的に最新バージョンに更新してください + ## 👥 コントリビューター 素晴らしいコントリビューターに感謝します: diff --git a/README_KO.md b/README_KO.md index eaed6423..f6732b83 100644 --- a/README_KO.md +++ b/README_KO.md @@ -42,9 +42,11 @@ ## 📌 개요 -[**WeKnora**](https://weknora.weixin.qq.com)는 복잡하고 이질적인 문서를 다루는 데 특화된, LLM 기반의 심층 문서 이해 및 시맨틱 검색 프레임워크입니다. +[**WeKnora**](https://weknora.weixin.qq.com)는 엔터프라이즈급 문서 이해와 시맨틱 검색을 위해 설계된, LLM 기반의 지능형 지식 관리 및 Q&A 프레임워크입니다. -멀티모달 전처리, 시맨틱 벡터 인덱싱, 지능형 검색, 대규모 언어 모델 추론을 결합한 모듈형 아키텍처를 채택했습니다. 핵심적으로 WeKnora는 **RAG(Retrieval-Augmented Generation)** 패러다임을 따르며, 관련 문서 조각과 모델 추론을 결합해 문맥을 반영한 고품질 답변을 제공합니다. +WeKnora는 **빠른 Q&A**와 **지능형 추론** 두 가지 Q&A 모드를 제공합니다. 빠른 Q&A는 **RAG(Retrieval-Augmented Generation)** 파이프라인으로 관련 조각을 빠르게 검색하여 답변을 생성하며, 일상적인 지식 검색에 적합합니다. 지능형 추론은 **ReACT Agent** 엔진이 **점진적 전략**으로 지식 검색, MCP 도구, 웹 검색을 자율적으로 오케스트레이션하며, 반복 추론과 리플렉션을 통해 단계적으로 결론을 도출합니다. 다중 소스 통합과 복잡한 작업에 적합합니다. 커스텀 에이전트도 지원하여 전용 지식베이스, 도구 세트, 시스템 프롬프트를 유연하게 구성할 수 있습니다. 용도에 맞게 모드를 선택하여 응답 속도와 추론 깊이를 동시에 달성합니다. + +Feishu 등 외부 플랫폼에서 지식 자동 동기화를 지원하며(추가 데이터 소스 개발 중), PDF, Word, 이미지, Excel 등 10가지 이상의 문서 포맷을 처리합니다. WeChat Work, Feishu, Slack, Telegram 등의 IM 채널을 통해 Q&A 서비스를 직접 제공할 수 있습니다. 모델 레이어에서 OpenAI, DeepSeek, Qwen(Alibaba Cloud), Zhipu, Hunyuan, Gemini, MiniMax, NVIDIA, Ollama 등 주요 프로바이더를 지원합니다. 전체 프로세스가 모듈화 설계되어 LLM, 벡터 DB, 스토리지 등 구성 요소를 유연하게 교체 가능하며, 로컬 및 프라이빗 클라우드 배포를 지원하여 데이터 완전 자체 관리가 가능합니다. **웹사이트:** https://weknora.weixin.qq.com @@ -129,34 +131,12 @@ -## 🔒 보안 공지 - -**중요:** v0.1.3부터 WeKnora는 시스템 보안 강화를 위해 로그인 인증 기능을 포함합니다. 운영 환경 배포 시 아래 사항을 강력히 권장합니다. - -- WeKnora 서비스를 공용 인터넷이 아닌 내부/사설 네트워크 환경에 배포 -- 잠재적 정보 유출 방지를 위해 서비스를 공용 네트워크에 직접 노출하지 않기 -- 배포 환경에 적절한 방화벽 규칙 및 접근 제어 구성 -- 보안 패치와 개선 사항 적용을 위해 최신 버전으로 정기 업데이트 ## 🏗️ 아키텍처 ![weknora-architecture.png](./docs/images/architecture.png) -WeKnora는 완전한 문서 이해 및 검색 파이프라인을 구축하기 위해 현대적인 모듈형 설계를 채택했습니다. 시스템은 주로 문서 파싱, 벡터 처리, 검색 엔진, 대형 모델 추론 모듈로 구성되며, 각 구성 요소는 유연하게 설정 및 확장할 수 있습니다. - -## 🎯 핵심 기능 - -- **🤖 Agent 모드**: 내장 도구로 지식베이스를 검색하고 MCP 도구/웹 검색 도구를 호출해 외부 서비스에 접근. 다중 반복 및 리플렉션을 통해 종합 요약 리포트 제공 -- **🔍 정밀 이해**: PDF, Word, 이미지 등에서 구조화된 내용을 추출해 통합 시맨틱 뷰 구성 -- **🧠 지능형 추론**: LLM으로 문서 문맥과 사용자 의도를 이해하여 정확한 Q&A와 멀티턴 대화 지원 -- **📚 다중 지식베이스 타입**: FAQ/문서 지식베이스 타입, 폴더 임포트, URL 임포트, 태그 관리, 온라인 입력 지원 -- **🔧 유연한 확장성**: 파싱-임베딩-검색-생성 전 과정을 분리해 손쉬운 커스터마이징 가능 -- **⚡ 고효율 검색**: 키워드/벡터/지식 그래프를 결합한 하이브리드 검색 및 교차 지식베이스 검색 지원 -- **🌐 웹 검색**: 확장 가능한 웹 검색 엔진 지원, DuckDuckGo 기본 제공 -- **🔌 MCP 도구 통합**: MCP를 통한 Agent 기능 확장, uvx/npx 런처 내장, 다중 전송 방식 지원 -- **⚙️ 대화 전략**: Agent 모델, 일반 모드 모델, 검색 임계값, 프롬프트 설정 지원으로 멀티턴 대화 정밀 제어 -- **🎯 사용 편의성**: 직관적인 Web UI와 표준 API 제공으로 진입 장벽 최소화 -- **🔒 보안 및 통제**: 로컬/프라이빗 클라우드 배포 지원으로 데이터 주권 보장 +문서 파싱, 벡터화, 검색부터 LLM 추론까지 전체 파이프라인을 모듈화하여 각 구성 요소를 유연하게 교체·확장 가능합니다. 로컬 / 프라이빗 클라우드 배포를 지원하며, 데이터 완전 자체 관리와 진입 장벽 없는 Web UI로 빠르게 시작할 수 있습니다. ## 📊 적용 시나리오 @@ -168,30 +148,47 @@ WeKnora는 완전한 문서 이해 및 검색 파이프라인을 구축하기 | **법무/컴플라이언스 검토** | 계약 조항 검색, 규제 정책 조회, 사례 분석 | 컴플라이언스 효율 향상, 법적 리스크 감소 | | **의료 지식 지원** | 의학 문헌 검색, 진료 가이드라인 조회, 증례 분석 | 임상 의사결정 지원, 진단 품질 향상 | -## 🧩 기능 매트릭스 +## 🧩 기능 개요 -| 모듈 | 지원 범위 | 설명 | -|---------|---------|------| -| Agent 모드 | ✅ ReACT Agent Mode | 내장 도구로 지식베이스 검색, MCP 도구 및 웹 검색 호출; 교차 지식베이스 검색 및 다중 반복 추론 | -| 지식베이스 타입 | ✅ FAQ / Document | FAQ/문서 지식베이스, 폴더 임포트, URL 임포트, 태그 관리, 온라인 입력, 지식 이동 지원 | -| 문서 포맷 | ✅ PDF / Word / Txt / Markdown / HTML / 이미지 (OCR + Caption) | 구조화/비구조화 문서 파싱; OCR 이미지 텍스트 추출; VLM 이미지 캡션 생성 | -| IM 채널 통합 | ✅ WeChat Work / Feishu / Slack / Telegram / DingTalk / Mattermost | WebSocket·Webhook 모드, 스트리밍 답변, 슬래시 커맨드(/help, /info, /search, /stop, /clear), 사용자별 레이트 리밋, Redis 기반 멀티 인스턴스 분산 조정 | -| 모델 관리 | ✅ 중앙 설정, 내장 모델 공유 | 지식베이스별 모델 선택 포함 중앙 모델 관리; 멀티테넌트 내장 모델 공유 | -| 임베딩 모델 | ✅ 로컬 모델(Ollama), BGE / GTE / OpenAI 호환 API | 커스텀 임베딩 모델, 로컬 배포 및 클라우드 벡터 생성 API 호환 | -| 벡터 DB 연동 | ✅ PostgreSQL (pgvector) / Elasticsearch / Milvus / Weaviate / Qdrant | 5종 벡터 인덱스 백엔드, 검색 시나리오별 유연한 전환 | -| 오브젝트 스토리지 | ✅ 로컬 / MinIO / AWS S3 / Volcengine TOS | 플러그인 방식 스토리지 어댑터; 시작 시 버킷 자동 생성 | -| 검색 전략 | ✅ BM25 / Dense Retrieval / GraphRAG | 희소/밀집 검색, 지식 그래프 강화 검색; 검색-리랭크-생성 파이프라인 조합 가능 | -| LLM 연동 | ✅ Qwen / DeepSeek / MiniMax / NVIDIA / Novita AI / OpenAI 호환 | 로컬 모델(Ollama) 또는 외부 API, 사고/비사고 모드 전환, vLLM 스트리밍 추론 콘텐츠 지원 | -| 대화 전략 | ✅ Agent 모델, 일반 모드 모델, 검색 임계값, 프롬프트 설정 | 온라인 프롬프트 편집, 검색 임계값 조정, 멀티턴 대화 동작 정밀 제어 | -| 웹 검색 | ✅ DuckDuckGo / Bing / Google (확장 가능) | 플러그인 방식 검색 엔진; 대화별 웹 검색 켜기/끄기 | -| MCP 도구 | ✅ uvx / npx 런처, Stdio / HTTP Streamable / SSE | MCP로 Agent 기능 확장; 안정적인 도구명 관리(충돌 방지); 도구 반환 이미지 VLM 자동 설명 | -| 추천 질문 | ✅ 지식베이스 기반 질문 추천 | Agent가 채팅 전 추천 질문 표시; 이미지 지식이 질문 생성 자동 트리거 | -| QA 역량 | ✅ 문맥 인식, 멀티턴 대화, 프롬프트 템플릿 | 복잡한 시맨틱 모델링, 지시 제어, 체인형 Q&A; 프롬프트/컨텍스트 윈도우 설정 | -| 보안 | ✅ AES-256-GCM 정적 암호화, SSRF 방어 | API 키 정적 암호화; 원격 API 호출 SSRF 안전 검증; Agent 스킬 샌드박스 실행 | -| E2E 테스트 | ✅ 검색+생성 과정 시각화 및 지표 평가 | 리콜 적중률, 답변 커버리지, BLEU/ROUGE 지표 평가 종단간 테스트 도구 | -| 배포 모드 | ✅ 로컬 / Docker / Kubernetes (Helm) | 프라이빗/오프라인 배포; 핫 리로드 고속 개발 모드; Kubernetes용 Helm Chart | -| 사용자 인터페이스 | ✅ Web UI + RESTful API | 상호작용 UI와 표준 API; Agent/일반 모드 전환; 도구 호출 과정 표시 | -| 작업 관리 | ✅ MQ 비동기 작업, 자동 DB 마이그레이션 | MQ 기반 비동기 작업 상태 유지; 버전 업그레이드 시 스키마/데이터 자동 마이그레이션 | +**🤖 지능형 대화** + +| 기능 | 상세 | +|------|------| +| 지능형 추론 | ReACT 점진적 멀티스텝 추론, 지식 검색·MCP 도구·웹 검색을 자율 오케스트레이션, 커스텀 에이전트 지원 | +| 빠른 Q&A | 지식베이스 기반 RAG Q&A, 빠르고 정확한 답변 | +| 도구 호출 | 내장 도구, MCP 도구, 웹 검색 | +| 대화 전략 | 온라인 프롬프트 편집, 검색 임계값 조정, 멀티턴 문맥 인식 | +| 추천 질문 | 지식베이스 콘텐츠 기반 질문 자동 생성 | + +**📚 지식 관리** + +| 기능 | 상세 | +|------|------| +| 지식베이스 타입 | FAQ / 문서, 폴더 임포트·URL 임포트·태그 관리·온라인 입력 | +| 데이터 소스 임포트 | Feishu 지식베이스 자동 동기화(추가 데이터 소스 개발 중), 증분·전체 동기화 지원 | +| 문서 포맷 | PDF / Word / Txt / Markdown / HTML / 이미지 / CSV / Excel / PPT / JSON | +| 검색 전략 | BM25 희소 / Dense 밀집 / GraphRAG 그래프 강화 / 부모-자식 청킹 / 다차원 인덱싱 | +| E2E 테스트 | 전체 파이프라인 시각화, 리콜 적중률·BLEU / ROUGE 지표 평가 | + +**🔌 연동 및 확장** + +| 기능 | 상세 | +|------|------| +| LLM | OpenAI / DeepSeek / Qwen (Alibaba Cloud) / Zhipu / Hunyuan / Doubao (Volcengine) / Gemini / MiniMax / NVIDIA / Novita AI / SiliconFlow / OpenRouter / Ollama | +| Embedding | Ollama / BGE / GTE / OpenAI 호환 API | +| 벡터 DB | PostgreSQL (pgvector) / Elasticsearch / Milvus / Weaviate / Qdrant | +| 오브젝트 스토리지 | 로컬 / MinIO / AWS S3 / Volcengine TOS | +| IM 통합 | WeChat Work / Feishu / Slack / Telegram / DingTalk / Mattermost | +| 웹 검색 | DuckDuckGo / Bing / Google / Tavily | + +**🛡️ 플랫폼** + +| 기능 | 상세 | +|------|------| +| 배포 | 로컬 / Docker / Kubernetes (Helm), 프라이빗/오프라인 배포 지원 | +| UI | Web UI / RESTful API / Chrome Extension | +| 작업 관리 | MQ 비동기 작업, 버전 업그레이드 시 자동 DB 마이그레이션 | +| 모델 관리 | 중앙 설정, 지식베이스별 모델 선택, 멀티테넌트 내장 모델 공유 | ## 🚀 시작하기 @@ -225,13 +222,7 @@ cp .env.example .env #### ③ 메인 서비스 시작 -`.env` 파일에서 시작할 이미지를 확인한 뒤 Docker Compose로 WeKnora 메인 서비스를 시작하세요. - -```bash -docker compose up -d -``` - -#### ③.0 Ollama 별도 시작(선택) +#### Ollama 별도 시작(선택) `.env` 에 로컬 Ollama 모델을 설정했다면 Ollama 서비스도 별도로 시작해야 합니다. @@ -239,7 +230,7 @@ docker compose up -d ollama serve > /dev/null 2>&1 & ``` -#### ③.1 기능 조합별 실행 +#### 기능 조합별 실행 - 최소 코어 서비스 ```bash @@ -416,6 +407,15 @@ test: 검색 엔진 테스트 케이스 추가 refactor: 문서 파싱 모듈 리팩터링 ``` +## 🔒 보안 공지 + +**중요:** v0.1.3부터 WeKnora는 시스템 보안 강화를 위해 로그인 인증 기능을 포함합니다. 운영 환경 배포 시 아래 사항을 강력히 권장합니다. + +- WeKnora 서비스를 공용 인터넷이 아닌 내부/사설 네트워크 환경에 배포 +- 잠재적 정보 유출 방지를 위해 서비스를 공용 네트워크에 직접 노출하지 않기 +- 배포 환경에 적절한 방화벽 규칙 및 접근 제어 구성 +- 보안 패치와 개선 사항 적용을 위해 최신 버전으로 정기 업데이트 + ## 👥 기여자 멋진 기여자 여러분께 감사드립니다: