Files
knowledge-governance/internal/librarydsn/dsn.go
T
姚章浩 0aa9f273e6
build / build (push) Failing after 1m33s
feat(library): 采集接入 RDS 型 0.9.0 栈
为什么:测试 0.9.0 栈(Compose 项目 weknora-v090)没有源库容器,治理库也不在
容器里,两者都是 RDS。旧实现用 -source-pg/-governance-pg 的容器地址拼 DSN、
用 docker exec psql 读路由绑定,在这类栈上采集根本起不来——不是权限问题,是
地址解析方式错了。

怎么改:
- 新增 internal/librarydsn 收敛"这次 DSN 从哪来":容器模式保持原形状
  (sslmode=disable,目标不变);-source-pg 为空时改用源应用容器 env 的 DB_*
  直连托管实例,TLS 取 LIBRARY_SOURCE_DB_SSLMODE(默认 require,prefer/allow
  这类会静默降级的取值直接拒);-governance-pg 为空时从
  LIBRARY_GOVERNANCE_DSN_FILE 的 0600 文件读 DSN(复用 dobotaiops.ReadDSNFile,
  不另写一份同义实现)。两条路径都不进日志/错误/describe,错误只点名缺哪个变量、
  缺哪个文件。
- libraryctl 的路由绑定读取按模式分派,只共用行解析;外部路径用只读会话。
  libraryagent 的 identity/health 增报 source_db/governance_db 模式;-describe
  只打这两项,不再 dump 配置。
- 新增 scripts/library-capture-v090.sh:weknora-v090 的唯一写入者 app + 逐个
  声明的 non-writers,两个 -pg 传空走外部模式,归档根可环境变量覆盖,
  LIBRARYCTL_BIN 缺失即失败;0.7.1 入口脚本一字未动。

怎么验:internal/librarydsn 三条路径(容器/RDS/文件)各有用例,缺变量、缺文件、
0644 文件、非 PostgreSQL 内容均失败关闭且断言错误不含口令;cmd/libraryctl 侧
钉住文件模式接线与"错误不带地址";v090 脚本进 CI 做 bash -n 加标志/服务声明
断言,并拒绝 0.7.1 容器名出现在新入口。make verify 17 项全绿。

未做:真实采集、生产 executor、Key/KB 绑定。
2026-11-16 20:53:40 +08:00

141 lines
5.5 KiB
Go
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
// Package librarydsn 决定整库采集链路里两个 DSN 究竟从哪来。
//
// 为什么要有它:容器模式下 DSN 是"源库容器的地址 + 源应用容器的 env"拼出来的;
// RDS 型 0.9.0 栈没有源库容器(库是托管实例),治理库同样只在外部。旧拼法在那种
// 栈上不是权限不够,而是地址解析方式错了——库根本没有容器地址可查。把"用哪种
// 来源"收敛成一处,libraryctl 与 libraryagent 共用同一份判定,日志/describe 只报
// 模式(container|external|file),永远不报地址与凭据。
package librarydsn
import (
"errors"
"fmt"
"net"
"net/url"
"strings"
"knowledge-governance/internal/dobotaiops"
)
const (
// SourceContainer:-source-pg 给了容器名,地址从容器网络解析(0.7.1 栈)。
SourceContainer = "container"
// SourceExternal:-source-pg 为空,直连源应用容器 env 里声明的托管库(RDS)。
SourceExternal = "external"
// GovernanceContainer:-governance-pg 给了容器名,用 docker exec psql 读。
GovernanceContainer = "container"
// GovernanceFile:-governance-pg 为空,DSN 来自 0600 文件(LIBRARY_GOVERNANCE_DSN_FILE)。
GovernanceFile = "file"
)
// allowedSSLModes 是允许的 sslmode 集合。
//
// 只收这四个:prefer/allow 会在服务端不支持时**静默降级成明文**,托管实例上那等于
// "以为加密了其实没有"——这种"看起来配好了"的失败模式比直接报错更难发现。
var allowedSSLModes = map[string]bool{
"disable": true, // 仅显式测试:本机回环或明确无 TLS 的隔离库
"require": true,
"verify-ca": true,
"verify-full": true,
}
// SourceMode 把 -source-pg 的取值翻译成来源模式。空值 = 外部(RDS)。
func SourceMode(sourcePG string) string {
if strings.TrimSpace(sourcePG) == "" {
return SourceExternal
}
return SourceContainer
}
// GovernanceMode 把 -governance-pg 的取值翻译成来源模式。空值 = DSN 文件。
func GovernanceMode(governancePG string) string {
if strings.TrimSpace(governancePG) == "" {
return GovernanceFile
}
return GovernanceContainer
}
// ContainerURL 复现容器模式原有的 DSN 形状:地址来自容器网络,sslmode=disable
// (容器私网内没有 TLS 终结)。抽到这里只为一件事:让"模式选择"有一条可测的路径,
// 而形状与旧实现逐字节一致(真跑过的栈不能因为重构换了连接串)。
func ContainerURL(address string, app map[string]string) (string, error) {
if strings.TrimSpace(address) == "" {
return "", errors.New("source container address is empty")
}
for _, key := range []string{"DB_USER", "DB_PASSWORD", "DB_NAME"} {
if app[key] == "" {
return "", fmt.Errorf("source app environment is missing %s", key)
}
}
target := url.URL{
Scheme: "postgres",
User: url.UserPassword(app["DB_USER"], app["DB_PASSWORD"]),
Host: net.JoinHostPort(address, defaultPort(app["DB_PORT"])),
Path: "/" + app["DB_NAME"],
RawQuery: url.Values{"sslmode": {"disable"}}.Encode(),
}
return target.String(), nil
}
// SourceURL 用源应用容器 env 里的 DB_* 直连托管库(RDS)。
//
// 缺哪个变量就点哪个变量名:把"连接被拒"与"配置缺一项"分开,才不用去猜着改。
// 错误里只有变量名——DB_PASSWORD 的值绝不能出现在任何一处输出里。
func SourceURL(app map[string]string, getenv func(string) string) (string, error) {
missing := []string{}
for _, key := range []string{"DB_HOST", "DB_USER", "DB_NAME"} {
if strings.TrimSpace(app[key]) == "" {
missing = append(missing, key)
}
}
// 口令不 TrimSpace:前后空格也是口令的一部分,改掉就成另一个口令了。
if app["DB_PASSWORD"] == "" {
missing = append(missing, "DB_PASSWORD")
}
if len(missing) > 0 {
return "", fmt.Errorf("source app environment is missing %s", strings.Join(missing, ", "))
}
sslmode := strings.TrimSpace(getenv("LIBRARY_SOURCE_DB_SSLMODE"))
if sslmode == "" {
sslmode = "require"
}
if !allowedSSLModes[sslmode] {
return "", errors.New("LIBRARY_SOURCE_DB_SSLMODE must be one of disable, require, verify-ca, verify-full")
}
target := url.URL{
Scheme: "postgres",
User: url.UserPassword(app["DB_USER"], app["DB_PASSWORD"]),
Host: net.JoinHostPort(strings.TrimSpace(app["DB_HOST"]), defaultPort(app["DB_PORT"])),
Path: "/" + strings.TrimSpace(app["DB_NAME"]),
RawQuery: url.Values{"sslmode": {sslmode}}.Encode(),
}
return target.String(), nil
}
// GovernanceURL 从 0600 文件读治理库 DSN。
//
// 文件读法复用 dobotaiops.ReadDSNFile:那里已经把"必须是普通文件、必须 0600、
// 错误只报路径与原因"钉住并测过——再写一份同义实现只会让两条路径的规则慢慢分叉。
func GovernanceURL(getenv func(string) string) (string, error) {
path := strings.TrimSpace(getenv("LIBRARY_GOVERNANCE_DSN_FILE"))
if path == "" {
return "", errors.New("LIBRARY_GOVERNANCE_DSN_FILE is not set: the governance DSN file is required when -governance-pg is empty")
}
dsn, err := dobotaiops.ReadDSNFile(path)
if err != nil {
// ReadDSNFile 的错误只含路径与原因,不含 DSN/口令。
return "", fmt.Errorf("governance DSN file unusable: %w", err)
}
return dsn, nil
}
// defaultPort:托管实例的连接信息里端口常常单独给;缺了就按 PostgreSQL 默认。
// 端口不是凭据,给默认值不会把"配错了"藏起来。
func defaultPort(port string) string {
if trimmed := strings.TrimSpace(port); trimmed != "" {
return trimmed
}
return "5432"
}