0aa9f273e6
build / build (push) Failing after 1m33s
为什么:测试 0.9.0 栈(Compose 项目 weknora-v090)没有源库容器,治理库也不在 容器里,两者都是 RDS。旧实现用 -source-pg/-governance-pg 的容器地址拼 DSN、 用 docker exec psql 读路由绑定,在这类栈上采集根本起不来——不是权限问题,是 地址解析方式错了。 怎么改: - 新增 internal/librarydsn 收敛"这次 DSN 从哪来":容器模式保持原形状 (sslmode=disable,目标不变);-source-pg 为空时改用源应用容器 env 的 DB_* 直连托管实例,TLS 取 LIBRARY_SOURCE_DB_SSLMODE(默认 require,prefer/allow 这类会静默降级的取值直接拒);-governance-pg 为空时从 LIBRARY_GOVERNANCE_DSN_FILE 的 0600 文件读 DSN(复用 dobotaiops.ReadDSNFile, 不另写一份同义实现)。两条路径都不进日志/错误/describe,错误只点名缺哪个变量、 缺哪个文件。 - libraryctl 的路由绑定读取按模式分派,只共用行解析;外部路径用只读会话。 libraryagent 的 identity/health 增报 source_db/governance_db 模式;-describe 只打这两项,不再 dump 配置。 - 新增 scripts/library-capture-v090.sh:weknora-v090 的唯一写入者 app + 逐个 声明的 non-writers,两个 -pg 传空走外部模式,归档根可环境变量覆盖, LIBRARYCTL_BIN 缺失即失败;0.7.1 入口脚本一字未动。 怎么验:internal/librarydsn 三条路径(容器/RDS/文件)各有用例,缺变量、缺文件、 0644 文件、非 PostgreSQL 内容均失败关闭且断言错误不含口令;cmd/libraryctl 侧 钉住文件模式接线与"错误不带地址";v090 脚本进 CI 做 bash -n 加标志/服务声明 断言,并拒绝 0.7.1 容器名出现在新入口。make verify 17 项全绿。 未做:真实采集、生产 executor、Key/KB 绑定。
141 lines
5.5 KiB
Go
141 lines
5.5 KiB
Go
// Package librarydsn 决定整库采集链路里两个 DSN 究竟从哪来。
|
||
//
|
||
// 为什么要有它:容器模式下 DSN 是"源库容器的地址 + 源应用容器的 env"拼出来的;
|
||
// RDS 型 0.9.0 栈没有源库容器(库是托管实例),治理库同样只在外部。旧拼法在那种
|
||
// 栈上不是权限不够,而是地址解析方式错了——库根本没有容器地址可查。把"用哪种
|
||
// 来源"收敛成一处,libraryctl 与 libraryagent 共用同一份判定,日志/describe 只报
|
||
// 模式(container|external|file),永远不报地址与凭据。
|
||
package librarydsn
|
||
|
||
import (
|
||
"errors"
|
||
"fmt"
|
||
"net"
|
||
"net/url"
|
||
"strings"
|
||
|
||
"knowledge-governance/internal/dobotaiops"
|
||
)
|
||
|
||
const (
|
||
// SourceContainer:-source-pg 给了容器名,地址从容器网络解析(0.7.1 栈)。
|
||
SourceContainer = "container"
|
||
// SourceExternal:-source-pg 为空,直连源应用容器 env 里声明的托管库(RDS)。
|
||
SourceExternal = "external"
|
||
|
||
// GovernanceContainer:-governance-pg 给了容器名,用 docker exec psql 读。
|
||
GovernanceContainer = "container"
|
||
// GovernanceFile:-governance-pg 为空,DSN 来自 0600 文件(LIBRARY_GOVERNANCE_DSN_FILE)。
|
||
GovernanceFile = "file"
|
||
)
|
||
|
||
// allowedSSLModes 是允许的 sslmode 集合。
|
||
//
|
||
// 只收这四个:prefer/allow 会在服务端不支持时**静默降级成明文**,托管实例上那等于
|
||
// "以为加密了其实没有"——这种"看起来配好了"的失败模式比直接报错更难发现。
|
||
var allowedSSLModes = map[string]bool{
|
||
"disable": true, // 仅显式测试:本机回环或明确无 TLS 的隔离库
|
||
"require": true,
|
||
"verify-ca": true,
|
||
"verify-full": true,
|
||
}
|
||
|
||
// SourceMode 把 -source-pg 的取值翻译成来源模式。空值 = 外部(RDS)。
|
||
func SourceMode(sourcePG string) string {
|
||
if strings.TrimSpace(sourcePG) == "" {
|
||
return SourceExternal
|
||
}
|
||
return SourceContainer
|
||
}
|
||
|
||
// GovernanceMode 把 -governance-pg 的取值翻译成来源模式。空值 = DSN 文件。
|
||
func GovernanceMode(governancePG string) string {
|
||
if strings.TrimSpace(governancePG) == "" {
|
||
return GovernanceFile
|
||
}
|
||
return GovernanceContainer
|
||
}
|
||
|
||
// ContainerURL 复现容器模式原有的 DSN 形状:地址来自容器网络,sslmode=disable
|
||
// (容器私网内没有 TLS 终结)。抽到这里只为一件事:让"模式选择"有一条可测的路径,
|
||
// 而形状与旧实现逐字节一致(真跑过的栈不能因为重构换了连接串)。
|
||
func ContainerURL(address string, app map[string]string) (string, error) {
|
||
if strings.TrimSpace(address) == "" {
|
||
return "", errors.New("source container address is empty")
|
||
}
|
||
for _, key := range []string{"DB_USER", "DB_PASSWORD", "DB_NAME"} {
|
||
if app[key] == "" {
|
||
return "", fmt.Errorf("source app environment is missing %s", key)
|
||
}
|
||
}
|
||
target := url.URL{
|
||
Scheme: "postgres",
|
||
User: url.UserPassword(app["DB_USER"], app["DB_PASSWORD"]),
|
||
Host: net.JoinHostPort(address, defaultPort(app["DB_PORT"])),
|
||
Path: "/" + app["DB_NAME"],
|
||
RawQuery: url.Values{"sslmode": {"disable"}}.Encode(),
|
||
}
|
||
return target.String(), nil
|
||
}
|
||
|
||
// SourceURL 用源应用容器 env 里的 DB_* 直连托管库(RDS)。
|
||
//
|
||
// 缺哪个变量就点哪个变量名:把"连接被拒"与"配置缺一项"分开,才不用去猜着改。
|
||
// 错误里只有变量名——DB_PASSWORD 的值绝不能出现在任何一处输出里。
|
||
func SourceURL(app map[string]string, getenv func(string) string) (string, error) {
|
||
missing := []string{}
|
||
for _, key := range []string{"DB_HOST", "DB_USER", "DB_NAME"} {
|
||
if strings.TrimSpace(app[key]) == "" {
|
||
missing = append(missing, key)
|
||
}
|
||
}
|
||
// 口令不 TrimSpace:前后空格也是口令的一部分,改掉就成另一个口令了。
|
||
if app["DB_PASSWORD"] == "" {
|
||
missing = append(missing, "DB_PASSWORD")
|
||
}
|
||
if len(missing) > 0 {
|
||
return "", fmt.Errorf("source app environment is missing %s", strings.Join(missing, ", "))
|
||
}
|
||
sslmode := strings.TrimSpace(getenv("LIBRARY_SOURCE_DB_SSLMODE"))
|
||
if sslmode == "" {
|
||
sslmode = "require"
|
||
}
|
||
if !allowedSSLModes[sslmode] {
|
||
return "", errors.New("LIBRARY_SOURCE_DB_SSLMODE must be one of disable, require, verify-ca, verify-full")
|
||
}
|
||
target := url.URL{
|
||
Scheme: "postgres",
|
||
User: url.UserPassword(app["DB_USER"], app["DB_PASSWORD"]),
|
||
Host: net.JoinHostPort(strings.TrimSpace(app["DB_HOST"]), defaultPort(app["DB_PORT"])),
|
||
Path: "/" + strings.TrimSpace(app["DB_NAME"]),
|
||
RawQuery: url.Values{"sslmode": {sslmode}}.Encode(),
|
||
}
|
||
return target.String(), nil
|
||
}
|
||
|
||
// GovernanceURL 从 0600 文件读治理库 DSN。
|
||
//
|
||
// 文件读法复用 dobotaiops.ReadDSNFile:那里已经把"必须是普通文件、必须 0600、
|
||
// 错误只报路径与原因"钉住并测过——再写一份同义实现只会让两条路径的规则慢慢分叉。
|
||
func GovernanceURL(getenv func(string) string) (string, error) {
|
||
path := strings.TrimSpace(getenv("LIBRARY_GOVERNANCE_DSN_FILE"))
|
||
if path == "" {
|
||
return "", errors.New("LIBRARY_GOVERNANCE_DSN_FILE is not set: the governance DSN file is required when -governance-pg is empty")
|
||
}
|
||
dsn, err := dobotaiops.ReadDSNFile(path)
|
||
if err != nil {
|
||
// ReadDSNFile 的错误只含路径与原因,不含 DSN/口令。
|
||
return "", fmt.Errorf("governance DSN file unusable: %w", err)
|
||
}
|
||
return dsn, nil
|
||
}
|
||
|
||
// defaultPort:托管实例的连接信息里端口常常单独给;缺了就按 PostgreSQL 默认。
|
||
// 端口不是凭据,给默认值不会把"配错了"藏起来。
|
||
func defaultPort(port string) string {
|
||
if trimmed := strings.TrimSpace(port); trimmed != "" {
|
||
return trimmed
|
||
}
|
||
return "5432"
|
||
}
|