Files
knowledge-governance/internal/dingtalkdiscovery/discovery.go
T
姚章浩 3825859da6
build / build (push) Successful in 2m20s
feat(settings): 打通 PP 认证配置并统一 DWS 来源授权
PP 增加受控凭据更新、真实登录与目录检查,待验证修改不会替换生效配置;扫描与取件共享生效修订。
钉钉来源向导、校验与登记共用 DWS 授权,支持中途恢复与换账号保护,取消旧扫码自动回落。
认证审计复用已有来源审计页,配置响应不回传密码;补齐运行镜像脚本与权限。

验证:make verify 退出 0;PP/DWS/httpapi 目标 race 回归通过;隔离 HTTP 服务验证 PP 协议及扫描/取件消费者。
尚未部署;真实 PP 凭据与目录可用性在测试站部署后验证。
2026-11-17 19:08:46 +08:00

252 lines
9.3 KiB
Go
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
// Package dingtalkdiscovery 用 dws CLI 枚举「我账号下能看到的数据源」:
// 钉钉知识库(组织知识库 + 我的知识库)与钉盘空间(我的文件 / 组织空间)。
//
// 只读:本包只运行 dws 的列举命令并解析 JSON,不写任何远端对象,也不碰凭据值。
//
// 两条实测约束决定了命令形态:--limit 只能是 1-50;翻页必须靠 --page-all(带 --max-items
// 兜底),否则超过一页的知识库会被静默截断。
//
// dws 的令牌是轮换制,因此运行它的进程必须与 worker 共享同一份状态目录(见 compose.yaml),
// 且子进程的 HOME 必须指向 DWS_HOME(文件型 keychain 在 $HOME/.local/share/dws-cli)。
package dingtalkdiscovery
import (
"context"
"encoding/json"
"errors"
"fmt"
"strings"
"time"
)
// KnowledgeBase 是一个钉钉知识库(wiki 空间)。URL 是 alidocs 空间链接,直接可用于登记来源。
type KnowledgeBase struct {
Registered bool `json:"registered"`
Name string `json:"name"`
SpaceID string `json:"space_id"`
SpaceType string `json:"space_type"`
URL string `json:"url"`
Description string `json:"description,omitempty"`
}
// DriveSpace 是一个钉盘空间(我的文件 = mySpace;组织空间 = orgSpace)。
type DriveSpace struct {
Registered bool `json:"registered"`
Name string `json:"name"`
SpaceID string `json:"space_id"`
RootFolderID string `json:"root_folder_id,omitempty"`
SpaceType string `json:"space_type"`
}
// Result 是一次发现的结果。
type Result struct {
Identity string `json:"identity,omitempty"`
KnowledgeBases []KnowledgeBase `json:"knowledge_bases"`
DriveSpaces []DriveSpace `json:"drive_spaces"`
// KnowledgeNotice / DriveNotice 说明「这一类为什么不全」:权限不足、未登录、或被上限截断。
// 列不出某一类是常见状态(租户权限差异),页面照常显示能列出来的那部分,只在这里给原因。
KnowledgeNotice string `json:"knowledge_notice,omitempty"`
DriveNotice string `json:"drive_notice,omitempty"`
FetchedAt time.Time `json:"fetched_at"`
}
// Runner 执行一条 dws 命令并返回 stdout。实现要求:非零退出码也要把 stdout 交回
// (dws 把错误 JSON 写在那里),并且超时即失败,绝不返回半截 JSON。
type Runner interface {
RunDWS(ctx context.Context, args ...string) ([]byte, error)
}
// ErrUnavailable 表示 dws 不可用(二进制缺失、未登录、权限不足、输出不可解析):
// 调用方应把它映射成「探测不可用」而不是 500 —— 这是环境问题,不是平台缺陷。
var ErrUnavailable = errors.New("dws unavailable")
// knowledgeSpaceTypes 是知识库的两个范围:组织知识库与我的知识库。
var knowledgeSpaceTypes = []string{"orgWikiSpace", "myWikiSpace"}
// SpaceListArgs 是知识库列举的固定命令形态:一次取完,最多 200 条(4 页 × 50)。
func SpaceListArgs(spaceType string) []string {
return []string{"wiki", "+space-list", "--type", spaceType, "--page-all", "--max-items", "200", "--page-limit", "4", "--limit", "50"}
}
// Discover 枚举知识库与钉盘空间。
//
// 知识库整体列不出来 → 返回 ErrUnavailable(页面必须提示「列不出来」,不能装成空列表)。
// 单独一类失败、钉盘失败、或结果被上限截断 → 只丢那一部分,把原因写进对应的 Notice。
func Discover(ctx context.Context, runner Runner) (Result, error) {
result := Result{FetchedAt: time.Now().UTC(), KnowledgeBases: []KnowledgeBase{}, DriveSpaces: []DriveSpace{}}
successful := 0
causes := []error{}
failures := make([]string, 0, len(knowledgeSpaceTypes))
seenKnowledge := map[string]bool{}
for _, spaceType := range knowledgeSpaceTypes {
raw, err := runner.RunDWS(ctx, SpaceListArgs(spaceType)...)
if err != nil {
failures = append(failures, describe(spaceType, failureCause(raw, err)))
causes = append(causes, failureCause(raw, err))
continue
}
bases, notice, err := parseKnowledgeBases(raw, spaceType)
if err != nil {
failures = append(failures, describe(spaceType, failureCause(raw, err)))
causes = append(causes, failureCause(raw, err))
continue
}
successful++
if notice != "" {
result.KnowledgeNotice = notice
}
for _, base := range bases {
if seenKnowledge[base.SpaceID] {
continue
}
seenKnowledge[base.SpaceID] = true
result.KnowledgeBases = append(result.KnowledgeBases, base)
}
}
if len(failures) > 0 {
result.KnowledgeNotice = strings.Join(append([]string{result.KnowledgeNotice}, failures...), ";")
}
seenDrive := map[string]bool{}
for _, spaceType := range []string{"mySpace", "orgSpace"} {
raw, err := runner.RunDWS(ctx, "wiki", "space", "list", "--type", spaceType)
if err != nil {
result.DriveNotice = "钉盘目录暂时不可用,请检查该范围权限"
causes = append(causes, failureCause(raw, err))
continue
}
spaces, err := parseDriveSpaces(raw, spaceType)
if err != nil {
result.DriveNotice = "钉盘目录暂时不可用,请检查该范围权限"
causes = append(causes, failureCause(raw, err))
continue
}
successful++
for _, space := range spaces {
if seenDrive[space.SpaceType+":"+space.SpaceID] {
continue
}
seenDrive[space.SpaceType+":"+space.SpaceID] = true
result.DriveSpaces = append(result.DriveSpaces, space)
}
}
if successful == 0 && len(causes) > 0 {
return result, fmt.Errorf("%w: %w", ErrUnavailable, errors.Join(causes...))
}
return result, nil
}
func describe(scope string, err error) string {
reason := "读取失败,请重试"
if errors.Is(err, ErrCredentials) {
reason = "DWS 授权已失效"
}
if errors.Is(err, ErrPermission) {
reason = "当前范围权限不足"
}
return scope + ":" + reason
}
// parseKnowledgeBases 解析 `dws wiki +space-list`:
// {"ok":true,"data":{"count":17,"hasMore":false,"autoPageComplete":true,"spaces":[{name,url,workspaceId}]}}
// 第二个返回值是「结果不完整」的说明(被 --max-items 截断)。
func parseKnowledgeBases(raw []byte, spaceType string) ([]KnowledgeBase, string, error) {
var payload struct {
OK bool `json:"ok"`
Data struct {
Count int `json:"count"`
HasMore bool `json:"hasMore"`
AutoPageComplete bool `json:"autoPageComplete"`
Spaces []struct {
Name string `json:"name"`
URL string `json:"url"`
WorkspaceID string `json:"workspaceId"`
Description string `json:"description"`
} `json:"spaces"`
} `json:"data"`
Error *struct {
Message string `json:"message"`
Type string `json:"type"`
} `json:"error"`
}
if err := json.Unmarshal(raw, &payload); err != nil {
return nil, "", fmt.Errorf("parse knowledge base list: %w", err)
}
if !payload.OK {
message := "dws reported failure"
if payload.Error != nil && payload.Error.Message != "" {
message = payload.Error.Message
}
return nil, "", errors.New(message)
}
out := make([]KnowledgeBase, 0, len(payload.Data.Spaces))
for _, space := range payload.Data.Spaces {
name := strings.TrimSpace(space.Name)
id := strings.TrimSpace(space.WorkspaceID)
if name == "" || id == "" {
continue
}
url := strings.TrimSpace(space.URL)
if url == "" {
url = SpaceURL(id)
}
out = append(out, KnowledgeBase{Name: name, SpaceID: id, SpaceType: spaceType, URL: url, Description: strings.TrimSpace(space.Description)})
}
notice := ""
if payload.Data.HasMore && !payload.Data.AutoPageComplete {
notice = fmt.Sprintf("%s 结果超过上限,只列出前 %d 个知识库。", spaceType, len(out))
}
return out, notice, nil
}
// parseDriveSpaces 解析 `dws wiki space list --type …`:
// {"success":true,"result":{"items":[{spaceId,spaceName,spaceType,rootFolderId}]}}
func parseDriveSpaces(raw []byte, spaceType string) ([]DriveSpace, error) {
var payload struct {
Success bool `json:"success"`
ErrorMsg string `json:"errorMsg"`
ErrorCode string `json:"errorCode"`
Result struct {
Items []struct {
SpaceID json.Number `json:"spaceId"`
SpaceName string `json:"spaceName"`
SpaceType string `json:"spaceType"`
RootFolderID string `json:"rootFolderId"`
} `json:"items"`
} `json:"result"`
}
if err := json.Unmarshal(raw, &payload); err != nil {
return nil, fmt.Errorf("parse drive space list: %w", err)
}
if !payload.Success {
message := strings.TrimSpace(payload.ErrorMsg)
if message == "" {
message = strings.TrimSpace(payload.ErrorCode)
}
if message == "" {
message = "dws reported failure"
}
return nil, errors.New(message)
}
out := make([]DriveSpace, 0, len(payload.Result.Items))
for _, item := range payload.Result.Items {
name := strings.TrimSpace(item.SpaceName)
id := strings.TrimSpace(item.SpaceID.String())
if name == "" || id == "" {
continue
}
kind := strings.TrimSpace(item.SpaceType)
if kind == "" {
kind = spaceType
}
out = append(out, DriveSpace{Name: name, SpaceID: id, SpaceType: kind, RootFolderID: strings.TrimSpace(item.RootFolderID)})
}
return out, nil
}
// SpaceURL 由空间 id 拼出 alidocs 链接:登记来源走的就是这个形态。
func SpaceURL(spaceID string) string {
return "https://alidocs.dingtalk.com/i/spaces/" + spaceID + "/overview"
}