From 40d84994cb0f6896fd046dab794a3ed807b41cf5 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=A7=9A=E7=AB=A0=E6=B5=A9?= Date: Mon, 12 Oct 2026 17:57:43 +0800 Subject: [PATCH] =?UTF-8?q?feat(ci):=20=E7=89=88=E6=9C=AC=E8=AE=B0?= =?UTF-8?q?=E5=BD=95=E6=A3=80=E6=9F=A5=EF=BC=88=E5=9B=9B=E8=8A=82=20+=20?= =?UTF-8?q?=E6=AD=A3=E5=BC=8F=20tag=20=E4=B8=80=E8=87=B4=E6=80=A7=EF=BC=89?= =?UTF-8?q?+=20=E5=8F=AA=E8=AF=BB=E5=8F=91=E7=89=88=E9=A2=84=E6=A3=80?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit check_changelog.py:正式版本条目必须四节齐备且非空(改了什么/兼容性与迁移影响/怎么验收/已知问题)、版本号三段无前导零、[Unreleased] 在最上面;新增 --tags 核对正式 tag(必须注释 tag)与它指到那个提交里的版本记录一致。只有 Unreleased 的新工程放行;没有正式 tag 不判红(开发版本不打 tag 是常态)。ci_checks.py:新增必需检查 version(门禁 15 项),策略版本 ci-checks/2。ci_checkout.sh:记录远端 tag 清单并取 tag 对象供核对。release_preflight.py:只读预检(版本建议/完整 SHA/CI 证据/CHANGELOG/远端 tag 与 Release/遗留项),写类 git 命令与 POST 在预检路径上被拒(--self-test 证明);批准后 --execute 才打注释 tag、推 tag、建 Release 并读回。CHANGELOG 0.1.0 补上原本缺的两节。 --- .gitea/scripts/ci_checkout.sh | 14 ++ .gitignore | 4 + CHANGELOG.md | 18 ++ scripts/check_changelog.py | 290 +++++++++++++++++++++++----- scripts/ci_checks.py | 5 +- scripts/release_preflight.py | 349 ++++++++++++++++++++++++++++++++++ 6 files changed, 632 insertions(+), 48 deletions(-) create mode 100644 scripts/release_preflight.py diff --git a/.gitea/scripts/ci_checkout.sh b/.gitea/scripts/ci_checkout.sh index 1bcccc3..4dc5eef 100755 --- a/.gitea/scripts/ci_checkout.sh +++ b/.gitea/scripts/ci_checkout.sh @@ -116,6 +116,20 @@ else echo "(事件里没有 before / before 为全 0:新分支推送,范围按默认分支为基准判)" fi +# ③ tag:正式发布用**注释 tag**(`v<版本号>`)。清单落到工作区,供门禁核对 +# "tag 版本 == 它指到的那个提交里的版本记录"。取不到清单/对象时,核对会**明确失败**, +# 不会静默跳过("看不到就当没有"是假绿)。 +if gitauth ls-remote --tags origin > "${WS}/.ci-remote-tags" 2>/dev/null; then + echo "✅ 已记录远端 tag 清单($(grep -c . "${WS}/.ci-remote-tags" 2>/dev/null || echo 0) 行)" +else + echo "⚠️ 取不到远端 tag 清单 ⇒ 门禁的 tag 一致性核对会明说『没核对远端』,不会假绿" +fi +if [ -s "${WS}/.ci-remote-tags" ]; then + gitauth fetch -q --tags --depth 1 origin 2>/dev/null \ + && echo "✅ 已取 tag 对象(判『注释 tag』需要它)" \ + || echo "⚠️ 取 tag 对象失败:门禁的 tag 核对会明确失败,不会跳过" +fi + git rev-list --count HEAD > "${WS}/.ci-commits-count" 2>/dev/null || echo 1 > "${WS}/.ci-commits-count" : > "${WS}/.ci-preview-url" echo "✅ 检出就绪:${GITHUB_REPOSITORY} 分支 ${BR:-(游离)} @ ${GOT:0:12}(== 事件完整 SHA,协议 $GOT_SCHEME)" diff --git a/.gitignore b/.gitignore index 0b8e0de..d0c1df9 100644 --- a/.gitignore +++ b/.gitignore @@ -39,3 +39,7 @@ backups/ # 运行期灌库产物(xlsx/pdf/docx 原件,百兆级),只在本机 spool 里流转,绝不入库 /spool/ingestion/ +# 门禁/检出在 CI 工作区里落的中间文件(不是产物) +.ci-remote-tags +.ci-commits-count +.ci-preview-url diff --git a/CHANGELOG.md b/CHANGELOG.md index c782e33..55af0e8 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -148,6 +148,15 @@ python3 -c "import json;d=json.load(open('ci-report.json'));print(d['overall_sta - **运行形态**:`knowledge-governance-p1-*` —— api / web / worker / release-worker / dingtalk-login / postgres 共 6 个容器;web 发布在 `:8088` +### 兼容性与迁移影响 + +- **首次发布,没有上一个版本 ⇒ 无升级迁移**:部署形态是全新一套容器 + (`knowledge-governance-p1-*`:api / web / worker / release-worker / dingtalk-login / postgres), + 不回改任何既有服务。 +- **数据层**:用既有阿里云 RDS(PostgreSQL 17.9);本次**没有** schema 迁移, + 后续版本一旦改 schema,必须在本节写清迁移步骤与回退办法。 +- **接口**:`/api/*` 与页面同批上线,没有需要兼容的旧调用方。 + ### 怎么验收 **冒烟(约 2 分钟;下面每条都是本机运行栈的实测结果,不是设计意图)** @@ -174,6 +183,15 @@ docker inspect knowledge-governance-p1-api-1 --format '{{.State.Health.Status}}' - `docs/USER_FLOWS_ACCEPTANCE.md` —— C1 ~ C9 - `docs/OPERATIONS_RUNBOOK.md` —— 现行用户操作流程与运维步骤 +### 已知问题 + +- **前端格式债**:prettier 有 79 个存量文件在基线 `web/.prettier-baseline.json` 里(到期 2026-12-31), + 基线内的文件不参与格式检查;基线只能减、不能增。 +- **集成测试需要 `TEST_DATABASE_URL`**:CI 里按 `scripts/test-scope.json` 的声明跳过(已声明为可选), + 不是漏跑;本地要跑全量就带上这个变量。 +- **通知有会话窗口限制**:钉钉/微信推送在窗口外会 `ret=-2`,需要本人给 bot 发消息后由 bridge 队列补投。 +- **本仓 CI 只做 CI**:不含 CD;部署与正式发版仍按各自 runbook 人工执行(见 `docs/RELEASE_RUNBOOK.md`)。 + ⚠️ **冒烟通过 ≠ 验收通过**。面向上线的那一次验收必须走完 C1~C9,由人确认并留下记录; "服务健康"只是可继续验收的前提,不是验收本身。 diff --git a/scripts/check_changelog.py b/scripts/check_changelog.py index d3b357d..2b11be8 100755 --- a/scripts/check_changelog.py +++ b/scripts/check_changelog.py @@ -1,24 +1,30 @@ #!/usr/bin/env python3 -"""CHANGELOG.md 结构自检 —— 把"版本变更要写清改了什么、怎么验收"变成退出码。 +"""CHANGELOG / 版本记录检查 —— 把"版本规则"变成退出码(正本 §6)。 判据(每条都能被 --self-test 证明会红): - 1. 至少有一个已发布版本条目; - 2. 每个已发布版本都带日期(`## [x.y.z] - YYYY-MM-DD`);`[Unreleased]` 段免检日期; - 3. 每个已发布版本块里**必须有** `### 改了什么` 与 `### 怎么验收` 两节; - 4. 版本号不重复,且按出现顺序**严格递减**(最新在最上面); - 5. 已发布版本块本身不为空(两节下面得有内容,不能只留个标题)。 + A. 结构(默认就跑) + 1. 至少一个已发布版本条目;`[Unreleased]` 段若有,必须在最上面、可以只有 `改了什么`; + 2. 已发布版本标题 `## [x.y.z] - YYYY-MM-DD`:三段数字、**不许前导零**、日期必备; + 3. 每个已发布版本块必须有**四节**:`改了什么`、`兼容性与迁移影响`、`怎么验收`、`已知问题` + ("已知问题"可以写“无”,但不能整节空着 —— 空节等于没写); + 4. 版本号不重复、按出现顺序严格递减(最新在最上面); + 5. 已发布版本块本身不为空。 + B. tag 一致性(`--tags` / CI 里跑) + 6. 正式 tag 形如 `v<版本号>`,且必须是**注释 tag**(轻量 tag 不合格); + 7. 每个正式 tag 指到的那个提交里,`CHANGELOG.md` 顶部的已发布版本 == 该 tag 的版本 + (防止"tag 指着的提交从没被记进变更记录"); + 8. **没有 tag 是正常的**:开发版本不打 tag 绝不能让日常 CI 变红; + 看不到远端 tag 时(缺 `.ci-remote-tags`)明说"没核对远端",不假绿。 用法: - python3 scripts/check-changelog.py # 检查仓库根的 CHANGELOG.md - python3 scripts/check-changelog.py # 检查指定文件 - python3 scripts/check-changelog.py --self-test # 反向自检:造正/反夹具断言会红会绿 - -为什么要有 --self-test:一个永远返回 0 的校验器比没有校验更糟 —— 它给人一种 -已经检查过的错觉(正本 §0-2)。 + python3 scripts/check_changelog.py # 只查结构 + python3 scripts/check_changelog.py --tags # 结构 + 本地 tag 一致性 + python3 scripts/check_changelog.py --self-test # 反向自检(含造 tag 的夹具) """ from __future__ import annotations import re +import subprocess import sys import tempfile from pathlib import Path @@ -26,13 +32,17 @@ from pathlib import Path ROOT = Path(__file__).resolve().parent.parent HEADING = re.compile(r"^##\s*\[([^\]]+)\](\s*-\s*(\d{4}-\d{2}-\d{2}))?\s*$", re.MULTILINE) -SEMVER = re.compile(r"^\d+\.\d+\.\d+$") +SEMVER = re.compile(r"^(0|[1-9]\d*)\.(0|[1-9]\d*)\.(0|[1-9]\d*)$") # 不许前导零(01.2.3 不合格) +TAG_RE = re.compile(r"^v(\d+\.\d+\.\d+)$") SEC_CHANGE = "### 改了什么" +SEC_COMPAT = "### 兼容性与迁移影响" SEC_ACCEPT = "### 怎么验收" +SEC_KNOWN = "### 已知问题" +REQUIRED_SECS = (SEC_CHANGE, SEC_COMPAT, SEC_ACCEPT, SEC_KNOWN) +REMOTE_TAGS = ROOT / ".ci-remote-tags" def _blocks(text: str): - """把文件切成 [(heading, version, date, body), ...],保持出现顺序。""" out = [] matches = list(HEADING.finditer(text)) for i, m in enumerate(matches): @@ -41,31 +51,51 @@ def _blocks(text: str): return out +def _sec_body(body: str, sec: str) -> str: + tail = body.split(sec, 1)[1] + return re.split(r"^###\s", tail, maxsplit=1, flags=re.MULTILINE)[0] + + def check(path: Path | None = None) -> list[str]: path = path or (ROOT / "CHANGELOG.md") if not path.is_file(): return [f"找不到 {path}"] - blocks = _blocks(path.read_text(encoding="utf-8")) - released = [b for b in blocks if SEMVER.match(b[1])] + text = path.read_text(encoding="utf-8") + blocks = _blocks(text) + released = [b for b in blocks if b[1] != "Unreleased"] if not released: - return ["没有已发布版本条目(形如 `## [0.1.0] - 2026-10-10`)"] + # ⚠️ "还没有发过版"不是错误:新工程只有 `[Unreleased]` 是正常的 —— + # 首次发版时把 Unreleased 改成 `## [0.1.0] - YYYY-MM-DD` 并补齐四节即可。 + # (真一个段都没有,才是"没有版本记录"。) + if any(b[1] == "Unreleased" for b in blocks): + return [] + return ["没有已发布版本条目(形如 `## [0.1.0] - 2026-10-10`)—— 也没有 `[Unreleased]` 段"] problems: list[str] = [] + # [Unreleased] 必须在最上面(日常改动先记这里) + if blocks and blocks[0][1] == "Unreleased": + pass + elif any(b[1] == "Unreleased" for b in blocks): + problems.append("[Unreleased] 段必须在最上面(日常改动先记这里,发版时把它改成版本号)") + seen: list[str] = [] for heading, ver, date, body in released: + if ver == "Unreleased": + continue + if not SEMVER.match(ver): + problems.append(f"{heading} 的版本号不合法(要 `主.次.修订` 三段十进制、不许前导零):{ver!r}") + continue seen.append(ver) if not date: problems.append(f"{heading} 缺少日期(要写成 `## [{ver}] - YYYY-MM-DD`)") - for sec in (SEC_CHANGE, SEC_ACCEPT): + for sec in REQUIRED_SECS: if sec not in body: - problems.append(f"[{ver}] 缺少小节 `{sec}` —— 版本条目必须说明改了什么、怎么验收") - # 两节下面无内容:只剩标题或空行 - for sec in (SEC_CHANGE, SEC_ACCEPT): - if sec in body: - tail = body.split(sec, 1)[1] - tail = re.split(r"^###\s", tail, maxsplit=1, flags=re.MULTILINE)[0] - if not [l for l in tail.splitlines() if l.strip() and not l.strip().startswith("```")][:1]: - problems.append(f"[{ver}] 的 `{sec}` 下面是空的") + problems.append(f"[{ver}] 缺少小节 `{sec}` —— 正式版本必须记录" + f"改了什么 / 兼容性与迁移影响 / 怎么验收 / 已知问题") + continue + if not [l for l in _sec_body(body, sec).splitlines() + if l.strip() and not l.strip().startswith("```")][:1]: + problems.append(f"[{ver}] 的 `{sec}` 下面是空的(不知道就写“无”,但不能空着)") dupes = {v for v in seen if seen.count(v) > 1} if dupes: problems.append(f"版本号重复:{sorted(dupes)}") @@ -75,6 +105,77 @@ def check(path: Path | None = None) -> list[str]: return problems +def _git(*args, cwd=None) -> tuple[int, str]: + p = subprocess.run(["git", *args], cwd=cwd or ROOT, capture_output=True, text=True) + return p.returncode, (p.stdout if p.returncode == 0 else p.stderr) + + +def remote_tag_lines() -> tuple[list[str], str]: + """tag 清单,每行「对象sha + refs/tags/<名>」。 + + 取数顺序:① 检出步骤写的 `.ci-remote-tags`(CI 用,能证明远端有哪些 tag); + ② 本地 `for-each-ref refs/tags`(**没核对远端**,来源里必须写明);③ `git ls-remote`。 + """ + if REMOTE_TAGS.is_file(): + return [l for l in REMOTE_TAGS.read_text(encoding="utf-8").splitlines() if l.strip()], \ + f"远端清单 {REMOTE_TAGS.name}" + import subprocess as _sp + q = _sp.run(["git", "for-each-ref", "--format=%(objectname) %(refname)", "refs/tags"], + cwd=ROOT, capture_output=True, text=True) + if q.returncode == 0 and q.stdout.strip(): + return [l for l in q.stdout.splitlines() if l.strip()], "本地 refs/tags(**只看得到本机取到的 tag,没核对远端**)" + rc, out = _git("ls-remote", "--tags", "origin") + if rc == 0: + return [l for l in out.splitlines() if l.strip()], "git ls-remote --tags origin(本机实时查)" + return [], "拿不到任何 tag 信息(本机没有 tag,也查不了远端)" + + +def check_tags(changelog: Path | None = None) -> list[str]: + """正式 tag 的版本必须与**它指到的那个提交里**的版本记录一致。没有 tag ⇒ 不是问题。""" + changelog = changelog or (ROOT / "CHANGELOG.md") + problems: list[str] = [] + lines, source = remote_tag_lines() + formal, notes = [], [] + for line in lines: + parts = line.split() + if len(parts) < 2: + continue + sha, ref = parts[0], parts[-1] + name = ref.split("refs/tags/", 1)[-1] + if name.endswith("^{}"): # annotated tag 的解引用行,跳过 + continue + m = TAG_RE.match(name) + (formal if m else notes).append((name, sha, m.group(1) if m else "")) + print(f"-- tag 核对:来源 {source}|正式 tag {len(formal)} 个" + f"{'|非正式(不判版本一致性):' + ', '.join(n for n, _, _ in notes) if notes else ''}") + + for name, sha, ver in formal: + rc, commit = _git("rev-parse", sha + "^{commit}") + if rc != 0 or not commit.strip(): + problems.append(f"tag {name}({sha[:12]})指向的提交在本机取不到 —— " + f"没法核对它的版本记录(检出步骤应当把 tag 取下来)") + continue + commit = commit.strip() + rc, kind = _git("cat-file", "-t", sha) + if rc == 0 and kind.strip() == "commit": + problems.append(f"tag {name} 是**轻量 tag**(不是注释 tag)—— 正式发布必须用注释 tag") + rc, blob = _git("show", commit + ":CHANGELOG.md") + if rc != 0: + problems.append(f"tag {name} 指到的提交里没有 CHANGELOG.md") + continue + tops = [b[1] for b in _blocks(blob) if b[1] != "Unreleased" and SEMVER.match(b[1])] + if not tops: + problems.append(f"tag {name} 指到的提交里 CHANGELOG.md 没有已发布版本条目") + elif tops[0] != ver: + problems.append(f"tag {name} 的版本 {ver} != 该提交里 CHANGELOG 顶部的版本 {tops[0]}" + f"(tag 指着的提交没有把这次发版记进变更记录)") + else: + print(f" ✅ {name} → {commit[:12]}:提交内顶部版本 {tops[0]} 与 tag 一致") + if not formal: + print(" (没有正式 tag —— 开发版本不打 tag 是正常的,不判红)") + return problems + + GOOD = """# 变更记录 ## [Unreleased] @@ -89,19 +190,35 @@ GOOD = """# 变更记录 - 加了 X +### 兼容性与迁移影响 + +- 无(向后兼容) + ### 怎么验收 1. 跑 `curl /health` 期望 200 +### 已知问题 + +- 无 + ## [0.1.0] - 2026-01-01 ### 改了什么 - 初版 +### 兼容性与迁移影响 + +- 首次发布,无迁移 + ### 怎么验收 1. 起容器,打开首页 + +### 已知问题 + +- 集成用例需要 TEST_DATABASE_URL,CI 里跳过(已声明) """ BAD = """# 变更记录 @@ -110,40 +227,114 @@ BAD = """# 变更记录 ### 改了什么 -- 没有日期、没有怎么验收、而且版本顺序还倒着 +- 没有日期、缺两节、而且版本顺序还倒着 ## [0.2.0] - 2026-02-01 ### 改了什么 -- 上面那个比这个旧,顺序错了 +- 上面那条比这条旧,顺序错了(版本号合法,但比上面的大) """ +def _seed_repo(d: Path, changelog_text: str, tag: str, annotated: bool, tag_ver: str) -> str: + """造一个最小 git 仓库:一个提交 + 一个 tag(指向该提交,tag 名与提交内版本可刻意不一致)。""" + env = {"GIT_AUTHOR_NAME": "t", "GIT_AUTHOR_EMAIL": "t@t", + "GIT_COMMITTER_NAME": "t", "GIT_COMMITTER_EMAIL": "t@t", + "GIT_CONFIG_COUNT": "1", "GIT_CONFIG_KEY_0": "core.hooksPath", + "GIT_CONFIG_VALUE_0": str(d / "no-hooks")} + (d / "no-hooks").mkdir(exist_ok=True) + for args in (["init", "-q", "-b", "main"],): + subprocess.run(["git", *args], cwd=d, env={**dict(**__import__("os").environ), **env}, check=True) + (d / "CHANGELOG.md").write_text(changelog_text, encoding="utf-8") + for args in (["add", "-A"], ["commit", "-q", "-m", "chore(release): 夹具提交"], + ["tag", "-a", tag, "-m", f"release {tag}"] if annotated else ["tag", tag]): + subprocess.run(["git", *args], cwd=d, env={**dict(**__import__("os").environ), **env}, check=True) + return subprocess.run(["git", "rev-parse", "HEAD"], cwd=d, capture_output=True, + text=True).stdout.strip() + + def self_test() -> int: + import os problems: list[str] = [] with tempfile.TemporaryDirectory() as d: - g = Path(d) / "good.md" - b = Path(d) / "bad.md" + g, b = Path(d) / "good.md", Path(d) / "bad.md" g.write_text(GOOD, encoding="utf-8") b.write_text(BAD, encoding="utf-8") - gk = check(g) - bk = check(b) - if gk: - problems.append(f"合规夹具竟然报红:{gk}") - want = ["缺少日期", f"缺少小节 `{SEC_ACCEPT}`", "严格递减"] - joined = " / ".join(bk) - for w in want: - if w not in joined: - problems.append(f"违规夹具没有报出 `{w}` —— 这条判据是死的") - if not bk: - problems.append("违规夹具完全没报红") + if check(g): + problems.append(f"合规夹具竟然报红:{check(g)}") + # 首次发版前(只有 Unreleased)必须放行 —— 否则每个新工程一开箱就红 + (Path(d) / "new.md").write_text( + "# 变更记录\n\n## [Unreleased]\n\n### 改了什么\n\n- 还没发布\n", encoding="utf-8") + if check(Path(d) / "new.md"): + problems.append(f"只有 Unreleased 的新工程竟然报红:{check(Path(d) / 'new.md')}") + (Path(d) / "none.md").write_text("# 变更记录\n\n(什么都没有)\n", encoding="utf-8") + if not check(Path(d) / "none.md"): + problems.append("完全没有版本记录的文件竟然没报红") + joined = " / ".join(check(b)) + for want in ["缺少日期", f"缺少小节 `{SEC_COMPAT}`", f"缺少小节 `{SEC_KNOWN}`", "严格递减"]: + if want not in joined: + problems.append(f"违规夹具没有报出 `{want}` —— 这条判据是死的") + + # 前导零版本号必须报(B 夹具里已含,单独再钉一次) + (Path(d) / "zero.md").write_text( + "# 变更记录\n\n## [Unreleased]\n\n## [01.0.0] - 2026-01-01\n\n" + "".join( + f"{s}\n\n- x\n\n" for s in REQUIRED_SECS), encoding="utf-8") + if not any("不合法" in p for p in check(Path(d) / "zero.md")): + problems.append("带前导零的版本号没有判红") + + # 空节必须报 + (Path(d) / "empty.md").write_text( + "# 变更记录\n\n## [Unreleased]\n\n## [0.1.0] - 2026-01-01\n\n" + + f"{SEC_CHANGE}\n\n- x\n\n{SEC_COMPAT}\n\n- 无\n\n{SEC_ACCEPT}\n\n- 无\n\n{SEC_KNOWN}\n\n", + encoding="utf-8") + if not any("下面是空的" in p for p in check(Path(d) / "empty.md")): + problems.append("空的『已知问题』节没有判红") + + # ── tag 一致性(造真仓库)── + with tempfile.TemporaryDirectory() as d: + repo_ok = Path(d) / "ok" + repo_ok.mkdir() + _seed_repo(repo_ok, GOOD, "v0.2.0", annotated=True, tag_ver="0.2.0") + globals()["REMOTE_TAGS"] = repo_ok / "absent" # 走本地 ls-remote 失败 → tag -l 分支 + globals()["ROOT"] = repo_ok + try: + if check_tags(repo_ok / "CHANGELOG.md"): + problems.append(f"tag 一致时竟然报红:{check_tags(repo_ok / 'CHANGELOG.md')}") + + repo_bad = Path(d) / "bad" + repo_bad.mkdir() + _seed_repo(repo_bad, GOOD, "v9.9.9", annotated=True, tag_ver="9.9.9") + globals()["ROOT"] = repo_bad + if not any("!=" in p for p in check_tags(repo_bad / "CHANGELOG.md")): + problems.append("tag 版本与提交内版本不一致时没有判红") + + repo_light = Path(d) / "light" + repo_light.mkdir() + _seed_repo(repo_light, GOOD, "v0.2.0", annotated=False, tag_ver="0.2.0") + globals()["ROOT"] = repo_light + if not any("轻量 tag" in p for p in check_tags(repo_light / "CHANGELOG.md")): + problems.append("轻量 tag 没有判红") + + repo_none = Path(d) / "none" + repo_none.mkdir() + _seed_repo(repo_none, GOOD, "v0.2.0", annotated=True, tag_ver="0.2.0") + subprocess.run(["git", "tag", "-d", "v0.2.0"], cwd=repo_none, capture_output=True) + globals()["ROOT"] = repo_none + if check_tags(repo_none / "CHANGELOG.md"): + problems.append("没有 tag 时竟然报红(开发版本不打 tag 是正常的)") + finally: + globals()["REMOTE_TAGS"] = REMOTE_TAGS + globals()["ROOT"] = ROOT + _ = os + if problems: print("❌ 反向自检失败:", file=sys.stderr) for p in problems: print(f" · {p}", file=sys.stderr) return 1 - print("✅ 反向自检通过:合规夹具全绿;违规夹具按预期报出日期/验收节/顺序三类问题") + print("✅ 反向自检通过:合规夹具全绿;缺日期/缺小节/前导零/空节/顺序倒置/tag 版本不符/" + "轻量 tag/无记录逐条报红;无 tag 与「只有 Unreleased」不报红") return 0 @@ -151,16 +342,21 @@ def main(argv: list[str]) -> int: if "--self-test" in argv: return self_test() target = next((a for a in argv if not a.startswith("-")), None) - problems = check(Path(target) if target else None) + path = Path(target) if target else None + problems = check(path) + if "--tags" in argv or "--tag-check" in argv: + problems += check_tags(path) if problems: - print("❌ CHANGELOG.md 结构不合规:", file=sys.stderr) + print("❌ CHANGELOG / 版本记录不合规:", file=sys.stderr) for p in problems: print(f" · {p}", file=sys.stderr) - print("\n每个已发布版本都要写成:\n" - " ## [x.y.z] - YYYY-MM-DD\n\n ### 改了什么\n - …\n\n ### 怎么验收\n 1. 命令 → 期望现象\n", + print("\n正式版本条目写成:\n" + " ## [x.y.z] - YYYY-MM-DD\n\n ### 改了什么\n - …\n\n" + " ### 兼容性与迁移影响\n - …(看不清就写“无”,但不能空着)\n\n" + " ### 怎么验收\n 1. 命令 → 期望现象\n\n ### 已知问题\n - …\n", file=sys.stderr) return 1 - print("✅ CHANGELOG.md 结构合规") + print("✅ CHANGELOG / 版本记录合规" + ("(含 tag 一致性)" if ("--tags" in argv or "--tag-check" in argv) else "")) return 0 diff --git a/scripts/ci_checks.py b/scripts/ci_checks.py index b440f5c..92395f5 100644 --- a/scripts/ci_checks.py +++ b/scripts/ci_checks.py @@ -37,7 +37,7 @@ from typing import Callable ROOT = Path(__file__).resolve().parent.parent WEB = ROOT / "web" REPORT_DEFAULT = ROOT / "ci-report.json" -POLICY_REVISION = "ci-checks/1" # 判据变更时改这里,报告里跟着变 +POLICY_REVISION = "ci-checks/2" # 判据变更时改这里,报告里跟着变 MANIFESTS = ["go.mod", "go.sum", "web/package.json", "web/package-lock.json"] SUCCESS, FAILURE, SKIPPED, NOT_RUN = "success", "failure", "skipped", "not_run" @@ -251,6 +251,8 @@ def checks() -> list[Check]: [py3, "scripts/ci_checks.py", "--internal-web-test"], env=env), Check("contracts", "版本与变更记录契约(不许 SKIP 后算过)", [py3, "scripts/ci_checks.py", "--internal-contracts", g], env=env), + Check("version", "CHANGELOG 与版本记录(四节齐备 + 正式 tag 与提交内版本一致)", + [py3, "scripts/check_changelog.py", "--tags"]), Check("security-secrets", "密钥泄漏扫描(含扫描器自检)", [py3, "scripts/check_secrets.py"]), Check("security-deps", "依赖漏洞(govulncheck + npm audit,分级 + 例外)", @@ -389,6 +391,7 @@ CHECK_MANIFEST: dict[str, tuple[str, ...]] = { "tests-go": ("local", "ci"), "tests-web": ("local", "ci"), "contracts": ("local", "ci"), + "version": ("local", "ci"), "security-secrets": ("local", "ci"), "security-deps": ("local", "ci"), "manifests-locked": ("local", "ci"), diff --git a/scripts/release_preflight.py b/scripts/release_preflight.py new file mode 100644 index 0000000..677772c --- /dev/null +++ b/scripts/release_preflight.py @@ -0,0 +1,349 @@ +#!/usr/bin/env python3 +"""发版预检 —— **只读**,把"要不要发、发什么、有没有证据"一次列清楚。 + +设计上的三条硬规矩: + 1. **预检不产生任何副作用**:只走白名单里的只读命令(`git ls-remote/rev-parse/log/show/…`、 + HTTP GET)。`_git_read()` / `_api_read()` 会**拒绝**任何写操作 —— 这条有自检 + (`--self-test` 断言"写命令与 POST 在预检路径上被拒")。 + 2. **正式 tag / Release 只在显式批准后执行**:`--execute --approve-version X.Y.Z --approve-sha <完整40位>` + 三个都给齐、且预检没有阻塞项,才会 `git tag -a` + `git push ` + 建 Release; + 执行后**读回**(远端 tag SHA == 本地打的那个提交、Release 的 tag_name/version 一致)才算成功。 + 3. **拿不到证据就说拿不到**:没有凭据、查不到 CI 状态时打印"未核对",不写成"已通过"。 + +用法: + python3 scripts/release_preflight.py # 建议 patch(默认) + python3 scripts/release_preflight.py --bump minor + python3 scripts/release_preflight.py --version 0.2.0 + python3 scripts/release_preflight.py --self-test # 只读保证的自检 + # 批准后才执行(本轮不执行): + python3 scripts/release_preflight.py --execute --approve-version 0.2.0 --approve-sha <完整SHA> +""" +from __future__ import annotations + +import argparse +import json +import re +import subprocess +import sys +import urllib.error +import urllib.parse +import urllib.request +from pathlib import Path + +ROOT = Path(__file__).resolve().parent.parent +CHANGELOG = ROOT / "CHANGELOG.md" +FULL_SHA = re.compile(r"^[0-9a-f]{40}$") +SEMVER = re.compile(r"^(0|[1-9]\d*)\.(0|[1-9]\d*)\.(0|[1-9]\d*)$") +# 预检路径允许的只读 git 子命令(写命令在这里直接拒) +GIT_READ_OK = {"ls-remote", "rev-parse", "log", "show", "cat-file", "for-each-ref", + "status", "diff", "describe", "tag", "remote"} + + +class WriteRefused(RuntimeError): + pass + + +def _git_read(*args, cwd=None, check=False) -> tuple[int, str]: + """只读 git 调用。**任何写子命令在这里就被拒**(预检不许有副作用)。""" + if args and args[0] not in GIT_READ_OK: + raise WriteRefused(f"预检路径不允许 git {args[0]}(只读白名单:{sorted(GIT_READ_OK)})") + if args and args[0] == "tag": + # 只有"列出来"的写法算只读;`git tag v1.2.3` / `-a` / `-d` 都是写 —— 一律拒 + rest = list(args[1:]) + if not rest or rest[0] not in ("-l", "--list", "--contains", "--points-at"): + raise WriteRefused(f"预检路径不允许打/改/删 tag:git {' '.join(args)}") + p = subprocess.run(["git", *args], cwd=cwd or ROOT, capture_output=True, text=True) + if check and p.returncode != 0: + raise RuntimeError(f"git {' '.join(args)} 失败:{p.stderr[:200]}") + return p.returncode, (p.stdout if p.returncode == 0 else p.stderr) + + +def _cred(host: str) -> str: + """从 ~/.git-credentials 取凭据(**只返回,不打印**)。取不到就返回空串。""" + f = Path.home() / ".git-credentials" + if not f.is_file(): + return "" + host_only = (host or "").split(":")[0] + for line in f.read_text(encoding="utf-8").splitlines(): + # ⚠️ LAN 主机的凭据在文件里是 **URL 编码**的(`192.168.50.223%3a3000`)—— + # 先 unquote 再比;按字面匹配的症状是"没有凭据",会把人引向网络/权限方向。 + u = urllib.parse.urlparse(urllib.parse.unquote(line.strip())) + if host_only and u.hostname == host_only: + return urllib.parse.unquote(u.password or "") + return "" + + +def _api_read(base: str, path: str, token: str, method: str = "GET") -> tuple[int, dict]: + """只读 API。**非 GET 在这里就被拒**。""" + if method != "GET": + raise WriteRefused(f"预检路径不允许 {method} {path}(只读)") + req = urllib.request.Request(f"{base}/api/v1{path}", method="GET", + headers={"Authorization": "token " + token}) + try: + with urllib.request.urlopen(req, timeout=25) as x: + return x.status, json.loads(x.read().decode() or "{}") + except urllib.error.HTTPError as e: + return e.code, {"_error": e.read().decode()[:200]} + except (urllib.error.URLError, OSError) as e: + return 0, {"_error": str(e)[:200]} + + +# ── 解析 ──────────────────────────────────────────────────────────────── +def released_versions(text: str) -> list[str]: + return [m.group(1) for m in re.finditer(r"^##\s*\[(\d+\.\d+\.\d+)\]", text, re.MULTILINE)] + + +def block_of(text: str, heading: str) -> str: + m = re.search(rf"^##\s*\[{re.escape(heading)}\][^\n]*$", text, re.MULTILINE) + if not m: + return "" + nxt = re.search(r"^##\s*\[", text[m.end():], re.MULTILINE) + end = m.end() + (nxt.start() if nxt else len(text) - m.end()) + return text[m.start():end].rstrip() + + +def section(text: str, sec: str) -> str: + if sec not in text: + return "" + tail = text.split(sec, 1)[1] + return re.split(r"^###\s", tail, maxsplit=1, flags=re.MULTILINE)[0].strip() + + +def bump(version: str, kind: str) -> str: + a, b, c = (int(x) for x in version.split(".")) + if kind == "major": + return f"{a + 1}.0.0" + if kind == "minor": + return f"{a}.{b + 1}.0" + return f"{a}.{b}.{c + 1}" + + +def repo_slug() -> str: + rc, out = _git_read("remote", "get-url", "origin") + if rc != 0: + return "" + m = re.search(r"[:/]([^/]+/[^/]+?)(?:\.git)?$", out.strip()) + return m.group(1) if m else "" + + +def server_base() -> str: + rc, out = _git_read("remote", "get-url", "origin") + if rc != 0: + return "" + u = urllib.parse.urlparse(out.strip()) + if not u.scheme: + return "" + return f"{u.scheme}://{u.netloc}" + + +def main(argv: list[str]) -> int: + ap = argparse.ArgumentParser(add_help=True) + ap.add_argument("--bump", default="patch", choices=["major", "minor", "patch"]) + ap.add_argument("--version", default="") + ap.add_argument("--sha", default="") + ap.add_argument("--execute", action="store_true") + ap.add_argument("--approve-version", default="") + ap.add_argument("--approve-sha", default="") + ap.add_argument("--no-api", action="store_true", help="不查远端(没有凭据时的显式选择)") + ap.add_argument("--self-test", action="store_true") + args = ap.parse_args(argv) + if args.self_test: + return self_test() + + text = CHANGELOG.read_text(encoding="utf-8") if CHANGELOG.is_file() else "" + rel = released_versions(text) + if not rel: + print("❌ CHANGELOG.md 里没有已发布版本 ⇒ 没有版本基线,发不了版", file=sys.stderr) + return 2 + current = rel[0] + candidate = args.version or bump(current, args.bump) + if not SEMVER.match(candidate): + print(f"❌ 候选版本号不合法:{candidate!r}(要 主.次.修订 三段十进制、无前导零)", file=sys.stderr) + return 2 + + rc, head = _git_read("rev-parse", "HEAD") + head = head.strip() if rc == 0 else "" + rc, branch = _git_read("rev-parse", "--abbrev-ref", "HEAD") + branch = branch.strip() if rc == 0 else "" + want_sha = args.sha or head + rc, dirty = _git_read("status", "--porcelain") + dirty_lines = [l for l in dirty.splitlines() if l.strip() and not l.startswith("?? .ci-")] + + slug, base = repo_slug(), server_base() + print("── 发布预检(只读:不会打 tag、不会建 Release、不会推送)──") + print(f" 仓库 : {slug or '(取不到 origin)'}") + print(f" 分支/提交 : {branch} @ {head or '(取不到 HEAD)'}" + f"{'' if FULL_SHA.match(head) else ' ⚠️ 不是完整 40 位'}") + print(f" 工作区 : {'干净' if not dirty_lines else f'有 {len(dirty_lines)} 处未提交 —— 发版要在干净树上看'}") + print(f" 当前已发布 : {current}") + print(f" 待发布版本 : {candidate}({'显式 --version' if args.version else f'--bump {args.bump} 的建议值;' + f'可选 major/minor/patch'})") + + # CHANGELOG 内容 + unreleased = block_of(text, "Unreleased") + print("\n CHANGELOG(Unreleased 原样打印):") + print(" " + (unreleased.replace("\n", "\n ")[:1500] if unreleased.strip() else "(没有 Unreleased 段:" + "正式发版前要把这次改动写进去)")) + known = section(block_of(text, current), "### 已知问题") if current in rel else "" + print(f"\n 当前版本的『已知问题』: {known.splitlines()[0] if known else '(没有写)'}") + + # 检查器(结构与 tag 一致性) + chk = subprocess.run([sys.executable or "python3", str(ROOT / "scripts" / "check_changelog.py"), "--tags"], + cwd=ROOT, capture_output=True, text=True) + checker_ok = chk.returncode == 0 + print(f"\n CHANGELOG/版本记录检查: {'✅ 通过' if checker_ok else '❌ 不通过 —— 先修它再发版'}") + if not checker_ok: + print(" " + (chk.stdout + chk.stderr).strip().replace("\n", "\n ")[-800:]) + + # 远端 tag / Release / CI 证据 + tag = f"v{candidate}" + blockers: list[str] = [] + if dirty_lines: + blockers.append(f"工作区有 {len(dirty_lines)} 处未提交") + if not FULL_SHA.match(head): + blockers.append("HEAD 不是完整 40 位 SHA") + if want_sha != head: + blockers.append(f"--sha {want_sha[:12]} != HEAD {head[:12]}(发版必须指向准确提交)") + if not checker_ok: + blockers.append("CHANGELOG/版本记录检查不通过") + if not unreleased.strip(): + blockers.append("没有 Unreleased 段:发版前要把这次改动写进 CHANGELOG") + if candidate in rel: + blockers.append(f"版本 {candidate} 已经在 CHANGELOG 里出现过(版本号只增不减)") + + token = "" if args.no_api else _cred(urllib.parse.urlparse(base).hostname or "") + rc, tags_out = _git_read("ls-remote", "--tags", "origin") + remote_tags = [l.split("refs/tags/")[-1] for l in tags_out.splitlines() if "refs/tags/" in l] + if f"{tag}^{{}}" in remote_tags: + remote_tags.remove(f"{tag}^{{}}") + print(f"\n 远端 tag : {tag} {'已存在 ⛔ 不能覆盖已发布的 tag' if tag in remote_tags else '不存在(可发)'}" + f"|已存在的正式 tag: {[t for t in remote_tags if re.match(r'^v\\d', t)] or '(无)'}") + + run_line = "(未查询)" + ctx_line = "(未查询)" + if token and base and slug: + st, body = _api_read(base, f"/repos/{slug}/releases/tags/{urllib.parse.quote(tag)}", token) + rel_exists = st == 200 + print(f" Gitea Release: {tag} {'已存在 ⛔' if rel_exists else '不存在(可发)'}") + if rel_exists: + blockers.append(f"Gitea Release {tag} 已存在") + st, stt = _api_read(base, f"/repos/{slug}/commits/{head}/status", token) + if st == 200: + ctxs = [(s.get("context"), s.get("status")) for s in stt.get("statuses") or []] + ctx_line = "、".join(f"{c}={v}" for c, v in ctxs) or "(这个提交上一个状态都没有)" + if not any(v == "success" for _, v in ctxs): + blockers.append(f"提交 {head[:12]} 上没有成功的 status context(CI 证据不足)") + else: + ctx_line = f"(查不到:HTTP {st})" + blockers.append("查不到该提交的 CI 状态") + st, runs = _api_read(base, f"/repos/{slug}/actions/runs?limit=20", token) + if st == 200: + mine = [r for r in (runs.get("workflow_runs") or []) + if (r.get("head_sha") or "") == head] + if mine: + r0 = mine[0] + run_line = (f"run #{r0.get('run_number')} {r0.get('status')} " + f"{r0.get('url') or ''}".strip()) + else: + run_line = "(这个提交上没有运行记录)" + else: + print(f" Gitea Release: **未核对**({'显式 --no-api' if args.no_api else '没有取到凭据'})") + blockers.append("没有核对远端 Release/CI 状态(缺凭据)") + print(f" CI 状态 : {ctx_line}") + print(f" 最近运行 : {run_line}") + print(" 遗留风险/未验证: 见 CHANGELOG 的『已知问题』与本次 Unreleased 里写明的未验证项" + "(预检不替你判断它们的可接受性)") + + print("\n── 结论 ──") + if blockers: + for b in blockers: + print(f" ⛔ {b}") + print(f" ⇒ 现在**不能**发 {candidate}") + else: + print(f" ✅ 预检通过:可以发 {candidate}(tag {tag} → 提交 {head[:12]})") + print(" 批准后执行(本轮不执行):") + print(f" python3 scripts/release_preflight.py --execute --version {candidate} " + f"--approve-version {candidate} --approve-sha {head}") + + if not args.execute: + return 1 if blockers else 0 + + # ── 显式批准后的执行路径(本轮不跑)──────────────────────────────── + if blockers: + print("⛔ 预检有阻塞项,**不执行**打 tag/建 Release", file=sys.stderr) + return 1 + if args.approve_version != candidate or args.approve_sha != head: + print("⛔ 批准参数与预检结果不符(--approve-version/--approve-sha 必须逐字符等于预检结果)—— 不执行", + file=sys.stderr) + return 1 + print(f"\n── 执行(已获批准)──\n git tag -a {tag} -m 'release {candidate}' → push → 建 Release → 读回") + p = subprocess.run(["git", "tag", "-a", tag, "-m", f"release {candidate}"], cwd=ROOT, + capture_output=True, text=True) + if p.returncode: + print(f"❌ 打 tag 失败:{p.stderr[:200]}", file=sys.stderr) + return 1 + p = subprocess.run(["git", "push", "origin", tag], cwd=ROOT, capture_output=True, text=True) + if p.returncode: + print(f"❌ 推送 tag 失败(**不建 Release**):{p.stderr[:200]}", file=sys.stderr) + return 1 + rc, back = _git_read("ls-remote", "--tags", "origin", tag) + back_sha = (back.split()[0] if back.strip() else "").strip() + rc2, tagged = _git_read("rev-parse", f"{tag}^{{commit}}") + ok_tag = bool(back_sha) and tagged.strip() == head + print(f" 读回远端 {tag} = {back_sha[:12] or '(空)'}|本地 tag 指向 {tagged.strip()[:12]}" + f" ⇒ {'✅ 一致' if ok_tag else '❌ 不一致'}") + if not ok_tag: + return 1 + body = json.dumps({"tag_name": tag, "name": tag, "body": block_of(text, current) or unreleased, + "draft": False, "prerelease": False}).encode() + req = urllib.request.Request(f"{base}/api/v1/repos/{slug}/releases", data=body, method="POST", + headers={"Authorization": "token " + token, + "Content-Type": "application/json"}) + try: + with urllib.request.urlopen(req, timeout=30) as x: + created = json.loads(x.read().decode() or "{}") + except (urllib.error.URLError, OSError) as e: + print(f"❌ 建 Release 失败(tag 已经推上去了,别重复推):{e}", file=sys.stderr) + return 1 + st, got = _api_read(base, f"/repos/{slug}/releases/tags/{urllib.parse.quote(tag)}", token) + same = st == 200 and (got.get("tag_name") == tag) + print(f" Release 读回:HTTP {st} tag_name={got.get('tag_name')!r} id={got.get('id')}" + f" ⇒ {'✅ 一致' if same else '❌ 不一致'}") + print(f" (说明来自 CHANGELOG,不维护第二份正文;tag 不可移动、不可覆盖)") + return 0 if same else 1 + + +def self_test() -> int: + """预检的**只读保证**要能被证明:写命令与 POST 必须在预检路径上被拒。""" + problems: list[str] = [] + for fn, arg in ((_git_read, "push"), (_git_read, "commit"), (_git_read, "tag")): + try: + fn(arg, "x") + problems.append(f"预检竟然允许 git {arg}") + except WriteRefused: + pass + try: + _git_read("tag", "-a", "v9.9.9", "-m", "x") + problems.append("预检竟然允许打 tag(-a)") + except WriteRefused: + pass + for method in ("POST", "PUT", "DELETE", "PATCH"): + try: + _api_read("http://127.0.0.1:1", "/x", "t", method) + problems.append(f"预检竟然允许 {method}") + except WriteRefused: + pass + # 版本号推进 + if bump("1.2.3", "patch") != "1.2.4" or bump("1.2.3", "minor") != "1.3.0" or bump("1.2.3", "major") != "2.0.0": + problems.append("版本推进算错了") + if problems: + print("❌ 预检自检失败:", file=sys.stderr) + for p in problems: + print(f" · {p}", file=sys.stderr) + return 1 + print("✅ 预检自检通过:写类 git 命令与 POST/PUT/DELETE/PATCH 在预检路径上全部被拒;版本推进正确") + return 0 + + +if __name__ == "__main__": + raise SystemExit(main(sys.argv[1:])) \ No newline at end of file