From 4f0852a94dd36aca68b646f192b4dc2e6ba51ac1 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=A7=9A=E7=AB=A0=E6=B5=A9?= Date: Fri, 30 Oct 2026 16:14:46 +0800 Subject: [PATCH] =?UTF-8?q?fix(ci):=20=E5=A5=91=E7=BA=A6=E9=97=A8=E5=90=8C?= =?UTF-8?q?=E6=97=B6=E6=A0=B8=E8=BF=9B=E7=A8=8B=E9=80=80=E5=87=BA=E7=A0=81?= =?UTF-8?q?=E4=B8=8E=E8=B4=9F=E4=BE=8B=E5=BD=92=E5=9B=A0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 为什么:版本契约门只看 `--- PASS: X` 两行,rc1 取到却没用。同一进程里别的测试 失败时 go test 仍会打印这两个 PASS 行、退出码非 0——那种"绿"证明不了这一轮测试 成功,负构建因编译/网络错误非 0 也会被当成"断言还活着"。审计 F19 的原始触发即此。 改了什么:判据抽成 `judge_contract_positive` / `judge_contract_negative`,正向要求 rc=0 + 每个必需测试真 PASS + 无 FAIL 事件 + 未跳过;负例要求非 0 且失败在预期断言上, 命中编译/网络/工具链标记即判红。判据的反例自检 `contract_judgement_problems()` 同时在 `make verify` 的 contracts 步骤与 `--self-test` 里跑,判据被改坏在本地就红。 POLICY_REVISION 提到 ci-checks/4。 怎么验:`python3 scripts/ci_checks.py --self-test` rc=0(10 汇总分支 + 10 契约反例); `--internal-contracts $(command -v go)` rc=0;反例探针(假 go 打印两个 PASS 后 exit 1) 现在 rc=1,修复前同一输入 rc=0。 --- scripts/ci_checks.py | 125 +++++++++++++++++++++++++++++++++++-------- 1 file changed, 104 insertions(+), 21 deletions(-) diff --git a/scripts/ci_checks.py b/scripts/ci_checks.py index 8f59112..1e7cf18 100644 --- a/scripts/ci_checks.py +++ b/scripts/ci_checks.py @@ -37,7 +37,7 @@ from typing import Callable ROOT = Path(__file__).resolve().parent.parent WEB = ROOT / "web" REPORT_DEFAULT = ROOT / "ci-report.json" -POLICY_REVISION = "ci-checks/3" # 判据变更时改这里,报告里跟着变 +POLICY_REVISION = "ci-checks/4" # 判据变更时改这里,报告里跟着变 MANIFESTS = ["go.mod", "go.sum", "web/package.json", "web/package-lock.json"] SUCCESS, FAILURE, SKIPPED, NOT_RUN = "success", "failure", "skipped", "not_run" @@ -357,12 +357,95 @@ def cmd_internal_web_test() -> int: return 0 if status == SUCCESS and p.returncode == 0 else 1 +CONTRACT_PASS_TESTS = ("TestNumberMatchesChangelog", "TestDevBuildDoesNotClaimRelease") +# 负例必须失败在**预期断言**上。下面这些标记说明失败来自编译/网络/工具链: +# 那种 rc!=0 什么也不能证明(构建坏了也会非 0),不能拿它当"断言真的活着"。 +CONTRACT_INFRA_MARKERS = ( + "build failed", "cannot find package", "no required module provides", "undefined:", + "no such host", "dial tcp", "i/o timeout", "tls handshake timeout", "network is unreachable", + "connection refused", "signal: killed", "permission denied", "go: downloading", +) + + +def judge_contract_positive(rc: int, text: str, tests: tuple[str, ...] = CONTRACT_PASS_TESTS) -> tuple[bool, str]: + """正向:**进程成功** + 每个必需测试真 PASS + 没有失败事件。 + + 只看 `--- PASS: X` 是不够的:同一进程里别的测试失败时 go test 仍会打印 + 指定测试的 PASS 行,退出码却是非 0。那种"两个 PASS"证明不了这一轮测试成功 + (F19 的原始缺陷:383 行拿到 rc1 却没用来判断)。 + """ + if rc != 0: + return False, f"正向测试进程退出码 {rc} != 0:指定测试的 PASS 行不能证明这一轮测试成功" + if "--- FAIL:" in text: + failed = [line.strip() for line in text.splitlines() if line.strip().startswith("--- FAIL:")] + return False, f"正向测试里有失败事件:{failed[:3]}" + if re.search(r"^FAIL\b", text, re.M): + return False, "正向测试包整体 FAIL" + for name in tests: + if f"--- SKIP: {name}" in text: + return False, f"{name} 被跳过(跳过不算通过)" + if f"--- PASS: {name}" not in text: + return False, f"{name} 没有真正 PASS(被 SKIP 或没跑到)" + return True, "进程退出码 0,且每个必需测试都真的 PASS" + + +def judge_contract_negative(rc: int, text: str, expected: str = "TestDevBuildDoesNotClaimRelease") -> tuple[bool, str]: + """负例:必须非 0,且失败归因于**预期断言**,不是编译/网络等基础设施错误。""" + if rc == 0: + return False, "负例竟然通过:这条断言是死的" + lowered = text.lower() + for marker in CONTRACT_INFRA_MARKERS: + if marker in lowered: + return False, f"负例因基础设施/编译问题失败(命中 {marker!r}),不能算预期断言生效" + if f"--- FAIL: {expected}" not in text: + return False, f"负例没有失败在预期断言 {expected} 上(没有它的 FAIL 行)" + return True, f"负例非 0 且失败在 {expected}" + + +def contract_judgement_problems() -> list[str]: + """判据本身的**反例自检**:这些分支必须由函数判定,不能靠远端 CI 碰巧没有别的问题。 + + verify 的 contracts 每一步都会先跑它,所以"判据被改坏"在本地就会红, + 而不是等到某天真的出现"进程非 0 但两个 PASS"时才静默放行。 + """ + passes = ("--- PASS: TestNumberMatchesChangelog\n" + "--- PASS: TestDevBuildDoesNotClaimRelease\n") + cases = [ + ("正向 rc=0 且两个 PASS ⇒ 绿", judge_contract_positive(0, passes)[0], True), + ("正向 rc=1 但两个 PASS 都在 ⇒ 仍要红(F19 原始缺陷)", + judge_contract_positive(1, passes + "--- FAIL: TestSomethingElse\n")[0], False), + ("正向 rc=1、PASS 齐全、无 FAIL 行 ⇒ 仍要红", + judge_contract_positive(1, passes)[0], False), + ("正向缺必需 PASS ⇒ 红", judge_contract_positive(0, "--- FAIL:\n")[0], False), + ("正向必需测试被 SKIP ⇒ 红", + judge_contract_positive(0, "--- SKIP: TestDevBuildDoesNotClaimRelease\n")[0], False), + ("负例 rc=0 ⇒ 红", judge_contract_negative(0, "PASS\n")[0], False), + ("负例失败在预期断言 ⇒ 绿", + judge_contract_negative(1, "--- FAIL: TestDevBuildDoesNotClaimRelease\n")[0], True), + ("负例因编译错误非 0 ⇒ 红", + judge_contract_negative(1, "build failed: undefined: foo\n")[0], False), + ("负例因网络错误非 0 ⇒ 红", + judge_contract_negative(1, "dial tcp 10.0.0.1:443: i/o timeout\n")[0], False), + ("负例非 0 但没有预期断言的 FAIL 行 ⇒ 红", + judge_contract_negative(1, "--- FAIL: TestOther\n")[0], False), + ] + return [f"版本契约判据:{name} 期望 {want},实际 {got}" for name, got, want in cases if got != want] + + def cmd_internal_contracts(go: str) -> int: """版本契约:结构 + 注入身份必须**真 PASS**(SKIP 判红), - 并且**开发构建不许自称正式版**(负例:标成 release ⇒ 必须红)。""" + 并且**开发构建不许自称正式版**(负例:标成 release ⇒ 必须红且红在预期断言上)。 + + 判据同时核三件事:进程退出码、必需测试集合、负例失败归因—— + 缺任意一件,"绿"就可能是别的测试失败/编译错误伪装出来的。 + """ snapshot_rc = subprocess.run(py("scripts/development_snapshot.py","--self-test"),cwd=ROOT).returncode if snapshot_rc: return 1 + judgement = contract_judgement_problems() + if judgement: + print(f"❌ 版本契约判据本身不成立:{judgement}", file=sys.stderr) + return 1 rc = subprocess.run(py("scripts/check_changelog.py"), cwd=ROOT).returncode if rc: return 1 @@ -372,7 +455,7 @@ def cmd_internal_contracts(go: str) -> int: return 1 print(f"-- 版本契约:显示版本 {ident['display_version']}({ident['build_kind']}" f"|release_version={ident['release_version']!r})--") - tests = ("TestNumberMatchesChangelog", "TestDevBuildDoesNotClaimRelease") + tests = CONTRACT_PASS_TESTS def run(ld: str) -> tuple[int, str]: p = subprocess.run([go, "test", f"-ldflags={ld}", "-count=1", "-run", "Test", "-v", "-json", @@ -382,28 +465,25 @@ def cmd_internal_contracts(go: str) -> int: rc1, text = run(ldflags_for(ident)) print(text[-2000:], end="") - # ⚠️ 被跳过的断言等于没有断言:必须看到 PASS,SKIP 一律判红。 - # 用 in 而不是 `| grep -q`:pipefail 下 grep -q 会因 SIGPIPE 谎报失败(trap-7)。 - for name in tests: - if f"--- PASS: {name}" not in text: - print(f"❌ 版本契约 {name} 没有真正 PASS(被 SKIP 或没跑到)—— " - f"缺 -ldflags,或 CHANGELOG / 构建身份有问题", file=sys.stderr) - return 1 - if f"--- SKIP: {name}" in text: - print(f"❌ 版本契约 {name} 被跳过(构建身份没注入)—— 跳过不算通过", file=sys.stderr) - return 1 + ok, why = judge_contract_positive(rc1, text, tests) + if not ok: + print(f"❌ 版本契约不成立:{why} —— 缺 -ldflags,或 CHANGELOG / 构建身份有问题", + file=sys.stderr) + return 1 # 负例:把开发构建标成正式版(ReleaseVersion 指向 CHANGELOG 里没有的号)⇒ **必须红**。 # 没有这条,"开发版沿用正式版号"这个病会静默回归。 + # 而且必须红在**预期断言**上:编译错误也会非 0,那种"红"证明不了断言活着。 bogus = "9.9.9" if ident.get("release_version") != "9.9.9" else "8.8.8" - rc2, _ = run(ldflags_for(ident, build_kind="release", release_version=bogus)) - if rc2 == 0: - print(f"❌ 把构建标成正式版(BuildKind=release / ReleaseVersion={bogus})竟然还是绿的 —— " - f"这条断言是死的", file=sys.stderr) + rc2, text2 = run(ldflags_for(ident, build_kind="release", release_version=bogus)) + print(text2[-2000:], end="") + ok, why = judge_contract_negative(rc2, text2, "TestDevBuildDoesNotClaimRelease") + if not ok: + print(f"❌ 负例不合格:{why}", file=sys.stderr) return 1 - print(f"-- 负例确认:自称正式版({bogus})⇒ 红 ✓ --") + print(f"-- 负例确认:自称正式版({bogus})⇒ 红于预期断言 ✓ --") print("✅ 版本契约成立:注入 == CHANGELOG 顶部(没有正式版本时为空)," - "开发构建带 dev 标识,且断言真的执行了") + "开发构建带 dev 标识,进程退出码与断言归因都已核对") return 0 @@ -538,13 +618,16 @@ def self_test() -> int: # 完整 SHA 的形状 if not FULL_SHA.match("a" * 40) or FULL_SHA.match("a" * 12): problems.append("完整 SHA 的形状判定不对(12 位短 sha 必须判为不完整)") + # 版本契约判据的反例(F19)——与 verify 里 contracts 那一步共用同一份逻辑 + problems.extend(contract_judgement_problems()) if problems: print("❌ 汇总逻辑自检失败:", file=sys.stderr) for p in problems: print(f" · {p}", file=sys.stderr) return 1 - print(f"✅ 汇总逻辑自检通过:{len(cases)} 个分支" - f"(含'必需项未运行/被跳过/缺失/重复/未知项都不得报全绿')+ 清单一致性 + 完整 SHA 形状") + print(f"✅ 汇总逻辑自检通过:{len(cases)} 个汇总分支" + f"(含'必需项未运行/被跳过/缺失/重复/未知项都不得报全绿')" + f" + 10 个版本契约判据反例 + 清单一致性 + 完整 SHA 形状") return 0