Skip to content

test: 添加条件式跨模型一致性验收 - #23

Open
richie-liu512 wants to merge 2 commits into
mainfrom
agent/cross-model-conditional-acceptance
Open

test: 添加条件式跨模型一致性验收#23
richie-liu512 wants to merge 2 commits into
mainfrom
agent/cross-model-conditional-acceptance

Conversation

@richie-liu512

@richie-liu512 richie-liu512 commented Aug 22, 2026

Copy link
Copy Markdown
Owner

目标

为已观测到的跨模型边界漂移增加一个人工条件探针。探针固定使用同一条公开边界任务,并且只允许 Luna High 与 Sol High 两个真实宿主轮次。

规格边界

  • 跨模型只比较最终 preferred_idcapability_floor;不要求 action 或五项事实评分一致。
  • 不固定某个具体首选组合,合法的新边界仍可通过。
  • 不接入日常 CI,也不作为发布完整性门禁。
  • 只在实际跨模型漂移、任务事实标尺/路由边界/候选集合变化或 Codex 模型版本变化后人工触发,并要求显式确认。
  • 运行前校验安装副本与源码一致,不一致时不消耗模型轮次。
  • 不要求复原编辑前的历史任务;历史内容不可见不构成本 PR 的验收门禁。

安全与证据

  • 从 start 回执的 current 验证实际配置与请求配置相符,避免用命令参数自证。
  • 匿名报告只保留白名单固定字段和值;原始宿主输出在比较后删除,删除失败即失败。
  • Windows 在恢复宿主线程前把挂起进程绑定到 KILL_ON_JOB_CLOSE Job Object;POSIX 使用独立进程组。正常、非零、超时和中断均统一终止并确认,无确认时宿主返回失败。

验证

  • 条件式跨模型真实验收:PASS
    • Luna High:preferred_id=gpt-5.6-sol-xhighcapability_floor=xhigh
    • Sol High:preferred_id=gpt-5.6-sol-xhighcapability_floor=xhigh
    • 两轮实际配置均与请求配置相符,均为一次 deterministic_core start 回执。
    • 原始宿主输出已删除,仅保留匿名固定字段结果。
  • 条件探针定向测试:15 项通过。
  • 项目 verify.py:164 项通过,结构、隐私、语法与 Hook 检查通过。
  • Windows 无模型 Job Object 启停探针:(0, False, True)
  • Standards 与 Spec 最终复审:均为 0 个发现。
  • git diff --check 通过。
  • PR 保持开放,不合并。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant