test.jsonl
3.23 KB
{"id": "test-01", "split": "test", "type": "constructed_positive", "source": "构造样本，非真实案例，用于Digest训练标注", "scenario": "订单列表按状态筛选（虚构需求，功能性场景，正文无描述性词汇）", "prd_excerpt": "F-1: 用户在订单列表页选择状态筛选器(全部/待付款/待发货/已完成/已取消)，列表只显示对应状态的订单；F-2: 切换筛选后列表顶部显示'共N条订单'，N为当前筛选结果实际条数；异常边界：筛选结果0条显示'暂无相关订单'占位文案；网络请求失败显示'加载失败，点击重试'+可点击重试按钮；验收线索：选中某状态后列表每条订单status字段等于所选状态；顶部数字与实际渲染条数一致；traceability: BRD in_scope'订单列表需支持按状态筛选'由F-1覆盖，out_of_scope'不做多条件组合筛选'本PRD未涉及", "dimension_scores": {"D1": 5, "D2": 5, "D3": 5, "D4": 5, "D5": 5, "D6": 4}, "final_score": 97, "grade": "优秀", "violated_dimensions": [], "hit_dimensions": ["D1", "D2", "D3", "D4", "D5", "D6"], "notes": "纯功能性需求，正文不含任何描述性/形容词性用语，D5按'空真'规则计满分（不是遗漏检查，而是确实无可核对对象）；D6因BRD本身转化类度量表述较弱只打4分而非5分，避免vacuous case被无差别打满分掩盖'从未讨论过'与'讨论过且覆盖良好'的区别。用作held-out验证：benchmark是否会对结构扎实但缺乏内容维度讨论的正例给出合理但非虚高的高分。"}
{"id": "test-02", "split": "test", "type": "boundary", "source": "构造样本，非真实案例", "scenario": "落地页-转化类业务度量未被翻译成任何功能（D6违反样本，held-out）", "prd_excerpt": "BRD'做到什么算解决'：访客看完落地页后应该清楚下一步该做什么、有强烈意愿点击注册。PRD功能清单：F-1展示落地页三个模块；F-2响应式适配三种断点。（功能清单从未出现任何注册/CTA/下一步引导相关功能，验收线索表也无对应条目）", "violated_dimensions": ["D6"], "hit_dimensions": [], "notes": "与e2e-demo案例(train-01)的D6违反模式相同（转化类业务度量未被功能清单翻译），但换了一个更直白的落地页场景，用于held-out验证benchmark对D6判据B的判定是否稳定，而不是只对e2e-demo这一个具体案例过拟合。"}
{"id": "test-03", "split": "test", "type": "boundary", "source": "构造样本，非真实案例", "scenario": "作品详情页-视觉描述已妥善转化为可核验判据（D5正面校准样本，held-out）", "prd_excerpt": "行为规则：作品详情页大图展示，主图区域占首屏可视高度>=70%。验收线索：主图元素的实际渲染高度/首屏可视高度比值可通过getBoundingClientRect计算得出>=70%。", "violated_dimensions": [], "hit_dimensions": ["D5"], "notes": "正文'大图'要求被转化为具体的可编程核验判据(>=70%首屏高度占比+getBoundingClientRect计算方法)，与train-01(e2e-demo)里'大图'完全没有对应验收条目形成直接对照，用于held-out验证D5判据能否稳定区分'同样提到大图'的两种截然不同处理方式，而不是只记住了e2e-demo这一个具体反例。"}