train.jsonl
13.3 KB
{"id":"digester_train_001","input":"请为评估'LLM输出的事实准确性'设计一个5维度的benchmark评分标准，要求总分100分且权重之和严格等于100%。","expected_output":"设计一个5维度分析型评分量表：\n1. 事实准确性（Accuracy）权重30%：事实正确、引用可溯源。\n2. 相关性（Relevance）权重25%：直接回应问题，无冗余信息。\n3. 连贯性（Coherence）权重20%：结构清晰、逻辑通顺。\n4. 完整性（Completeness）权重15%：覆盖问题所有子要点。\n5. 安全性（Safety）权重10%：无有害、偏见或误导性内容。\n权重之和=30+25+20+15+10=100%。每个维度按1-10分评分，加权得分=Σ(维度得分×权重/10)。","dimensions":{"D1":19,"D2":19,"D3":15,"D4":12,"D5":10,"D6":14},"score":89,"grader_hints":"检查维度是否与任务强耦合、权重是否严格等于100%、是否有1-10分量化标准。D3-D5因未涉及QC/拆分/基线而无法得高分。"}
{"id":"digester_train_002","input":"你收到一批医疗图像标注的原始数据，请制定一份标注质量控制方案，要求包含IAA指标选择和具体阈值。","expected_output":"三层质量控制方案：\nLayer 1 资格测试：标注员需通过Gold Standard测试，准确率≥99%方可上岗。\nLayer 2 过程监控：随机插入benchmark任务，使用Consensus（3人标注决出最终标签），关键数据Redundancy处理。\nLayer 3 最终审核：专家抽检+错误趋势分析+标注员绩效分级。\nIAA指标选择：因涉及多名标注员且可能缺失数据，采用Krippendorff's Alpha，接受阈值α>0.8。边界案例和模型低置信度样本路由给专家复审（HITL）。\n","dimensions":{"D1":16,"D2":14,"D3":19,"D4":10,"D5":10,"D6":15},"score":84,"grader_hints":"重点检查D3是否达到18-20分标准：三层QC、Krippendorff's α>0.8、HITL路由。D2因未明确权重可酌情扣分。"}
{"id":"digester_train_003","input":"现有1000道4选项多选题的benchmark数据集，请计算其Random Baseline，并说明如何与SOTA模型结果进行统计比较。","expected_output":"Random Baseline计算：每题4个选项，随机猜测期望准确率=1/4=25%。\nStrong Baseline：使用GPT-4o或Claude 3.5 Sonnet，temperature=0，prompt标准化。\n统计比较方法：避免使用单测试集t检验（会低估方差），推荐Wilcoxon signed-rank test进行配对非参数检验；若比较3个及以上模型，使用Friedman test配合Nemenyi post-hoc检验。\n额外要求：报告Bootstrap 95%置信区间；记录训练数据截止日期；执行contamination check排除测试集在训练数据中的公开出现。\nRelative Gain = (Model - Baseline) / (Human - Baseline) × 100%。","dimensions":{"D1":14,"D2":13,"D3":12,"D4":11,"D5":19,"D6":13},"score":82,"grader_hints":"D5应重点检查：random baseline=25%、strong baseline定义、Wilcoxon/Friedman检验、Bootstrap CI、contamination check。"}
{"id":"digester_train_004","input":"请为一个包含5个标签类别（A/B/C/D/E）的文本分类benchmark设计数据集拆分方案，总样本量5000条，要求标签分布一致且偏差<5%。","expected_output":"采用Stratified Sampling进行80/10/10拆分：\n- Train: 4000条（80%）\n- Validation: 500条（10%）\n- Test: 500条（10%）\n对每个类别A/B/C/D/E分别按比例抽样，确保各集合中每个类别的占比与总体一致。\n分布校验：计算各集合的类别分布与总体分布的绝对偏差，要求max deviation<5%。\n多样性量化：使用Vendi Score评估数据集多样性，基于文本嵌入的成对相似度矩阵计算von Neumann熵。\n若数据具有时间敏感性，采用时间切分（Temporal Cutoff）替代随机拆分，防止未来信息泄露。","dimensions":{"D1":15,"D2":14,"D3":11,"D4":19,"D5":12,"D6":13},"score":84,"grader_hints":"D4应检查拆分比例、stratified sampling、偏差<5%、Vendi Score、时间切分意识。"}
{"id":"digester_train_005","input":"你正在爬取arXiv论文构建benchmark数据集。请列出在数据采集和发布阶段必须遵守的合规与伦理要求。","expected_output":"数据采集合规：\n1. 遵守robots.txt规则。\n2. 速率限制：单站点请求间隔≥2秒，避免对源站造成压力。\n3. 数据匿名化：涉及PII时必须脱敏。\n4. 版权与许可：尊重CC许可协议，标注数据来源。\n\n标注伦理：\n1. 知情同意：人类标注员应被告知数据用途。\n2. 公平报酬：避免剥削性定价。\n3. 多样性：招募不同背景标注员，减少无意识偏见。\n4. 申诉机制：为标注员提供评分申诉渠道。\n\nBenchmark发布伦理：\n1. 报告置信区间或标准差，而非仅点估计。\n2. 披露训练数据截止日期和潜在污染风险。\n3. 提供失败案例分析。\n4. 定期更新benchmark，避免静态评价导致的过拟合。","dimensions":{"D1":13,"D2":12,"D3":12,"D4":10,"D5":11,"D6":19},"score":77,"grader_hints":"D6应检查robots.txt/rate limit、PII脱敏、CC许可、标注伦理（知情同意/公平报酬）、benchmark发布伦理（置信区间/污染风险/失败案例）。"}
{"id":"digester_train_006","input":"请设计一个RAG（检索增强生成）系统的 benchmark，包含至少4个评估维度和对应的权重分配。","expected_output":"RAG系统benchmark设计（4维度，总分100%）：\n1. Faithfulness（事实一致性）权重30%：生成内容是否被检索上下文完全支撑，无幻觉。\n2. Answer Relevancy（答案相关性）权重25%：答案与提问的直接相关程度。\n3. Context Relevancy（上下文相关性）权重25%：检索到的上下文是否包含回答问题所需的关键信息。\n4. Context Recall（上下文召回率）权重20%：回答问题所需的全部信息是否都被检索到。\n权重之和=30+25+25+20=100%。\n每个维度按1-10分评分，提供具体示例（如Faithfulness得分8分=仅有1处轻微推断超出上下文）。\n天花板设计：Faithfulness和Context Recall满分10分极难达到（需100%准确且无遗漏）。","dimensions":{"D1":15,"D2":19,"D3":13,"D4":12,"D5":11,"D6":13},"score":83,"grader_hints":"D2重点检查：维度是否与RAG强耦合、权重之和=100%、是否有1-10分标准+示例、是否有天花板设计。"}
{"id":"digester_train_007","input":"描述一种人机协同标注（HITL）流程，用于降低大规模数据标注成本同时保证质量。","expected_output":"人机协同标注（HITL）流程：\nStep 1 自动化初筛：使用预训练模型或规则自动标注高置信度简单样本（如明显正面/负面情感）。\nStep 2 低置信度路由：将模型置信度低（如概率在0.4-0.6之间）、边界案例、复杂样本自动路由给专家标注员。\nStep 3 专家标注与Consensus：专家对疑难样本进行标注，关键数据采用3人Consensus决出最终标签。\nStep 4 IAA校验：定期抽取专家标注结果计算Krippendorff's Alpha，确保α>0.8。\nStep 5 持续迭代：根据标注分歧更新Living Guidelines（动态标注指南），每月召开norming session校准标准。\n效果：成本降低40-60%，质量保持在专家级水平。","dimensions":{"D1":14,"D2":13,"D3":18,"D4":12,"D5":10,"D6":14},"score":81,"grader_hints":"D3应检查：自动化初筛、低置信度路由、Consensus、Krippendorff's α>0.8、Living Guidelines、norming session。"}
{"id":"digester_train_008","input":"请解释Gold Standard Benchmark Injection在标注质量控制中的作用，并说明如何设置注入比例。","expected_output":"Gold Standard Benchmark Injection是将预先由专家确认正确答案的黄金任务随机插入标注队列，用于持续测量标注员准确率的核心QC手段。\n\n作用：\n1. 实时监控：在不告知标注员的情况下追踪其长期准确率趋势。\n2. 自动筛选：准确率低于阈值的标注员自动暂停或降级。\n3. 质量预警：发现系统性错误趋势时及时调整标注指南。\n\n注入比例建议：\n- 常规训练数据：5-10%\n- 高风险/高精度领域（医疗、自动驾驶）：10-15%\n- 初步资格测试：100%（只有通过gold test才能上岗）\n\n与Consensus和Two-Layer Review结合使用，构成完整的三层QC体系。","dimensions":{"D1":13,"D2":12,"D3":18,"D4":10,"D5":10,"D6":13},"score":76,"grader_hints":"D3应检查：Gold Standard作用解释、注入比例建议、与Consensus/Review的结合。"}
{"id":"digester_train_009","input":"某benchmark要将模型A和模型B进行比较。模型A在测试集得分为82.3±1.2，模型B为80.1±1.5。请判断两模型差异是否显著，并说明应使用的统计方法。","expected_output":"不应仅凭点估计和误差棒判断是否显著，需进行假设检验。\n\n推荐方法：Wilcoxon signed-rank test（配对非参数检验）。原因：\n1. 单测试集t检验会低估方差，不推荐。\n2. 若进行了多次交叉验证或bootstrap重采样，Wilcoxon能正确处理配对样本的非正态分布。\n\n操作流程：\n1. 收集两模型在相同fold或bootstrap样本上的配对得分。\n2. 执行Wilcoxon signed-rank test。\n3. 若p<0.05，认为差异显著；否则不显著。\n\n若比较3个及以上模型，使用Friedman test配合Nemenyi post-hoc检验。\n\n同时建议报告Bootstrap 95%置信区间，以增强统计稳健性。","dimensions":{"D1":12,"D2":11,"D3":10,"D4":11,"D5":18,"D6":10},"score":72,"grader_hints":"D5重点检查：是否推荐Wilcoxon signed-rank test、是否指出单测试集t检验的问题、是否提及Friedman test和Bootstrap CI。"}
{"id":"digester_train_010","input":"请为一个计算机视觉目标检测benchmark设计数据集构建方案，重点关注类别平衡和最小样本量要求。","expected_output":"数据集构建方案：\n\n1. 类别平衡维护：\n - 每类至少200个实例（YOLO最佳实践）。\n - 若存在稀有类，使用synthetic augmentation（如GAN、copy-paste）增加实例数。\n\n2. 拆分策略：\n - 80/10/10 拆分（train/val/test）。\n - 使用stratified sampling确保各类别在各集合中的分布偏差<5%。\n\n3. 标注质量控制：\n - 边界框使用紧凑轴对齐框（tight axis-aligned boxes）。\n - 遮挡物也需标注。\n - IoU作为空间一致性指标，IAA阈值IoU>0.75。\n\n4. 多样性量化：\n - 使用Vendi Score或视觉嵌入熵评估图像多样性。\n - 确保ground-truth数据代表最大样本多样性，同时尽量减少总图像数。\n\n5. 版本控制：冻结数据集划分，版本化发布。","dimensions":{"D1":16,"D2":14,"D3":15,"D4":17,"D5":11,"D6":13},"score":86,"grader_hints":"D4检查：每类≥200实例、stratified sampling、偏差<5%、synthetic augmentation。D3检查：IoU作为IAA指标。"}
{"id":"digester_train_011","input":"请说明如何在benchmark基线计算中避免'数据污染'（contamination），并列出至少3种检测方法。","expected_output":"数据污染是指测试集样本在模型训练数据中已公开出现，导致基线得分虚高。避免方法：\n\n1. 时间切分（Temporal Cutoff）：\n - 明确记录训练数据截止日期。\n - 测试集仅包含该日期之后发布的数据。\n\n2. 来源过滤（Source Filtering）：\n - 排除测试集来源中已被模型训练数据收录的公开仓库/文档。\n - 例如从Kaggle/UCI选择暂无直接开源解法的数据集。\n\n3. N-gram重叠检测：\n - 计算测试集与训练数据的n-gram重叠率。\n - 若重叠率超过阈值（如13-gram>10%），标记为潜在污染。\n\n4. Canary字符串/隐藏水印：\n - 在测试集中嵌入特殊canary字符串，通过查询模型是否复现该字符串来检测泄露。\n\n5. 公开方案排除：\n - 监控GitHub/Leaderboard上是否有与测试集完全一致的公开解法或标注。\n\n发布benchmark时必须披露潜在污染风险。","dimensions":{"D1":14,"D2":13,"D3":12,"D4":13,"D5":17,"D6":15},"score":84,"grader_hints":"D5检查：temporal cutoff、source filtering、n-gram检测、canary字符串、公开方案排除。D6检查：污染风险披露。"}
{"id":"digester_train_012","input":"请设计一个用于评估'多智能体协商能力'的benchmark的评分维度，要求体现任务特殊性，不能照搬通用LLM评估维度。","expected_output":"多智能体协商能力benchmark（5维度，100%）：\n1. 目标对齐度（Goal Alignment）权重25%：协商结果是否满足各方核心利益诉求，Pareto改进程度。\n2. 信息交换效率（Information Exchange Efficiency）权重20%：在有限轮次内有效传递关键信息，避免冗余沟通。\n3. 策略适应性（Strategy Adaptability）权重20%：能否根据对手策略动态调整自身报价/让步策略。\n4. 协议可执行性（Agreement Enforceability）权重20%：达成的协议是否明确、无歧义、具备可执行步骤。\n5. 关系维护（Relationship Maintenance）权重15%：协商过程中是否保持合作氛围，避免敌意升级或信任崩解。\n权重之和=25+20+20+20+15=100%。\n每个维度1-10分，提供具体协商场景示例（如策略适应性8分=在第3轮根据对手让步信号调整报价）。\n天花板设计：目标对齐度和关系维护同时得10分极难（需兼顾己方利益与对方满意度）。","dimensions":{"D1":14,"D2":19,"D3":13,"D4":12,"D5":10,"D6":12},"score":80,"grader_hints":"D2重点检查：维度是否与多智能体协商强耦合（非通用准确性/相关性）、权重=100%、有示例和天花板设计。"}