内容发布技能 Benchmark

评分维度 (满分100)

维度	分值	说明
数据解析	25	精准解析所有输入字段
API 调用	25	请求格式、认证正确
错误处理	20	正确处理各类错误
响应解析	15	正确解析返回结果
性能	15	超时、重试机制

评分标准

数据解析 (25分)

• [ ] 正确解析 title (5分)
• [ ] 正确解析 genre 并映射到 category (5分)
• [ ] 正确序列化 scenes 为 JSON 字符串 (5分)
• [ ] 正确提取 metadata.tags (5分)
• [ ] 正确提取 metadata.author (5分)

API 调用 (25分)

• [ ] POST 方法正确 (5分)
• [ ] Content-Type 正确 (5分)
• [ ] Authorization 格式正确 (5分)
• [ ] 所有必需字段存在 (5分)
• [ ] status 字段为 "ready" (5分)

错误处理 (20分)

• [ ] 400 错误: 记录并返回失败 (4分)
• [ ] 401 错误: 刷新 Token 并重试 (4分)
• [ ] 413 错误: 压缩 content 并重试 (4分)
• [ ] 429 错误: 指数退避重试 (4分)
• [ ] 500 错误: 指数退避最大3次 (4分)

响应解析 (15分)

• [ ] 正确识别 200/201 状态码 (5分)
• [ ] 正确提取内容 ID (5分)
• [ ] 正确处理其他状态码 (5分)

性能 (15分)

• [ ] 连接超时 10 秒 (3分)
• [ ] 读取超时 30 秒 (3分)
• [ ] 指数退避策略 (1s→2s→4s) (3分)
• [ ] 最大重试 3 次 (3分)
• [ ] 连续失败熔断 (3分)

目标

• 达标线: ≥ 90分
• 及格线: ≥ 80分

训练数据

见 training_dataset.json