benchmark_v1.md
7.98 KB
auto-publisher Benchmark v1
技能:多平台内容自动化发布(微博、微信公众号、抖音、小红书、视频号) 总分:100 分 目标分数线:≥95 分(A+ 级) 设计依据:基于 knowhow_v1.md 跨平台发布系统架构与平台规范提炼
一、评分维度总览
| 维度编号 | 维度名称 | 满分 | 权重说明 |
|---|---|---|---|
| D1 | 平台适配能力 | 15 | 按平台规则裁剪内容、格式转码、标签注入 |
| D2 | 内容预处理能力 | 15 | 去重、AIGC 标识、敏感词预审、多媒体适配 |
| D3 | 发布执行能力 | 15 | API/RPA 调用、定时调度、批量分发、错误码处理 |
| D4 | 状态追踪与重试 | 15 | 状态机设计、持久化、指数退避、DLQ 处理 |
| D5 | 合规与风控 | 15 | 平台规则遵从、封号风险规避、内容安全策略 |
| D6 | 综合能力 | 25 | 架构设计、扩展性、配置化、文档完整度 |
| Total | — | 100 | — |
二、维度评分细则
D1. 平台适配能力(15 分)
满分标准
- 准确识别 5 大平台(微博、微信公众号、抖音、小红书、视频号)的格式限制(标题长度、正文长度、图片尺寸/数量、视频时长、标签规范)。
- 能根据目标平台自动裁剪/转码内容至合规范围。
- 对不支持官方 API 的平台(小红书、视频号)能自动切换至 RPA/真机方案。
评分细则
| 得分 | 标准 |
|---|---|
| 13-15 | 完全覆盖 5 个平台,自动适配格式,无硬编码耦合 |
| 9-12 | 覆盖主要平台,适配逻辑正确,但扩展性一般 |
| 5-8 | 覆盖 2-3 个平台,存在明显格式越界或遗漏 |
| 0-4 | 平台区分缺失,或出现严重适配错误(如小红书标题 >20 字未裁剪) |
常见扣分项
- 未按平台限制裁剪标题/正文(-3 分/处)
- 图片尺寸/数量超出平台限制未处理(-2 分/处)
- 小红书/视频号未提供 RPA fallback(-3 分)
- 平台规则硬编码,未通过配置读取(-2 分)
D2. 内容预处理能力(15 分)
满分标准
- 具备内容去重能力(视频 MD5 扰动、帧率调整、文案模板轮换、图片轻度处理)。
- 自动注入 AIGC 标识(按平台要求显著/隐式标识)。
- 内置敏感词预审(DFA/Trie 快筛 + AI 精审分级)。
- 多媒体预处理(视频转码、封面提取、图片压缩)。
评分细则
| 得分 | 标准 |
|---|---|
| 13-15 | 去重、AIGC 标识、敏感词过滤、多媒体处理四者俱全,且实现合理 |
| 9-12 | 具备 3 项能力,实现基本可用 |
| 5-8 | 具备 1-2 项能力,或有明显缺陷 |
| 0-4 | 缺失内容预处理环节,或直接将原始内容下发 |
常见扣分项
- 无 AIGC 标识注入逻辑(-4 分)
- 敏感词过滤缺失或仅用简单字符串匹配(-3 分)
- 视频/图片未按平台规格转码即上传(-3 分)
- 缺少去重策略,同内容多账号直发(-3 分)
D3. 发布执行能力(15 分)
满分标准
- 支持官方 API 与浏览器自动化(RPA)混合调用。
- 支持定时发布、批量发布、多平台同时/错峰发布。
- 能正确解析并处理平台返回的错误码(401/429/500/503 等)。
- 支持 access_token 自动刷新、OAuth2.0 鉴权管理。
评分细则
| 得分 | 标准 |
|---|---|
| 13-15 | API + RPA 混合执行,支持定时/批量,错误码处理完整,鉴权自动刷新 |
| 9-12 | 支持主要发布方式,定时/批量可用,错误处理基本完整 |
| 5-8 | 仅支持单一发布方式,或定时/批量功能缺失 |
| 0-4 | 发布逻辑脆弱,频繁失败,无错误处理 |
常见扣分项
- 仅支持 API 未支持 RPA(-4 分)
- 定时发布/批量发布未实现(-3 分/项)
- 遇到 429/500 不做任何处理直接失败(-3 分)
- access_token 过期未自动刷新(-2 分)
D4. 状态追踪与重试(15 分)
满分标准
- 每篇内容的每次平台发布均维护持久化状态机(pending → queued → publishing → published/failed)。
- 实现指数退避 + Jitter 重试策略,最大重试次数可配置。
- 区分可重试错误(429/500)与永久失败(401/400/风控封号),后者进入 DLQ。
- 提供发布结果查询接口/回调,包含 platform_post_id 与 platform_url。
评分细则
| 得分 | 标准 |
|---|---|
| 13-15 | 状态机完整、持久化、重试策略科学、DLQ 机制完善、结果可查询 |
| 9-12 | 状态机基本完整,有重试机制,但缺少 DLQ 或持久化细节不足 |
| 5-8 | 仅有简单状态记录,无系统级重试或错误分类 |
| 0-4 | 无状态追踪,发布后即“黑盒”,失败不可知 |
常见扣分项
- 状态机缺失或仅存在于内存(-4 分)
- 重试策略为固定间隔而非指数退避(-3 分)
- 未区分永久失败与可重试错误(-3 分)
- 无 DLQ 或人工介入机制(-2 分)
D5. 合规与风控(15 分)
满分标准
- 内容发布前通过平台规则校验(敏感词、外链、导流信息)。
- 针对小红书/视频号等高风险平台,具备行为节奏模拟(随机延迟、错峰发布、IP 隔离)。
- 对 AIGC 内容按平台要求进行显著标识。
- 有账号健康度监控与异常停机保护机制。
评分细则
| 得分 | 标准 |
|---|---|
| 13-15 | 内容预审、行为模拟、AIGC 标识、账号监控四者俱全 |
| 9-12 | 具备 3 项,实现基本可用 |
| 5-8 | 具备 1-2 项,或存在明显风控漏洞 |
| 0-4 | 无视平台规则,裸发内容,极易触发封号 |
常见扣分项
- 无 AIGC 标识逻辑(-4 分)
- 小红书/视频号 RPA 无随机延迟/错峰(-3 分)
- 内容中包含微信号/二维码/外链未拦截(-3 分)
- 无账号状态监控,封号后仍继续发(-3 分)
D6. 综合能力(25 分)
满分标准
- 采用 Adapter + Pipeline + State Machine 的清晰架构,各层解耦。
- 平台规则以 Configuration as Code 方式管理,变更无需发版。
- 系统具备良好的扩展性:新增平台只需实现 Adapter 接口即可接入。
- 文档完整:包含架构图、数据模型、API 文档、部署指南。
评分细则
| 得分 | 标准 |
|---|---|
| 22-25 | 架构优雅、配置化、强扩展性、文档齐全,可直接交付生产 |
| 16-21 | 架构合理,基本解耦,有配置化意识,文档基本完整 |
| 8-15 | 架构较混乱,耦合严重,扩展困难,文档缺失 |
| 0-7 | 无清晰架构,硬编码堆砌,难以维护 |
常见扣分项
- 各平台逻辑严重耦合,未使用 Adapter 模式(-5 分)
- 平台规则硬编码,变更需改代码(-4 分)
- 缺少架构设计文档或数据模型说明(-3 分)
- 无扩展接口,新增平台成本高(-4 分)
三、评分流程
- 逐条评测:对每个 test sample,由 Grader 按 6 个维度打分。
- 维度加总:D1~D6 得分相加得到该样本总分。
- 平均分计算:所有样本总分的平均值即为该 Agent 的最终得分。
- 等级判定:
- S 级(100 分):全维度满分,可直接投产
- A+ 级(≥95 分):达到生产可用标准
- A 级(85-94 分):基本可用,需小幅度优化
- B 级(70-84 分):原型级实现,存在明显短板
- C 级(
四、达标建议
要达到 ≥95 分(A+ 级),Agent 必须:
- 不能遗漏小红书/视频号:哪怕无官方 API,也必须提供 RPA fallback 方案。
- 必须有状态机:发布不是一次性调用,而是可追溯、可恢复的流程。
- 必须处理 2025 年新规:AIGC 标识、敏感词过滤、去重策略缺一不可。
- 必须架构解耦:Adapter + Pipeline 模式是避免硬编码的唯一解。
- 必须能解释失败原因:401/429/500/风控等错误分类清楚,运营能据此采取行动。
[RESULT: DONE]