benchmark_v1.md 7.98 KB

auto-publisher Benchmark v1

技能:多平台内容自动化发布(微博、微信公众号、抖音、小红书、视频号) 总分:100 分 目标分数线:≥95 分(A+ 级) 设计依据:基于 knowhow_v1.md 跨平台发布系统架构与平台规范提炼


一、评分维度总览

维度编号 维度名称 满分 权重说明
D1 平台适配能力 15 按平台规则裁剪内容、格式转码、标签注入
D2 内容预处理能力 15 去重、AIGC 标识、敏感词预审、多媒体适配
D3 发布执行能力 15 API/RPA 调用、定时调度、批量分发、错误码处理
D4 状态追踪与重试 15 状态机设计、持久化、指数退避、DLQ 处理
D5 合规与风控 15 平台规则遵从、封号风险规避、内容安全策略
D6 综合能力 25 架构设计、扩展性、配置化、文档完整度
Total — 100 —

二、维度评分细则

D1. 平台适配能力(15 分)

满分标准

  • 准确识别 5 大平台(微博、微信公众号、抖音、小红书、视频号)的格式限制(标题长度、正文长度、图片尺寸/数量、视频时长、标签规范)。
  • 能根据目标平台自动裁剪/转码内容至合规范围。
  • 对不支持官方 API 的平台(小红书、视频号)能自动切换至 RPA/真机方案。

评分细则

得分 标准
13-15 完全覆盖 5 个平台,自动适配格式,无硬编码耦合
9-12 覆盖主要平台,适配逻辑正确,但扩展性一般
5-8 覆盖 2-3 个平台,存在明显格式越界或遗漏
0-4 平台区分缺失,或出现严重适配错误(如小红书标题 >20 字未裁剪)

常见扣分项

  • 未按平台限制裁剪标题/正文(-3 分/处)
  • 图片尺寸/数量超出平台限制未处理(-2 分/处)
  • 小红书/视频号未提供 RPA fallback(-3 分)
  • 平台规则硬编码,未通过配置读取(-2 分)

D2. 内容预处理能力(15 分)

满分标准

  • 具备内容去重能力(视频 MD5 扰动、帧率调整、文案模板轮换、图片轻度处理)。
  • 自动注入 AIGC 标识(按平台要求显著/隐式标识)。
  • 内置敏感词预审(DFA/Trie 快筛 + AI 精审分级)。
  • 多媒体预处理(视频转码、封面提取、图片压缩)。

评分细则

得分 标准
13-15 去重、AIGC 标识、敏感词过滤、多媒体处理四者俱全,且实现合理
9-12 具备 3 项能力,实现基本可用
5-8 具备 1-2 项能力,或有明显缺陷
0-4 缺失内容预处理环节,或直接将原始内容下发

常见扣分项

  • 无 AIGC 标识注入逻辑(-4 分)
  • 敏感词过滤缺失或仅用简单字符串匹配(-3 分)
  • 视频/图片未按平台规格转码即上传(-3 分)
  • 缺少去重策略,同内容多账号直发(-3 分)

D3. 发布执行能力(15 分)

满分标准

  • 支持官方 API 与浏览器自动化(RPA)混合调用。
  • 支持定时发布、批量发布、多平台同时/错峰发布。
  • 能正确解析并处理平台返回的错误码(401/429/500/503 等)。
  • 支持 access_token 自动刷新、OAuth2.0 鉴权管理。

评分细则

得分 标准
13-15 API + RPA 混合执行,支持定时/批量,错误码处理完整,鉴权自动刷新
9-12 支持主要发布方式,定时/批量可用,错误处理基本完整
5-8 仅支持单一发布方式,或定时/批量功能缺失
0-4 发布逻辑脆弱,频繁失败,无错误处理

常见扣分项

  • 仅支持 API 未支持 RPA(-4 分)
  • 定时发布/批量发布未实现(-3 分/项)
  • 遇到 429/500 不做任何处理直接失败(-3 分)
  • access_token 过期未自动刷新(-2 分)

D4. 状态追踪与重试(15 分)

满分标准

  • 每篇内容的每次平台发布均维护持久化状态机(pending → queued → publishing → published/failed)。
  • 实现指数退避 + Jitter 重试策略,最大重试次数可配置。
  • 区分可重试错误(429/500)与永久失败(401/400/风控封号),后者进入 DLQ。
  • 提供发布结果查询接口/回调,包含 platform_post_id 与 platform_url。

评分细则

得分 标准
13-15 状态机完整、持久化、重试策略科学、DLQ 机制完善、结果可查询
9-12 状态机基本完整,有重试机制,但缺少 DLQ 或持久化细节不足
5-8 仅有简单状态记录,无系统级重试或错误分类
0-4 无状态追踪,发布后即“黑盒”,失败不可知

常见扣分项

  • 状态机缺失或仅存在于内存(-4 分)
  • 重试策略为固定间隔而非指数退避(-3 分)
  • 未区分永久失败与可重试错误(-3 分)
  • 无 DLQ 或人工介入机制(-2 分)

D5. 合规与风控(15 分)

满分标准

  • 内容发布前通过平台规则校验(敏感词、外链、导流信息)。
  • 针对小红书/视频号等高风险平台,具备行为节奏模拟(随机延迟、错峰发布、IP 隔离)。
  • 对 AIGC 内容按平台要求进行显著标识。
  • 有账号健康度监控与异常停机保护机制。

评分细则

得分 标准
13-15 内容预审、行为模拟、AIGC 标识、账号监控四者俱全
9-12 具备 3 项,实现基本可用
5-8 具备 1-2 项,或存在明显风控漏洞
0-4 无视平台规则,裸发内容,极易触发封号

常见扣分项

  • 无 AIGC 标识逻辑(-4 分)
  • 小红书/视频号 RPA 无随机延迟/错峰(-3 分)
  • 内容中包含微信号/二维码/外链未拦截(-3 分)
  • 无账号状态监控,封号后仍继续发(-3 分)

D6. 综合能力(25 分)

满分标准

  • 采用 Adapter + Pipeline + State Machine 的清晰架构,各层解耦。
  • 平台规则以 Configuration as Code 方式管理,变更无需发版。
  • 系统具备良好的扩展性:新增平台只需实现 Adapter 接口即可接入。
  • 文档完整:包含架构图、数据模型、API 文档、部署指南。

评分细则

得分 标准
22-25 架构优雅、配置化、强扩展性、文档齐全,可直接交付生产
16-21 架构合理,基本解耦,有配置化意识,文档基本完整
8-15 架构较混乱,耦合严重,扩展困难,文档缺失
0-7 无清晰架构,硬编码堆砌,难以维护

常见扣分项

  • 各平台逻辑严重耦合,未使用 Adapter 模式(-5 分)
  • 平台规则硬编码,变更需改代码(-4 分)
  • 缺少架构设计文档或数据模型说明(-3 分)
  • 无扩展接口,新增平台成本高(-4 分)

三、评分流程

  1. 逐条评测:对每个 test sample,由 Grader 按 6 个维度打分。
  2. 维度加总:D1~D6 得分相加得到该样本总分。
  3. 平均分计算:所有样本总分的平均值即为该 Agent 的最终得分。
  4. 等级判定:
    • S 级(100 分):全维度满分,可直接投产
    • A+ 级(≥95 分):达到生产可用标准
    • A 级(85-94 分):基本可用,需小幅度优化
    • B 级(70-84 分):原型级实现,存在明显短板
    • C 级(

四、达标建议

要达到 ≥95 分(A+ 级),Agent 必须:

  1. 不能遗漏小红书/视频号:哪怕无官方 API,也必须提供 RPA fallback 方案。
  2. 必须有状态机:发布不是一次性调用,而是可追溯、可恢复的流程。
  3. 必须处理 2025 年新规:AIGC 标识、敏感词过滤、去重策略缺一不可。
  4. 必须架构解耦:Adapter + Pipeline 模式是避免硬编码的唯一解。
  5. 必须能解释失败原因:401/429/500/风控等错误分类清楚,运营能据此采取行动。

[RESULT: DONE]