# auto-publisher Benchmark v1

> 技能：多平台内容自动化发布（微博、微信公众号、抖音、小红书、视频号）
> 总分：100 分
> 目标分数线：≥95 分（A+ 级）
> 设计依据：基于 knowhow_v1.md 跨平台发布系统架构与平台规范提炼

---

## 一、评分维度总览

| 维度编号 | 维度名称 | 满分 | 权重说明 |
|---------|---------|------|---------|
| D1 | 平台适配能力 | 15 | 按平台规则裁剪内容、格式转码、标签注入 |
| D2 | 内容预处理能力 | 15 | 去重、AIGC 标识、敏感词预审、多媒体适配 |
| D3 | 发布执行能力 | 15 | API/RPA 调用、定时调度、批量分发、错误码处理 |
| D4 | 状态追踪与重试 | 15 | 状态机设计、持久化、指数退避、DLQ 处理 |
| D5 | 合规与风控 | 15 | 平台规则遵从、封号风险规避、内容安全策略 |
| D6 | 综合能力 | 25 | 架构设计、扩展性、配置化、文档完整度 |
| **Total** | — | **100** | — |

---

## 二、维度评分细则

### D1. 平台适配能力（15 分）

#### 满分标准
- 准确识别 5 大平台（微博、微信公众号、抖音、小红书、视频号）的格式限制（标题长度、正文长度、图片尺寸/数量、视频时长、标签规范）。
- 能根据目标平台自动裁剪/转码内容至合规范围。
- 对不支持官方 API 的平台（小红书、视频号）能自动切换至 RPA/真机方案。

#### 评分细则
| 得分 | 标准 |
|------|------|
| 13-15 | 完全覆盖 5 个平台，自动适配格式，无硬编码耦合 |
| 9-12 | 覆盖主要平台，适配逻辑正确，但扩展性一般 |
| 5-8 | 覆盖 2-3 个平台，存在明显格式越界或遗漏 |
| 0-4 | 平台区分缺失，或出现严重适配错误（如小红书标题 >20 字未裁剪） |

#### 常见扣分项
- 未按平台限制裁剪标题/正文（-3 分/处）
- 图片尺寸/数量超出平台限制未处理（-2 分/处）
- 小红书/视频号未提供 RPA fallback（-3 分）
- 平台规则硬编码，未通过配置读取（-2 分）

---

### D2. 内容预处理能力（15 分）

#### 满分标准
- 具备内容去重能力（视频 MD5 扰动、帧率调整、文案模板轮换、图片轻度处理）。
- 自动注入 AIGC 标识（按平台要求显著/隐式标识）。
- 内置敏感词预审（DFA/Trie 快筛 + AI 精审分级）。
- 多媒体预处理（视频转码、封面提取、图片压缩）。

#### 评分细则
| 得分 | 标准 |
|------|------|
| 13-15 | 去重、AIGC 标识、敏感词过滤、多媒体处理四者俱全，且实现合理 |
| 9-12 | 具备 3 项能力，实现基本可用 |
| 5-8 | 具备 1-2 项能力，或有明显缺陷 |
| 0-4 | 缺失内容预处理环节，或直接将原始内容下发 |

#### 常见扣分项
- 无 AIGC 标识注入逻辑（-4 分）
- 敏感词过滤缺失或仅用简单字符串匹配（-3 分）
- 视频/图片未按平台规格转码即上传（-3 分）
- 缺少去重策略，同内容多账号直发（-3 分）

---

### D3. 发布执行能力（15 分）

#### 满分标准
- 支持官方 API 与浏览器自动化（RPA）混合调用。
- 支持定时发布、批量发布、多平台同时/错峰发布。
- 能正确解析并处理平台返回的错误码（401/429/500/503 等）。
- 支持 access_token 自动刷新、OAuth2.0 鉴权管理。

#### 评分细则
| 得分 | 标准 |
|------|------|
| 13-15 | API + RPA 混合执行，支持定时/批量，错误码处理完整，鉴权自动刷新 |
| 9-12 | 支持主要发布方式，定时/批量可用，错误处理基本完整 |
| 5-8 | 仅支持单一发布方式，或定时/批量功能缺失 |
| 0-4 | 发布逻辑脆弱，频繁失败，无错误处理 |

#### 常见扣分项
- 仅支持 API 未支持 RPA（-4 分）
- 定时发布/批量发布未实现（-3 分/项）
- 遇到 429/500 不做任何处理直接失败（-3 分）
- access_token 过期未自动刷新（-2 分）

---

### D4. 状态追踪与重试（15 分）

#### 满分标准
- 每篇内容的每次平台发布均维护持久化状态机（pending → queued → publishing → published/failed）。
- 实现指数退避 + Jitter 重试策略，最大重试次数可配置。
- 区分可重试错误（429/500）与永久失败（401/400/风控封号），后者进入 DLQ。
- 提供发布结果查询接口/回调，包含 platform_post_id 与 platform_url。

#### 评分细则
| 得分 | 标准 |
|------|------|
| 13-15 | 状态机完整、持久化、重试策略科学、DLQ 机制完善、结果可查询 |
| 9-12 | 状态机基本完整，有重试机制，但缺少 DLQ 或持久化细节不足 |
| 5-8 | 仅有简单状态记录，无系统级重试或错误分类 |
| 0-4 | 无状态追踪，发布后即“黑盒”，失败不可知 |

#### 常见扣分项
- 状态机缺失或仅存在于内存（-4 分）
- 重试策略为固定间隔而非指数退避（-3 分）
- 未区分永久失败与可重试错误（-3 分）
- 无 DLQ 或人工介入机制（-2 分）

---

### D5. 合规与风控（15 分）

#### 满分标准
- 内容发布前通过平台规则校验（敏感词、外链、导流信息）。
- 针对小红书/视频号等高风险平台，具备行为节奏模拟（随机延迟、错峰发布、IP 隔离）。
- 对 AIGC 内容按平台要求进行显著标识。
- 有账号健康度监控与异常停机保护机制。

#### 评分细则
| 得分 | 标准 |
|------|------|
| 13-15 | 内容预审、行为模拟、AIGC 标识、账号监控四者俱全 |
| 9-12 | 具备 3 项，实现基本可用 |
| 5-8 | 具备 1-2 项，或存在明显风控漏洞 |
| 0-4 | 无视平台规则，裸发内容，极易触发封号 |

#### 常见扣分项
- 无 AIGC 标识逻辑（-4 分）
- 小红书/视频号 RPA 无随机延迟/错峰（-3 分）
- 内容中包含微信号/二维码/外链未拦截（-3 分）
- 无账号状态监控，封号后仍继续发（-3 分）

---

### D6. 综合能力（25 分）

#### 满分标准
- 采用 Adapter + Pipeline + State Machine 的清晰架构，各层解耦。
- 平台规则以 Configuration as Code 方式管理，变更无需发版。
- 系统具备良好的扩展性：新增平台只需实现 Adapter 接口即可接入。
- 文档完整：包含架构图、数据模型、API 文档、部署指南。

#### 评分细则
| 得分 | 标准 |
|------|------|
| 22-25 | 架构优雅、配置化、强扩展性、文档齐全，可直接交付生产 |
| 16-21 | 架构合理，基本解耦，有配置化意识，文档基本完整 |
| 8-15 | 架构较混乱，耦合严重，扩展困难，文档缺失 |
| 0-7 | 无清晰架构，硬编码堆砌，难以维护 |

#### 常见扣分项
- 各平台逻辑严重耦合，未使用 Adapter 模式（-5 分）
- 平台规则硬编码，变更需改代码（-4 分）
- 缺少架构设计文档或数据模型说明（-3 分）
- 无扩展接口，新增平台成本高（-4 分）

---

## 三、评分流程

1. **逐条评测**：对每个 test sample，由 Grader 按 6 个维度打分。
2. **维度加总**：D1~D6 得分相加得到该样本总分。
3. **平均分计算**：所有样本总分的平均值即为该 Agent 的最终得分。
4. **等级判定**：
   - S 级（100 分）：全维度满分，可直接投产
   - A+ 级（≥95 分）：达到生产可用标准
   - A 级（85-94 分）：基本可用，需小幅度优化
   - B 级（70-84 分）：原型级实现，存在明显短板
   - C 级（<70 分）：不可用于生产

---

## 四、达标建议

要达到 **≥95 分（A+ 级）**，Agent 必须：

1. **不能遗漏小红书/视频号**：哪怕无官方 API，也必须提供 RPA fallback 方案。
2. **必须有状态机**：发布不是一次性调用，而是可追溯、可恢复的流程。
3. **必须处理 2025 年新规**：AIGC 标识、敏感词过滤、去重策略缺一不可。
4. **必须架构解耦**：Adapter + Pipeline 模式是避免硬编码的唯一解。
5. **必须能解释失败原因**：401/429/500/风控等错误分类清楚，运营能据此采取行动。

---

[RESULT: DONE]