benchmark_v1.md
2.71 KB
自动化视频发布 Benchmark V1
评测维度
| 维度 | 权重 | 说明 |
|---|---|---|
| 平台覆盖 | 20% | 支持平台数量和完整性 |
| 技术实现 | 25% | Playwright 代码质量 |
| 配置规范 | 20% | selectors/config 完整性 |
| 错误处理 | 15% | 异常处理和重试机制 |
| 可维护性 | 10% | 代码结构和注释 |
| 文档质量 | 10% | knowhow 完整性 |
评分标准
平台覆盖 (20%)
| 分数 | 标准 |
|---|---|
| 90-100 | 覆盖 4 个平台(微博/抖音/小红书/视频号),配置完整 |
| 70-89 | 覆盖 3 个平台,配置基本完整 |
| 50-69 | 覆盖 2 个平台,有基本配置 |
| 覆盖不足或配置缺失 |
技术实现 (25%)
| 分数 | 标准 |
|---|---|
| 90-100 | 完整的类封装、登录态管理、错误处理、重试机制 |
| 70-89 | 基本流程完整,有登录处理 |
| 50-69 | 核心功能可用,缺少部分处理 |
| 流程不完整或无法运行 |
配置规范 (20%)
| 分数 | 标准 |
|---|---|
| 90-100 | 每个平台有完整 selectors,配置项齐全 |
| 70-89 | 主要元素选择器完整 |
| 50-69 | 基本选择器可用 |
| 选择器缺失或不准确 |
错误处理 (15%)
| 分数 | 标准 |
|---|---|
| 90-100 | 完善的异常捕获、重试、日志记录 |
| 70-89 | 有基本的错误处理 |
| 50-69 | 简单的 try-catch |
| 无错误处理 |
可维护性 (10%)
| 分数 | 标准 |
|---|---|
| 90-100 | 代码结构清晰,注释完整,易于扩展 |
| 70-89 | 有基本结构,注释较少 |
| 50-69 | 代码可读性一般 |
| 代码混乱 |
文档质量 (10%)
| 分数 | 标准 |
|---|---|
| 90-100 | knowhow 包含平台详情、实施建议、常见陷阱 |
| 70-89 | 基本文档完整 |
| 50-69 | 文档内容有限 |
| 文档缺失或不完整 |
行业基线
- 及格线: 70 分
- 目标线: 85 分
- 行业平均分: 78
标注结论
Good Testdata (score ≥ 70)
| 文件 | 总分 | 来源 |
|---|---|---|
| good_01_playwright_config.md | 92 | playwright_config.js |
| good_02_selectors.md | 88 | selectors.md |
| good_03_upload_script.md | 90 | upload_script.js |
Bad Testdata (score
| 文件 | 总分 | 问题 |
|---|---|---|
| bad_01_xiaohongshu_limitation.md | 65 | 登录态难以持久化 |
| bad_02_weixin_video_limitation.md | 62 | 需微信扫码 |
平台评分
| 平台 | 总分 | 推荐 |
|---|---|---|
| 微博 | 82 | ✅ Good |
| 抖音 | 84 | ✅ Good |
| 小红书 | 65 | ❌ Bad |
| 视频号 | 62 | ❌ Bad |
版本历史
| 版本 | 日期 | 说明 |
|---|---|---|
| v1 | 2026-03-30 | 初始版本 |