benchmark_v1.md
4.81 KB
Benchmark: taobao-native 淘宝桌面客户端
版本信息
- 版本: v1
- 创建日期: 2026-03-28
- 目标技能: taobao_native (淘宝桌面客户端交互)
- 适用场景: 商品搜索、购物车管理、订单处理、旺旺聊天
评估维度
维度 1: 商品搜索能力 (权重: 20%)
| 等级 | 分数 | 标准 |
|---|---|---|
| 优秀 | 90-100 | 支持多条件搜索(关键词/价格区间/销量排序/类目筛选),返回完整商品列表,包含标题、价格、图片、销量、店铺 |
| 良好 | 75-89 | 支持关键词搜索,返回商品列表,基本字段完整 |
| 一般 | 60-74 | 支持基本搜索,但返回数据不完整或格式混乱 |
| 差 | 搜索功能不可用或返回错误 |
检查点:
- [ ] 关键词搜索功能
- [ ] 分页/翻页支持
- [ ] 排序功能(销量/价格/时间)
- [ ] 字段完整性(title, price, pict_url, sales, shop)
维度 2: 商品详情获取 (权重: 20%)
| 等级 | 分数 | 标准 |
|---|---|---|
| 优秀 | 90-100 | 获取完整商品详情,包含SKU变体、价格优惠、库存、描述、图片集、店铺信息 |
| 良好 | 75-89 | 获取商品基本信息(标题/价格/图片/库存),SKU信息基本覆盖 |
| 一般 | 60-74 | 能获取商品信息但缺失关键字段,如库存/SKU |
| 差 | 详情获取失败或返回错误 |
检查点:
- [ ] 基础信息(title, price, pict_url)
- [ ] SKU/变体信息(如颜色/尺寸)
- [ ] 库存状态
- [ ] 优惠信息(优惠券/促销)
- [ ] 店铺信息(名称/评分)
维度 3: 购物车管理 (权重: 15%)
| 等级 | 分数 | 标准 |
|---|---|---|
| 优秀 | 90-100 | 支持添加商品、修改数量、删除商品、批量操作、计算总价 |
| 良好 | 75-89 | 支持添加商品、查看购物车、修改数量 |
| 一般 | 60-74 | 只能查看购物车,无法添加或修改 |
| 差 | 购物车功能不可用 |
检查点:
- [ ] 查看购物车内容
- [ ] 添加商品到购物车
- [ ] 修改商品数量
- [ ] 删除商品
- [ ] 价格计算
维度 4: 订单管理 (权重: 20%)
| 等级 | 分数 | 标准 |
|---|---|---|
| 优秀 | 90-100 | 支持订单查询、订单详情、订单状态跟踪、批量查询 |
| 良好 | 75-89 | 支持订单列表查询和详情查看 |
| 一般 | 60-74 | 能查询订单但信息不完整 |
| 差 | 订单查询功能不可用 |
检查点:
- [ ] 订单列表查询
- [ ] 订单详情(商品/金额/状态/时间)
- [ ] 订单状态(待付款/已付款/已发货/已完成)
- [ ] 时间范围筛选
维度 5: 旺旺聊天 (权重: 10%)
| 等级 | 分数 | 标准 |
|---|---|---|
| 优秀 | 90-100 | 支持发送消息、接收消息、消息历史 |
| 良好 | 75-89 | 支持基本消息发送和接收 |
| 一般 | 60-74 | 聊天功能部分可用 |
| 差 | 聊天功能不可用(官方API限制) |
检查点:
- [ ] 发送消息能力
- [ ] 接收消息能力
- [ ] 消息历史记录
维度 6: 技术实现质量 (权重: 15%)
| 等级 | 分数 | 标准 |
|---|---|---|
| 优秀 | 90-100 | 错误处理完善、重试机制、请求频率控制、日志完整、类型安全 |
| 良好 | 75-89 | 基本的错误处理和日志 |
| 一般 | 60-74 | 仅有基础功能,缺乏健壮性处理 |
| 差 | 无错误处理或无日志 |
检查点:
- [ ] 错误码处理
- [ ] 请求重试机制
- [ ] 频率限制/防封
- [ ] 日志记录
- [ ] 类型定义(TypeScript)
评分矩阵
| 测试用例 | 商品搜索 | 商品详情 | 购物车 | 订单管理 | 旺旺聊天 | 技术实现 | 总分 | 分类 |
|---|---|---|---|---|---|---|---|---|
| search_01_keyword | 90 | 85 | - | - | - | 80 | 85 | good |
| detail_01_basic | - | 95 | - | - | - | 85 | 92 | good |
| detail_02_sku | - | 75 | - | - | - | 75 | 75 | good |
| cart_01_basic | - | - | 85 | - | - | 80 | 83 | good |
| order_01_list | - | - | - | 90 | - | 85 | 88 | good |
| order_02_detail | - | - | - | 80 | - | 80 | 80 | good |
| im_01_send | - | - | - | - | 50 | 60 | 55 | bad |
行业基准分 (Industry Baseline)
industry_avg_score: 78
计算说明:
- 7个测试用例中 6个 good, 1个 bad
- good 平均分: 83.67
- bad 平均分: 55
- 加权计算: (6 * 83.67 + 1 * 55) / 7 = 78.43 → 78
目标分数: 技能评测需达到 70 分以上视为合格
测试数据要求
Good Testdata 标准
- 总分 ≥ 70
- 核心功能(搜索/详情/订单)至少两项得分 ≥ 75
Bad Testdata 标准
- 总分
- 或核心功能全部
版本历史
| 版本 | 日期 | 修改内容 |
|---|---|---|
| v1 | 2026-03-28 | 初始版本,6个评估维度 |
本文档由 Digester 生成,用于评估 taobao_native 技能能力