benchmark_v2.md 5.74 KB

Benchmark: taobao-native 淘宝桌面客户端

版本信息

  • 版本: v2
  • 创建日期: 2026-03-28
  • 目标技能: taobao_native (淘宝桌面客户端交互)
  • 适用场景: 商品搜索、购物车管理、订单处理、旺旺聊天

评估维度

维度 1: 商品搜索能力 (权重: 20%)

等级 分数 标准
优秀 90-100 支持多条件搜索(关键词/价格区间/销量排序/类目筛选),返回完整商品列表,包含标题、价格、图片、销量、店铺
良好 75-89 支持关键词搜索,返回商品列表,基本字段完整
一般 60-74 支持基本搜索,但返回数据不完整或格式混乱
差 搜索功能不可用或返回错误

检查点:

  • [ ] 关键词搜索功能
  • [ ] 分页/翻页支持
  • [ ] 排序功能(销量/价格/时间)
  • [ ] 字段完整性(title, price, pict_url, sales, shop)

维度 2: 商品详情获取 (权重: 20%)

等级 分数 标准
优秀 90-100 获取完整商品详情,包含SKU变体、价格优惠、库存、描述、图片集、店铺信息
良好 75-89 获取商品基本信息(标题/价格/图片/库存),SKU信息基本覆盖
一般 60-74 能获取商品信息但缺失关键字段,如库存/SKU
差 详情获取失败或返回错误

检查点:

  • [ ] 基础信息(title, price, pict_url)
  • [ ] SKU/变体信息(如颜色/尺寸)
  • [ ] 库存状态
  • [ ] 优惠信息(优惠券/促销)
  • [ ] 店铺信息(名称/评分)

维度 3: 购物车管理 (权重: 15%)

等级 分数 标准
优秀 90-100 支持添加商品、修改数量、删除商品、批量操作、计算总价
良好 75-89 支持添加商品、查看购物车、修改数量
一般 60-74 只能查看购物车,无法添加或修改
差 购物车功能不可用

检查点:

  • [ ] 查看购物车内容
  • [ ] 添加商品到购物车
  • [ ] 修改商品数量
  • [ ] 删除商品
  • [ ] 价格计算

维度 4: 订单管理 (权重: 20%)

等级 分数 标准
优秀 90-100 支持订单查询、订单详情、订单状态跟踪、批量查询
良好 75-89 支持订单列表查询和详情查看
一般 60-74 能查询订单但信息不完整
差 订单查询功能不可用

检查点:

  • [ ] 订单列表查询
  • [ ] 订单详情(商品/金额/状态/时间)
  • [ ] 订单状态(待付款/已付款/已发货/已完成)
  • [ ] 时间范围筛选

维度 5: 旺旺聊天 (权重: 10%)

等级 分数 标准
优秀 90-100 支持发送消息、接收消息、消息历史
良好 75-89 支持基本消息发送和接收
一般 60-74 聊天功能部分可用
差 聊天功能不可用(官方API限制)

检查点:

  • [ ] 发送消息能力
  • [ ] 接收消息能力
  • [ ] 消息历史记录

维度 6: 技术实现质量 (权重: 15%)

等级 分数 标准
优秀 90-100 错误处理完善、重试机制、请求频率控制、日志完整、类型安全
良好 75-89 基本的错误处理和日志
一般 60-74 仅有基础功能,缺乏健壮性处理
差 无错误处理或无日志

检查点:

  • [ ] 错误码处理
  • [ ] 请求重试机制
  • [ ] 频率限制/防封
  • [ ] 日志记录
  • [ ] 类型定义(TypeScript)

评分矩阵 (v2)

测试用例 商品搜索 商品详情 购物车 订单管理 旺旺聊天 技术实现 总分 分类
good_01_keyword_search 90 85 - - - 80 85 good
good_02_item_detail - 95 - - - 85 92 good
good_01_top_api 95 90 60 90 0 90 78 good
good_02_tbk_api 85 50 0 75 0 80 72 good
good_03_github_sdk 85 85 60 85 0 90 80 good
bad_01_wangwang_chat - - - - 50 60 55 bad

标注统计

分类 数量 平均分
Good Testdata 5 81.4
Bad Testdata 1 55

行业基准分 (Industry Baseline)

industry_avg_score: 76
计算说明:
- 6个测试用例中 5个 good, 1个 bad
- good 平均分: 81.4
- bad 平均分: 55
- 加权计算: (5 * 81.4 + 1 * 55) / 6 = 76.67 → 76

目标分数: 技能评测需达到 70 分以上视为合格


Good Testdata 共性特征

  1. 官方API优先: TOP API 接口最完整,淘宝客API门槛低但功能有限
  2. SDK辅助开发: 使用 blacktail/taobao 可降低签名算法复杂度
  3. 认证是关键: 商家授权是调用TOP API的前提

Bad Testdata 共性问题

  1. 旺旺API缺失: 官方已不对外开放实时聊天功能
  2. 购物车无直接API: 需通过H5接口或手动操作

改进建议

  1. 商品搜索: 优先使用 TOP API,备选淘宝客API
  2. 商品详情: 使用 TOP API taobao.item.get
  3. 购物车: 考虑 H5 接口或本地缓存模拟
  4. 旺旺聊天: 提示用户使用手动客户端,明确API限制

测试数据要求

Good Testdata 标准

  • 总分 ≥ 70
  • 核心功能(搜索/详情/订单)至少两项得分 ≥ 75

Bad Testdata 标准

  • 总分
  • 或核心功能全部

版本历史

版本 日期 修改内容
v1 2026-03-28 初始版本,6个评估维度
v2 2026-03-28 新增3个标注数据(TOP_API/淘宝客SDK/GitHubSDK),更新行业基线

本文档由 Digester 生成,用于评估 taobao_native 技能能力 版本: v2 | 更新日期: 2026-03-28