SKILL.md
2.83 KB
name: l1-web-fetch description: "L1 原子技能:通用网页抓取。输入 URL,返回网页正文内容(Markdown 格式)。" layer: 1 domain: sensing keywords:
- web
- fetch
- scrape
- html
- markdown input_schema: "{ url: string }" output_schema: "{ content: string, title: string, status: number }" ---
L1: Web Fetch(网页抓取原子技能)
能力
给定一个 URL,抓取网页内容并返回清洗后的正文(Markdown 格式)。
使用方法
使用 curl 命令抓取网页内容。本机出网不稳,参数收敛为 --retry 1 --max-time 40,不许省略
(详见 docs/SKILL.md §外网访问 SOP;2026-08-28 实测 --retry 3 --max-time 60 会把慢主机单条 URL
放大到 4 分钟以上,已弃用):
# 基础抓取(返回原始 HTML)—— --retry 1 --max-time 40 必须齐全
curl -sSL --retry 1 --max-time 40 -H "User-Agent: Mozilla/5.0" "<URL>"
# 如果需要转为纯文本/Markdown(去除 HTML 标签)
curl -sSL --retry 1 --max-time 40 -H "User-Agent: Mozilla/5.0" "<URL>" | python3 -c "
import sys, re
html = sys.stdin.read()
# 去除 script/style
html = re.sub(r'<(script|style)[^>]*>.*?</\1>', '', html, flags=re.DOTALL|re.IGNORECASE)
# 转换常见标签
html = re.sub(r'<br\s*/?>', '\n', html, flags=re.IGNORECASE)
html = re.sub(r'<p[^>]*>', '\n\n', html, flags=re.IGNORECASE)
html = re.sub(r'<h(\d)[^>]*>(.*?)</h\1>', lambda m: '#'*int(m.group(1))+' '+m.group(2)+'\n', html, flags=re.IGNORECASE)
html = re.sub(r'<li[^>]*>', '- ', html, flags=re.IGNORECASE)
# 去除剩余标签
text = re.sub(r'<[^>]+>', '', html)
# 清理多余空行
text = re.sub(r'\n{3,}', '\n\n', text).strip()
print(text[:5000])
"
输入
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| url | string | ✅ | 目标网页 URL |
输出
返回网页正文内容(Markdown 格式),截取前 5000 字符。
约束
- 超时:40 秒上限(
--max-time 40),重试固定 1 次(--retry 1) - 最大返回:5000 字符
- 不支持需要 JavaScript 渲染的 SPA 页面
- 遇到 403/429 错误时应报告"目标网站拒绝访问"
- 假 200 复核:HTTP 200 不代表内容有效 —— 必须查
<title>/ grep 关键词复核;docs.claude.com有区域封锁假 200 页(不同 URL 返回字节级相同内容),复核不过关一律进 blocked_sources - 失败降级:curl 失败 → 换镜像域再试一次(GitHub 文件走
cdn.jsdelivr.net/gh/<org>/<repo>@<branch>/<path>, raw.githubusercontent 直连实测不可达)→ 改用WebFetch再试一次 → 仍失败则标注 「无法复检(URL + 时间戳)」并继续,❌ 禁止因抓取失败重跑整轮训练 - 缓存优先:官方参考文档首抓成功后必须把原文 + sha256 落盘到
train/hunt/sources_*.json, 后续轮次只读缓存、不再复抓