技能探索者
在几分钟内,自动将任何文档网站转换为Claude AI技能。
什么是Skill Seeker?
Skill Seeker 是一款自动化工具,能够将任何文档网站转变为可投入生产的状态 Claude的人工智能技能Skill Seeker:无需手动阅读和总结文档
- 刮伤;擦伤 自动化的文档网站
- 组织 将内容整理成分类参考文件
- 增强 利用人工智能提取最佳示例和关键概念
- 包裹/软件包 将所有内容转换为可上传的格式
.zip为克劳德准备的文件
结果: 在20-40分钟内掌握任何框架、API或工具的全面Claude技能,无需数小时的手工操作。
为什么要使用这个?
- 🎯(瞄准目标) 对于开发者快速为您的喜爱框架(如React、Vue、Django等)创建Claude技能
- 🔧 修理工具或螺丝刀的象征 适用于团队为贵公司的API创建内部文档编制技能
- 📚 书籍 对于学习者为所学技术构建全面的参考技能
主要特点
🌐 文档抓取
- ✅ 表示“正确”或“确认”。 通用抓取工具 - 适用于任何文档网站
- ✅ 智能分类 - 自动按主题组织内容
- ✅ 代码语言检测 - 识别Python、JavaScript、C++、GDScript等语言。
- ✅ 8个即开即用的预设 - Godot、React、Vue、Django、FastAPI等
📄 PDF 支持(v1.2.0(版本1.2.0))
- ✅ 扫描版PDF的OCR(光学字符识别) - 从扫描文档中提取文本
- ✅ 表格提取 - 从PDF中提取复杂表格
- ✅ 并行处理 - 处理大型PDF文件的速度提升3倍
- ✅ 智能缓存 - 重跑时速度提升50%
🤖 人工智能与增强技术
- ✅ 表示“正确”或“完成”。 AI赋能增强 - 将基本模板转化为全面指南
- ✅ 无API费用 - 使用Claude Code Max进行免费本地增强
- ✅ Claude 代码的 MCP 服务器 - 使用自然语言直接从Claude代码中调用
⚡ 性能与规模
- ✅ 大型文档支持 - 智能拆分处理10K-40K+页的文档
- ✅ 路由器/集线器技能 - 智能路由至专业子技能
- ✅ 并行抓取 - 同时处理多项技能
- ✅ 检查点/恢复 - 在长时间的磨难中永远不要放弃进步
- ✅ 缓存系统 - 一键刮取,即时重建
✅ 质量保证
- ✅ 全面测试 - 142项测试,通过率100%
快速示例
选项1:使用Claude代码(推荐)```bash
One-time setup (5 minutes)
./setup_mcp.sh
Then in Claude Code, just ask:
"Generate a React skill from https://react.dev/"
"Scrape PDF at docs/manual.pdf and create skill"
**时间:** 自动化 · **质量:** 已准备好投入生产 · **成本:** 免费
### 选项2:直接使用命令行界面(CLI)(HTML文档)```bash
# Install dependencies (2 pip packages)
pip3 install requests beautifulsoup4
# Generate a React skill in one command
python3 cli/doc_scraper.py --config configs/react.json --enhance-local
# Upload output/react.zip to Claude - Done!
时间: 约25分钟 · 质量: 已准备好投入生产 · 成本: 免费
选项3:使用命令行界面(CLI)进行PDF文档操作```bash
Install PDF support
pip3 install PyMuPDF
Basic PDF extraction
python3 cli/pdf_scraper.py --pdf docs/manual.pdf --name myskill
Advanced features
python3 cli/pdf_scraper.py --pdf docs/manual.pdf --name myskill \
--extract-tables \ # Extract tables
--parallel \ # Fast parallel processing
--workers 8 # Use 8 CPU cores
Scanned PDFs (requires: pip install pytesseract Pillow)
python3 cli/pdf_scraper.py --pdf docs/scanned.pdf --name myskill --ocr
Password-protected PDFs
python3 cli/pdf_scraper.py --pdf docs/encrypted.pdf --name myskill --password mypassword
Upload output/myskill.zip to Claude - Done!
**时间:** 5-15分钟(或使用并行时为2-5分钟) **质量:** 已准备好投入生产 | **成本:** 免费
**高级功能:**
- ✅ 对扫描的PDF进行OCR处理(需要pytesseract)
- ✅ 支持密码保护的PDF文件
- ✅ 表格提取
- ✅ 并行处理(速度提升3倍)
- ✅ 智能缓存
## 它是如何工作的```mermaid
graph LR
A[Documentation Website] --> B[Skill Seeker]
B --> C[Scraper]
B --> D[AI Enhancement]
B --> E[Packager]
C --> F[Organized References]
D --> F
F --> E
E --> G[Claude Skill .zip]
G --> H[Upload to Claude AI]
- 刮取从文档中提取所有页面
- 分类将内容组织成主题(API、指南、教程等)
- 增强AI分析文档并创建包含示例的全面SKILL.md文件
- 包裹将所有内容打包成适用于Claude的格式
.zip文件
📋 前提条件
在开始之前,请确保你已具备:
- Python 3.10 或更高版本 - 下载 | 检查:
python3 --version - Git(注:Git是一个分布式版本控制系统,常用于代码管理和团队协作) - 下载 | 检查:
git --version - 15-30分钟 首次设置时
首次使用吗? → 从这里开始:防弹快速入门指南 🎯(目标/靶心)
本指南将一步步引导您完成所有操作(包括Python安装、git克隆以及第一个技能的创建)。
🚀 快速入门
方法1:使用MCP服务器为Claude代码(最简单)
使用Claude Code,直接通过自然语言调用Skill Seeker!```bash
Clone repository
git clone https://github.com/yusufkaraaslan/Skill_Seekers.git
cd Skill_Seekers
One-time setup (5 minutes)
./setup_mcp.sh
Restart Claude Code, then just ask:
**在克劳德代码中:**```
List all available configs
Generate config for Tailwind at https://tailwindcss.com/docs
Scrape docs using configs/react.json
Package skill at output/react/
好处:
- ✅ 无需手动CLI命令
- ✅ 自然语言接口
- ✅ 与您的工作流程集成
- ✅ 立即可用的9种工具(包括自动上传功能!)
- ✅ 经过测试,运行正常 正在生产中
完整指南:
- 📘(一个书籍的图标或符号,无直接对应文字,可理解为“书籍”或“书本”的象征) MCP设置指南 - 完整的安装说明
- 🧪(表示化学实验或科学实验的符号) MCP测试指南 - 测试所有9种工具
- 📦 箱子/包裹 大型文档指南 - 处理10K至40K+页
- 📤(扔出的邮件或文件) 上传指南 - 如何将技能上传到Claude
方法2:CLI(传统)
一次性设置:创建虚拟环境```bash
Clone repository
git clone https://github.com/yusufkaraaslan/Skill_Seekers.git
cd Skill_Seekers
Create virtual environment
python3 -m venv venv
Activate virtual environment
source venv/bin/activate # macOS/Linux
OR on Windows: venv\Scripts\activate
Install dependencies
pip install requests beautifulsoup4 pytest
Save dependencies
pip freeze > requirements.txt
Optional: Install anthropic for API-based enhancement (not needed for LOCAL enhancement)
pip install anthropic
**在使用Skill Seeker之前,请务必激活虚拟环境:**```bash
source venv/bin/activate # Run this each time you start a new terminal session
最简单的方法:使用预设```bash
Make sure venv is activated (you should see (venv) in your prompt)
source venv/bin/activate
Optional: Estimate pages first (fast, 1-2 minutes)
python3 cli/estimate_pages.py configs/godot.json
Use Godot preset
python3 cli/doc_scraper.py --config configs/godot.json
Use React preset
python3 cli/doc_scraper.py --config configs/react.json
See all presets
ls configs/
### 交互模式```bash
python3 cli/doc_scraper.py --interactive
快速模式```bash
python3 cli/doc_scraper.py \
--name react \
--url https://react.dev/ \
--description "React framework for UIs"
## 📤 向Claude上传技能
一旦你的技能被打包好,你需要将其上传到Claude:
### 选项1:自动上传(基于API)```bash
# Set your API key (one-time)
export ANTHROPIC_API_KEY=sk-ant-...
# Package and upload automatically
python3 cli/package_skill.py output/react/ --upload
# OR upload existing .zip
python3 cli/upload_skill.py output/react.zip
好处:
- ✅ 全自动
- ✅ 无需手动步骤
- ✅ 可从命令行运行
要求:
- Anthropic API密钥(从https://console.anthropic.com/获取)
选项2:手动上传(无需API密钥)```bash
Package skill
python3 cli/package_skill.py output/react/
This will:
1. Create output/react.zip
2. Open the output/ folder automatically
3. Show upload instructions
Then manually upload:
- Go to https://claude.ai/skills
- Click "Upload Skill"
- Select output/react.zip
- Done!
**好处:**
- 无需API密钥
- ✅ 适合所有人使用
- ✅ 文件夹自动打开
### 选项3:克劳德代码(MCP)- 智能且自动```
In Claude Code, just ask:
"Package and upload the React skill"
# With API key set:
# - Packages the skill
# - Uploads to Claude automatically
# - Done! ✅
# Without API key:
# - Packages the skill
# - Shows where to find the .zip
# - Provides manual upload instructions
好处:
- ✅ 自然语言
- ✅ 智能自动检测(如有API密钥则上传)
- 无论是否使用API密钥,均可正常工作
- ✅ 无错误或故障
📁 简单结构```
doc-to-skill/
├── cli/
│ ├── doc_scraper.py # Main scraping tool
│ ├── package_skill.py # Package to .zip
│ ├── upload_skill.py # Auto-upload (API)
│ └── enhance_skill.py # AI enhancement
├── mcp/ # MCP server for Claude Code
│ └── server.py # 9 MCP tools
├── configs/ # Preset configurations
│ ├── godot.json # Godot Engine
│ ├── react.json # React
│ ├── vue.json # Vue.js
│ ├── django.json # Django
│ └── fastapi.json # FastAPI
└── output/ # All output (auto-created)
├── godot_data/ # Scraped data
├── godot/ # Built skill
└── godot.zip # Packaged skill
## ✨ 特点
### 1. 快速页面估算(新功能!)```bash
python3 cli/estimate_pages.py configs/react.json
# Output:
📊 ESTIMATION RESULTS
✅ Pages Discovered: 180
📈 Estimated Total: 230
⏱️ Time Elapsed: 1.2 minutes
💡 Recommended max_pages: 280
好处:
- 在抓取之前了解页面数量(节省时间)
- 验证URL模式是否正常工作
- 估计的总刮削时间
- 推荐最佳方案/选项
max_pages设定;环境;场景 - 快速(1-2分钟 vs 20-40分钟的完整刮取)
2. 自动检测现有数据```bash
python3 cli/doc_scraper.py --config configs/godot.json
If data exists:
✓ Found existing data: 245 pages
Use existing data? (y/n): y
⏭️ Skipping scrape, using existing data
### 3. 知识生成
**自动模式提取:**
- 从文档中提取常见的代码模式
- 检测编程语言
- 通过真实示例创建快速参考
- 通过评分实现更智能的分类
**增强版的SKILL.md:**
- 来自文档的真实代码示例
- 带有语言注释的代码块
- 常见模式部分
- 从实际使用示例中快速查阅
### 4. 智能分类
自动从以下内容推断类别:
- URL结构
- 页面标题
- 内容关键词
- 为了提高准确性而进行评分
### 5. 代码语言检测```python
# Automatically detects:
- Python (def, import, from)
- JavaScript (const, let, =>)
- GDScript (func, var, extends)
- C++ (#include, int main)
- And more...
5. 跳过抓取```bash
Scrape once
python3 cli/doc_scraper.py --config configs/react.json
Later, just rebuild (instant)
python3 cli/doc_scraper.py --config configs/react.json --skip-scrape
### 6. 基于AI的SKILL.md功能增强```bash
# Option 1: During scraping (API-based, requires API key)
pip3 install anthropic
export ANTHROPIC_API_KEY=sk-ant-...
python3 cli/doc_scraper.py --config configs/react.json --enhance
# Option 2: During scraping (LOCAL, no API key - uses Claude Code Max)
python3 cli/doc_scraper.py --config configs/react.json --enhance-local
# Option 3: After scraping (API-based, standalone)
python3 cli/enhance_skill.py output/react/
# Option 4: After scraping (LOCAL, no API key, standalone)
python3 cli/enhance_skill_local.py output/react/
它的功能是:
- 阅读你的参考文档
- 使用Claude生成一个优秀的SKILL.md文件
- 提取最佳代码示例(5-10个实用示例)
- 创建全面的快速参考指南
- 添加领域特定的关键概念
- 为不同技能水平的用户提供导航指导
- 自动备份原始文件
- 质量: 将75行的模板扩展为500多行的全面指南
本地增强(推荐):
- 使用您的Claude Code Max套餐(无API费用)
- 使用Claude Code打开新终端
- 自动分析参考文件
- 需要30-60秒
- 质量:9/10(与API版本相当)
7. 大规模文档支持(10K-40K+页)
对于像Godot(40K页面)、AWS或Microsoft Docs这样的大型文档网站:```bash
1. Estimate first (discover page count)
python3 cli/estimate_pages.py configs/godot.json
2. Auto-split into focused sub-skills
python3 cli/split_config.py configs/godot.json --strategy router
Creates:
- godot-scripting.json (5K pages)
- godot-2d.json (8K pages)
- godot-3d.json (10K pages)
- godot-physics.json (6K pages)
- godot-shaders.json (11K pages)
3. Scrape all in parallel (4-8 hours instead of 20-40!)
for config in configs/godot-*.json; do
python3 cli/doc_scraper.py --config $config &
done
wait
4. Generate intelligent router/hub skill
python3 cli/generate_router.py configs/godot-*.json
5. Package all skills
python3 cli/package_multi.py output/godot*/
6. Upload all .zip files to Claude
Users just ask questions naturally!
Router automatically directs to the right sub-skill!
**拆分策略:**
- **汽车** - 根据页数智能检测最佳策略
- **类别** - 按文档类别划分(脚本、2D、3D等)
- **路由器** - 创建核心技能+专业子技能(推荐)
- **尺寸** - 每N页拆分一次(对于没有明确类别的文档)
**好处:**
- ✅ 更快的抓取速度(并行执行)
- ✅ 更专注的技能(提升Claude的表现)
- ✅ 更易维护(一次更新一个主题)
- ✅ 自然用户体验(路由器处理路由)
- ✅ 避免上下文窗口限制
**配置:**```json
{
"name": "godot",
"max_pages": 40000,
"split_strategy": "router",
"split_config": {
"target_pages_per_skill": 5000,
"create_router": true,
"split_by_categories": ["scripting", "2d", "3d", "physics"]
}
}
完整指南: 大型文档指南
8. 长刮痕时的检查点/恢复功能
在长时间的争执中,永远不要放弃已取得的进展:```bash
Enable in config
{
"checkpoint": {
"enabled": true,
"interval": 1000 // Save every 1000 pages
}
}
If scrape is interrupted (Ctrl+C or crash)
python3 cli/doc_scraper.py --config configs/godot.json --resume
Resume from last checkpoint
✅ Resuming from checkpoint (12,450 pages scraped)
⏭️ Skipping 12,450 already-scraped pages
🔄 Continuing from where we left off...
Start fresh (clear checkpoint)
python3 cli/doc_scraper.py --config configs/godot.json --fresh
**好处:**
- ✅ 每1000页自动保存一次(可配置)
- ✅ 减少中断(Ctrl+C)
- ✅ 附上简历 `--resume` 旗帜
- ✅ 永远不会丢失数小时的抓取进度
## 🎯 完整的工作流程
### 首次尝试(含刮削+增强处理)```bash
# 1. Scrape + Build + AI Enhancement (LOCAL, no API key)
python3 cli/doc_scraper.py --config configs/godot.json --enhance-local
# 2. Wait for new terminal to close (enhancement completes)
# Check the enhanced SKILL.md:
cat output/godot/SKILL.md
# 3. Package
python3 cli/package_skill.py output/godot/
# 4. Done! You have godot.zip with excellent SKILL.md
时间: 20-40分钟(刮擦)+ 60秒(增强)= 约21-41分钟
利用现有数据(快速!)```bash
1. Use cached data + Local Enhancement
python3 cli/doc_scraper.py --config configs/godot.json --skip-scrape
python3 cli/enhance_skill_local.py output/godot/
2. Package
python3 cli/package_skill.py output/godot/
3. Done!
**时间:** 1-3分钟(构建)+ 60秒(增强)= 总计约2-4分钟
### 无增强(基础版)```bash
# 1. Scrape + Build (no enhancement)
python3 cli/doc_scraper.py --config configs/godot.json
# 2. Package
python3 cli/package_skill.py output/godot/
# 3. Done! (SKILL.md will be basic template)
时间: 20-40分钟
注: SKILL.md 将是通用的——强烈建议进行增强!
📋 可用预设
配置 · 框架 · 描述
godot.json · Godot 引擎 · 游戏开发
react.json · React · 用户界面框架
vue.json · Vue.js · 逐步增强框架
django.json · Django · Python网络框架
fastapi.json FastAPI · 现代Python API
ansible-core.json · Ansible Core 2.19 · 自动化与配置
使用预设```bash
Godot
python3 cli/doc_scraper.py --config configs/godot.json
React
python3 cli/doc_scraper.py --config configs/react.json
Vue
python3 cli/doc_scraper.py --config configs/vue.json
Django
python3 cli/doc_scraper.py --config configs/django.json
FastAPI
python3 cli/doc_scraper.py --config configs/fastapi.json
Ansible
python3 cli/doc_scraper.py --config configs/ansible-core.json
## 🎨 创建你自己的配置
### 选项1:互动式```bash
python3 cli/doc_scraper.py --interactive
# Follow prompts, it will create the config for you
选项2:复制并编辑```bash
Copy a preset
cp configs/react.json configs/myframework.json
Edit it
nano configs/myframework.json
Use it
python3 cli/doc_scraper.py --config configs/myframework.json
### 配置结构```json
{
"name": "myframework",
"description": "When to use this skill",
"base_url": "https://docs.myframework.com/",
"selectors": {
"main_content": "article",
"title": "h1",
"code_blocks": "pre code"
},
"url_patterns": {
"include": ["/docs", "/guide"],
"exclude": ["/blog", "/about"]
},
"categories": {
"getting_started": ["intro", "quickstart"],
"api": ["api", "reference"]
},
"rate_limit": 0.5,
"max_pages": 500
}
📊 会创建什么```
output/
├── godot_data/ # Scraped raw data
│ ├── pages/ # JSON files (one per page)
│ └── summary.json # Overview
│
└── godot/ # The skill
├── SKILL.md # Enhanced with real examples
├── references/ # Categorized docs
│ ├── index.md
│ ├── getting_started.md
│ ├── scripting.md
│ └── ...
├── scripts/ # Empty (add your own)
└── assets/ # Empty (add your own)
## 🎯 命令行选项```bash
# Interactive mode
python3 cli/doc_scraper.py --interactive
# Use config file
python3 cli/doc_scraper.py --config configs/godot.json
# Quick mode
python3 cli/doc_scraper.py --name react --url https://react.dev/
# Skip scraping (use existing data)
python3 cli/doc_scraper.py --config configs/godot.json --skip-scrape
# With description
python3 cli/doc_scraper.py \
--name react \
--url https://react.dev/ \
--description "React framework for building UIs"
💡 小贴士
1. 先从小范围测试
编辑 max_pages 在配置中测试:```json
{
"max_pages": 20 // Test with just 20 pages
}
### 2. 重复使用抓取的数据```bash
# Scrape once
python3 cli/doc_scraper.py --config configs/react.json
# Rebuild multiple times (instant)
python3 cli/doc_scraper.py --config configs/react.json --skip-scrape
python3 cli/doc_scraper.py --config configs/react.json --skip-scrape
3. 查找选择器```python
Test in Python
from bs4 import BeautifulSoup
import requests
url = "https://docs.example.com/page"
soup = BeautifulSoup(requests.get(url).content, 'html.parser')
Try different selectors
print(soup.select_one('article'))
print(soup.select_one('main'))
print(soup.select_one('div[role="main"]'))
### 4. 检查输出质量```bash
# After building, check:
cat output/godot/SKILL.md # Should have real examples
cat output/godot/references/index.md # Categories
🐛 故障排除
未提取到内容?
- 检查你的
main_content选择器 - 尝试:
article,main,div[role="main"]
数据存在却不会使用它?```bash
Force re-scrape
rm -rf output/myframework_data/
python3 cli/doc_scraper.py --config configs/myframework.json
### 类别不好吗?
编辑配置文件 `categories` 包含更好关键词的部分。
### 想更新文档吗?```bash
# Delete old data
rm -rf output/godot_data/
# Re-scrape
python3 cli/doc_scraper.py --config configs/godot.json
📈 表现
| 任务 | 时间 | 备注 |
|---|---|---|
| 去皮 | 15-45分钟 | 仅限首次 |
| 建筑 | 1-3分钟 | 快速! |
| 重建 | \<1 分钟 | 使用 --skip-scrape 选项 |
| 包装 | 5-10秒 | 最终拉链封口 |
✅ 摘要
一个工具,全能搞定:
- ✅ 抓取文档
- ✅ 自动检测现有数据
- ✅ 生成更优质的知识
- ✅ 培养提升技能
- ✅ 支持预设或自定义配置
- ✅ 支持跳过抓取以实现快速迭代
结构简单:
doc_scraper.py- 工具configs/- 预设output/- 其他一切
更好的输出:
- 带有语言检测功能的真实代码示例
- 从文档中提取的常见模式
- 智能分类
- 增强版SKILL.md,附实际示例
📚 文档
入门指南/开始使用
- 《防弹快速入门指南.md》 - 🎯(瞄准/目标) 从这里开始 如果你是新来的!
- 《故障排除指南.md》 - 常见问题及解决方案
指南
技术
- docs/CLAUDE.md(文件名,可译为“文档/CLAUDE说明文件”或根据上下文简化为“CLAUDE文档”) - 技术架构
🎮 准备好了吗?```bash
Try Godot
python3 cli/doc_scraper.py --config configs/godot.json
Try React
python3 cli/doc_scraper.py --config configs/react.json
Or go interactive
python3 cli/doc_scraper.py --interactive
```
📝 许可证
MIT 许可证 - 详见 许可证 详情请见文件
祝技能提升愉快! 🚀
