爬虫缓存一键清理器
用途
Python爬虫项目跑久了会堆积大量缓存文件(Scrapy HTTP缓存、pycache、.pyc、pytest缓存、SQLite缓存等),占用磁盘。本工具一键扫描并清理。
扫描的缓存类型
.scrapy/httpcache/— Scrapy HTTP缓存**/__pycache__/和**/*.pyc— Python字节码缓存**/.pytest_cache/— pytest缓存**/*.sqlite— requests_cache等SQLite缓存**/.playwright-mcp/— Playwright临时文件**/http_cache/— 通用HTTP缓存目录temp_*.json和debug/*.html— 调试残留文件
用法
# 第一步:dry-run 预览(只报告不删除)
python scripts/cache_cleaner.py /path/to/project
# 第二步:确认后真删
python scripts/cache_cleaner.py /path/to/project --apply
输出(JSON)
| 字段 | 说明 |
|---|---|
| found_count | 发现的缓存项数 |
| total_size_human | 可释放总大小(人类可读) |
| deleted_count | 实际删除项数(dry-run时为0) |
| items | 逐项清单(路径、大小、类型) |
| errors | 删除失败项及原因 |
安全机制
- 默认 dry-run:不加
--apply绝不会删任何文件 - 只删除明确的缓存模式,不碰源码、数据文件、配置文件
- 删除失败不中断,记录到errors列表继续处理
硬规则
- 不加 --apply 不删任何文件
- 不删除用户数据(.csv/.json结果文件/数据库文件)
- 扫描深度递归,但只匹配已知缓存模式,不误删