去审查大模型：资源导航与本地部署

覆盖 GitHub 上去审查（uncensored / abliterated）模型生态：哪些仓库值得用、怎么装、怎么量化、怎么验证效果好坏、哪些仓库不能碰。
数据来自 2026-10-27 对 GitHub 的公开检索（11 组关键词，去重后 279 个仓库）。

0. 先确立三个认知（能少走 90% 的弯路）

1. 权重几乎都不在 GitHub 上。 GitHub 放的是工具、配置、脚本、清单；模型权重在 Hugging Face。
   所以「找仓库」和「下载模型」是两件事：先在 GitHub 找到工具与清单，再从 HF 拉权重。
2. 术语三分，别混用——uncensored（微调版，可能复发拒答）< abliterated（权重级，结构性失效）< 推理时干预（不改权重，可回滚）。优先选 abliterated。
3. 顺序不能反：原始 bf16/fp16 权重 → 去审查 → 量化 → 部署。
   拿已经量化好的 GGUF 去跑 abliteration 只会失败或严重掉智——工具需要高精度权重才能算出稳定的拒绝方向。

1. 资源地图（精选，完整数据在 data/repos.json）

用 python3 scripts/query.py --cat <类别> 按类查，--exclude-risk promo 过滤推广仓。

A. 去审查工具（权重级）

B. 推理时干预（不改权重，可回滚）

C. 一键本地部署套件

> ⚠️ techjarves/USB-Uncensored-LLM（2072★）已废弃，不要再按旧教程下载，官方已迁移到 Uncensored-Local-Studio。
> 这条最能说明问题：star 数只代表曾经的热度，动手前先确认仓库是否还在维护。

D. 清单与评测

• JoasASantos/Offensive-Security-AI-Models（746★）——安全研究视角的模型清单，当检索起点很好用
• audn-ai/refusal-benchmark（62★）——519+ 条 prompt，用来测你的模型还剩多少拒答
• toxy4ny/redteam-ai-benchmark（59★）——红队视角的去审查模型评测基准

2. 三条路线怎么选

自己跑的门槛：要有能装下原模型的大显存（可 bitsandbytes 4bit 降门槛），RTX 3090 上去审查 4B 模型约 20-30 分钟。

3. 十分钟上手：直接用现成权重（Ollama）

curl -fsSL https://ollama.com/install.sh | sh     # Windows: winget install Ollama.Ollama
ollama pull hf.co/<作者>/<去审查模型仓库>:Q4_K_M
ollama run  <名字>

自建一个时务必写对 TEMPLATE——去审查模型最常见的「变傻」原因就是 chat template 配错，
表现为格式混乱、重复、中英文夹杂。模板从原模型的 tokenizer_config.json 里抄。
完整 Modelfile 写法与参数说明见 references/deployment.md。

对外提供 OpenAI 兼容接口（http://127.0.0.1:11434/v1），然后接 Open WebUI / SillyTavern / Continue 即可。

4. 自己动手去审查（heretic）

pip install -U heretic-llm                 # Python 3.10+、PyTorch 2.2+（MXFP4 模型需 2.6+）
heretic Qwen/Qwen3-4B-Instruct-2507        # 全自动，无需配置
heretic --model google/gemma-3-12b-it --evaluate-model p-e-w/gemma-3-12b-it-heretic   # 对拍评估

跑完可选：保存权重 / 上传 HF / 直接对话测试 / 跑标准基准。依赖建议用 uv run heretic（仓库有 uv.lock）。
技术原理与三条流派对比见 references/abliteration-methods.md。

5. 部署路线速查（详见 references/deployment.md）

6. 量化与显存（选模型前先算）

显存 ≈ 参数量(B) × 每参数字节 + KV cache + 1.5GB。经验法则：GGUF 文件大小 ≈ 所需显存。

> 去审查模型比普通模型更吃量化损失：低比特会把拒绝方向的残余扰动放大，
> 出现答非所问、重复、格式崩坏。同模型 Q6_K 的去审查表现通常明显好于 Q2_K。有条件就往上加。

7. 怎么判断去审查做得好不好

只看它答不答应远远不够，两个指标一起看：

1. 拒答率：用 refusal-benchmark 类 prompt 集测，好的版本应显著下降（如 97/100 → 3/100）。
2. 能力损伤：KL 散度（heretic 内置）越低越好，<0.2 优秀、>1.0 基本伤到肉质；再用 MMLU/GSM8K 对拍，掉 3% 以内可接受。

参考量级（官方数据）：同样做到 n/100 拒答，heretic 自动版的 KL 是 0.16，而某些手工版是 1.04——
同为「不拒答」，能力损耗差一个数量级。 最后仍要人肉看长对话一致性与格式稳定性。

8. 甄别低质仓库（本次检索的实测结论）

279 个去重结果里：1000★ 以上仅 9 个，100-1000★ 有 35 个，其余 235 个都在 100★ 以下。
信噪比很低，按这几条筛：

• 同一开者重复开多个近似标题仓库（如 xxx-api / xxx-abliterated / xxx-uncensored 三连），
  内容都是 API 中转站广告 → 推广型，不要按其一键脚本操作。
• 标题夸张、README 只有链接表格和「越狱提示词」集合 → 大概率 SEO。
• README 里没有具体命令、没有许可证、没有维护记录 → 直接跳过。
• 宣称「什么限制都没有、什么都能做」的仓库 → 视为不可信；
  这类一键脚本是下载可执行二进制，风险最高，不要运行。
• 区分本地 vs 远端：名字里带 uncensored 但其实是第三方 API 客户端的仓库并非本地推理，
  你的数据会离开本机——想要隐私就必须本地权重 + 本地推理。
• 用 python3 scripts/query.py --only-risk promo 可直接列出数据集里已标注的推广型。

9. 法律、许可与合规边界（务必读完）

• 去审查不解除原模型的许可义务。 Llama 社区许可、Gemma 使用条款、Qwen 许可等仍然适用
  （例如 Llama 系月活超 7 亿需单独许可、禁止用于训练竞品）。heretic 自身是 AGPL-3.0，
  把它作为服务对外提供时有对应义务。
• 遵守所在地法律与平台规定。 不同司法辖区对模型输出内容的界定差异很大，
  部署在你自己负责的环境里，责任也在你；输出内容的合法性由使用者承担。
• 企业 / 生产环境：须经授权与安全评估再落地，不要把去审查模型直接接入面向客户的生产链路。
• 红队与安全研究：仅在自有或明确书面授权的资产上进行；
  数据集里 Mr-Destroyer/ZimZilla 一类渗透类工具同此约束。
• 双用途属性：同一份权重既能用于创意写作不受限、也能被用于生成有害内容。
  评估标准请放在「能力是否受损」上，而不是「能突破多少限制」。

附：文件清单

数据有时效性：星标会变、仓库会归档。重要决策前用 search-github.sh 重跑一遍，或直接看仓库最近提交时间。