Anyloom Anythingllm Local AI Agentic Dytopo Swarm

MCP搜索检索

提供方 Intradyne

搜索检索 stdio · 本地进程 无需鉴权 社区 / 第三方
查看接入方式

AnyLoom是一个完全本地的多代理AI系统,提供类似ChatGPT的智能功能,同时确保数据隐私和控制。

一句话选型结论

按资料字段整理

Anyloom Anythingllm Local AI Agentic Dytopo Swarm 属于搜索检索类 MCP 服务器,stdio · 本地进程,无需鉴权,有可直接执行的安装命令。接入前先确认权限范围;涉及写入、删除或付款的操作,建议先在测试环境验证。

分类搜索检索 传输方式stdio · 本地进程 鉴权无需鉴权 部署方式本地部署
GitHub 星标 9 仓库热度,无公开仓库时显示未标注
工具数 7 暴露给模型的工具数量
资源 / 提示词 0 / 0 资源与提示词模板数量
维护方 社区 / 第三方 核验等级 仅资料核对

工具与能力

搜索检索
数量来自来源目录的标注,具体工具清单以官方文档为准
工具数量7暴露给模型可调用的工具个数
资源数量0可读取的资源条目
提示词数量0内置提示词模板数量

能力标签

适用场景

本地AIPython本地部署多代理系统隐私保护RAG搜索Docker集成

安装与配置

stdio · 本地进程 无需鉴权
客户端在本机拉起子进程,数据不出本机
pip install huggingface_hub

这条命令只是入口,具体启动参数请按官方文档补齐,不要直接照搬到别的服务器。

  1. 1
    准备运行环境

    stdio 服务在本地起进程,需要先装好 Node.js 等运行时,再按安装命令拉取依赖。

  2. 2
    安装服务

    复制上面的安装命令执行;命令里带占位符的位置,换成自己的密钥或路径。

  3. 3
    写入客户端配置

    在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,让新配置生效。

  4. 4
    验证是否可用

    连接成功后客户端会列出约 7 个工具,随便调一个只读工具确认能返回结果。

典型使用场景

3 类
按分类与标签整理的常见用法,具体以官方文档为准
联网搜索取证

让模型查最新资料并给出出处。

资料聚合

把一个主题的网页、文档集中抓回来整理。

情报与竞品检索

按关键词持续检索行业动态和竞品信息。

选择建议

选之前先看这几条
按条目字段给出的判断,不替你决定用不用

值得选的地方

  • 资料标注 7 个工具,职责相对集中,接入后不容易误操作。
  • 有现成的安装命令,不用自己找入口,照着跑就能起服务。
  • 资料标注无需鉴权,装好就能连。

先想清楚的地方

  • stdio 方式要求本地装好运行时(如 Node.js),换机器要重新装一遍。
  • 版本更新与行为细节以官方仓库为准。

更适合

  • 需要在搜索检索场景里让模型直接调用外部能力的人。
  • 想先快速试一下、能接受在本地或自有环境跑服务的人。

不太适合

  • 完全不想在本地装环境的人。
  • 需要厂商级 SLA 和技术支持的生产环境。

同类对比

6 个同类
同分类里挑最接近的几条,字段以各自详情页为准
MCP 服务器工具数传输方式部署方式安装命令最后核验
Anyloom Anythingllm Local AI Agentic Dytopo Swarm当前 7 stdio · 本地进程 本地部署 有 2026-05-17
Brave Search 433812ff 2 未标注 未标注 无 2026-05-17
Sequentialthinking 1 SSE · 服务端推送 远程部署 有 2026-05-18
Baidu Netdisk 未标注 未标注 未标注 无 2026-05-17
ragflow 未标注 stdio · 本地进程 本地部署 有 2026-04-11
mindsdb (430e18) 未标注 未标注 未标注 有 2026-05-17

服务器档案

搜索检索
字段来自项目仓库与公开索引,中文说明由本站标注
提供方Intradyne上游标注的维护方 Intradyne
分类搜索检索本站按上游分类展示
连接方式stdio · 本地进程客户端在本机拉起子进程,数据不出本机
鉴权方式无需鉴权远程服务建议用最小权限凭据
维护方社区 / 第三方核验等级 仅资料核对
包名 / 运行时未标注 · 未标注本地安装时用到的包标识与运行时
部署类型本地部署上游给出的部署形态
最近核验2026-05-17上游最后核验时间

详细介绍

12.6 KB
来自项目仓库与上游目录的原文,未做删改

AnyLoom:AnythingLLM本地AI代理栈

一个完全本地的多代理人工智能系统,为您提供ChatGPT级别的智能,并对您的数据进行完全的隐私和控制。

> 现在使用Docker! 一个命令启动整个堆栈。零手动设置。


💡 你能用这个做什么?

完全在您的硬件上运行生产级AI助手堆栈:

  • 🔒 100%私人 --没有数据离开你的机器。没有API密钥。没有订阅。
  • 🧠 高级推理 --采用混合思维模式的Qwen3-30B MoE(30.5B参数,3.3B活动)
  • 📚 混合RAG搜索 --比纯矢量搜索(密集+稀疏检索)更好地查找信息
  • 🤖 多智能体群 --DyTopo协调将复杂任务路由到协作的专业代理,并可选择RAG上下文预取以进行域接地
  • 🛡️ 可靠性强化 --检查点崩溃恢复、拒绝优先策略执行、确定性输出验证、僵局检测
  • 🛠️ 8台MCP服务器 --记忆知识图、网络搜索、文件操作、顺序思维、RAG搜索、多智能体群、系统诊断
  • 🐋 Docker第一架构 --一个命令来启动/停止一切。自动重启。零网络麻烦。
  • 💬 任何LLM UI --用于聊天、文档问答和工作区管理的干净界面

适用于:

  • 需要AI协助处理专有代码库的工程师
  • 处理敏感文件(法律、医疗、财务)的研究人员
  • 有隐私意识的用户,他们希望ChatGPT级别的功能没有云依赖性
  • 开发人员使用持久内存和多代理协作构建自定义AI工作流程

为什么AnyLoom vs Cloud AI或单一LLM设置?

AnyLoom · 云AI(ChatGPT,克劳德) · 单本地LLM
隐私 · ✅ 100%本地零遥测 · ❌ 你的数据训练他们的模型 · ✅ 本地
成本 · ✅ 一次性硬件投资 · ❌ $每月订阅20-200次 · ✅ 安装后免费
检索质量 · ✅ 混合密集+稀疏RAG · ⚠️ 仅密集嵌入 · ⚠️ 基本或无RAG
多智能体群 · ✅ DyTopo路由,3-5个代理 · ❌ 每个请求一个型号 · ❌ 单一型号
持久内存 · ✅ 跨会话的MCP知识图 · ⚠️ 仅限于对话❌ 无跨会话内存
工具生态系统 · ✅ 8台MCP服务器(RAG、swarm、web、内存、文件、诊断) · ⚠️ 有限,云门控 · ❌ 手动集成
上下文窗口 · ✅ 131K令牌(可配置) · ⚠️ 128K(昂贵层) · ⚠️ 因型号而异
离线使用 · ✅ 功能齐全 · ❌ 需要互联网 · ✅ 功能齐全

底线是: 如果您需要ChatGPT级别的功能来处理敏感工作,AnyLoom可以为您提供几乎相同的智能,而无需进行隐私权衡或订阅成本。


🌐 运作原理

AnyLoom作为 Docker编写堆栈 通过这些服务:

  • Qdrant (端口6333)——混合密集+稀疏RAG的矢量数据库
  • llama.cpp法学硕士 (端口8008)——具有131K上下文的GPU加速推理(Qwen3-30B-A3B)
  • llama.cpp嵌入 (端口8009)——用于AnythingLLM(1024个暗密集向量)的BGE-M3嵌入服务器
  • 万物皆可LLM (端口3001)——用于聊天和文档管理的Web UI
  • DyTopo蜂群 (Python,本机运行)——具有刺激能量跟踪感知路由的多代理编排
  • 健康监测器 (Python sidecar)——具有自动重启和崩溃窗口保护的确定性健康检查
  • 8台MCP服务器 --RAG搜索、DyTopo swarm、内存图、网络搜索、文件操作、系统诊断等

一切从一个命令开始。 Docker处理网络、GPU访问、自动重启和数据持久性。

组件 令牌
代币总预算 13.1万
系统提示 ~2K
MCP工具定义(6个AnythingLLM+2个代理) ~3K
RAG代码片段(16×~500个令牌) ~8K
聊天记录(30条消息) ~12K
间接费用小计: ~25K
剩余时间聊天 ~106K

整个RAG提示集完全符合令牌限制。上下文长度是可配置的(默认值为131K)。Q4_K_M模型的权重约为18.6 GiB,为32GB GPU上的KV缓存留出了充足的空间。看 docs/llm-engine.md 有关VRAM预算的详细信息。

> ✅ 在单个GPU上运行(需要32GB+VRAM;针对RTX 5090进行了优化)


🛠️ 先决条件

您需要的一切:

组件 要求
Docker 桌面版 v24.0+已启用WSL2集成和GPU支持
英伟达GPU RTX 4090/5090或类似版本(对于完整的131K上下文,建议使用32GB VRAM。24GB GPU可以在减少上下文的情况下运行。)
NVIDIA驱动程序 535+(支持CUDA 12)
python 3.10+(用于基准测试和DyTopo脚本)
磁盘空间 型号和数据约100GB

> Docker处理一切: Qdrant、llama.cpp(LLM+嵌入)和AnythingLLM作为容器运行。无需手动WSL设置或服务管理!


🚀 快速入门

1.克隆和下载模型```bash

git clone
cd AnyLoom

Download models

mkdir -p models
pip install huggingface_hub

LLM model — Qwen3-30B-A3B Q4_K_M (~18.6 GB, GPU)

huggingface-cli download Qwen/Qwen3-30B-A3B-Instruct-2507-GGUF \
Qwen3-30B-A3B-Instruct-2507-Q4_K_M.gguf \
--local-dir models

Embedding model — BGE-M3 Q8_0 (~605 MB, GPU)

huggingface-cli download ggml-org/bge-m3-Q8_0-GGUF \
bge-m3-q8_0.gguf \
--local-dir models


> **已经有法学硕士GGUF了吗?** Symlink而不是重新下载:
> `ln -s ~/.lmstudio/models/lmstudio-community/Qwen3-30B-A3B-Instruct-2507-GGUF/Qwen3-30B-A3B-Instruct-2507-Q4_K_M.gguf models/`

### 2.启动Docker堆栈```bash
# One command starts everything (creates volumes, checks model, waits for health)
bash scripts/docker_start.sh

# Or manually (must create volumes first)
docker volume create anyloom_qdrant_storage
docker volume create anyloom_anythingllm_storage
docker volume create anyloom_anythingllm_hotdir
docker compose up -d

启动大约需要2分钟 而llama.cpp将模型加载到GPU VRAM中。随着提示缓存的预热,第一次查询可能需要额外的1-2分钟。

3.配置AnythingLLM

  1. 打开 http://localhost:3001 并完成初始设置向导(密码、首选项)。API将被锁定,直到完成此操作为止。
  2. 然后运行自动配置:```bash
    python scripts/configure_anythingllm.py

这将配置AnythingLLM系统默认值(LLM提供程序、最大令牌、BGE-M3嵌入、向量DB、块大小/重叠、默认系统提示),创建AnyLoom工作区,上传和嵌入来自的RAG参考文档 `rag-docs/anythingllm/` 将调整后的工作区设置推送到工作区的向量存储中,并运行冒烟测试。重新运行脚本是安全的——它跳过已经上传和嵌入的文档。

### 4.访问服务

- **LLM用户界面:** http://localhost:3001
- **调用.cpp LLM API:** http://localhost:8008/v1/models
- **llama.cpp嵌入API:** http://localhost:8009/v1/embeddings
- **Qdrant仪表板:** http://localhost:6333/dashboard

### 5.运行基准测试(可选)```bash
# Install Python dependencies first
pip install -r requirements-dytopo.txt

# Test the full stack (all 6 phases)
ANYTHINGLLM_API_KEY=your-key python scripts/benchmarks/bench_run_all.py

# Or test just llama.cpp directly (no AnythingLLM needed)
ANYTHINGLLM_API_KEY=your-key python scripts/benchmarks/bench_phase5_llm.py

第5阶段直接验证llama.cpp——制造防护、工具边界感知和深度校准。当前得分: 15/20 (75%) 在制造防护、对抗性、跨工作空间奇偶性、深度稳定性和LLM直接验证方面取得了完美的成绩。看 基准测试结果 获得满分。


🔧 管理命令```bash

View logs

bash scripts/docker_logs.sh llm # llama.cpp only
bash scripts/docker_logs.sh anythingllm # AnythingLLM only
docker compose logs -f # All services

Stop services

bash scripts/docker_stop.sh

Or: docker compose down

Restart a specific service

docker compose restart llm

Check status

docker compose ps

Start the health monitor sidecar (optional, runs alongside Docker)

python scripts/health_monitor.py

Remove everything including data (⚠️ DESTRUCTIVE)

docker compose down -v


______________________________________________________________________

## 📚 文档

> **从这里开始:** `INSTALL.md` --基于Docker的安装指南(repo root)

参考文件 `docs/`:

|文档|内容|
|----------|----------|
| `architecture.md` |系统拓扑、VRAM预算、端口分配|
| `llm-engine.md` |llama.cpp Docker容器配置、GPU设置、故障排除|
| `qwen3-model.md` |Qwen3-30B-A3B MoE架构、量化、采样|
| `bge-m3-embedding.md` |BGE-M3嵌入架构(用于MCP RAG的ONNX INT8 CPU+用于AnythingLLM的llama.cpp GGUF,1024个密集矢量)|
| `qdrant-topology.md` |Qdrant Docker容器、集合模式、同步|
| `qdrant-servers.md` |MCP服务器清单、工具定义、令牌预算|
| `dytopo-swarm.md` |DyTopo多代理路由、包架构、域、生命周期|
| `anythingllm-settings.md` |任何LLM Docker容器、提供程序配置、工作区设置|
| `benchmark-results-showcase.md` |所有轮次的基准结果|

### DyTopo软件包(`src/dytopo/`)

|模块|目的|
|--------|---------|
| `models.py` |Pydantic v2数据模型(AgentState、带RAG上下文字段的SwarmTask、SwarmMetrics等)|
| `config.py` |具有默认值的YAML配置加载器(`dytopo_config.yaml`) |
| `agents.py` |系统提示、JSON模式、域名册|
| `router.py` |MiniLM-L6-v2嵌入、余弦相似性、阈值、度上限、意图嵌入富集、描述符分离验证、用于流形投影路由的可选HyDE(假设文档嵌入)|
| `stigmergic_router.py` |跟踪感知拓扑:Qdrant持久化群体跟踪,时间衰减增强矩阵|
| `graph.py` |NetworkX DAG构造、循环打破、拓扑排序|
| `orchestrator.py` |主集群循环带单例推理客户端,Aegean终止,内存持久;通过受保护的导入集成检查点、策略、验证器、僵局模块|
| `governance.py` |收敛检测、停滞检测、重新授权、爱琴海共识投票、多面手回退的僵局检测|
| `checkpoint.py` |用于崩溃恢复的CheckpointManager——原子写入、Pydantic v2序列化、从上一个良好检查点恢复|
| `policy.py` |PolicyEnforcer(PCAS Lite)——通过路径遍历预防拒绝首次工具调用策略执行|
| `verifier.py` |用于确定性输出验证的OutputVerifier——语法检查、模式验证,无LLM|
| `audit.py` |JSONL审计日志记录到 `~/dytopo-logs/{task_id}/` |
| `health/checker.py` |LLM、Qdrant、AnythingLLM、GPU的预运行健康探测器|
| `memory/writer.py` |运行后群集结果持久化到结构化存储|

### 支持服务

|组件|目的|
|-----------|---------|
| `src/mcp_servers/system_status_mcp.py` |FastMCP服务器:6个诊断工具(service_health、qdrant_collections、gpu_status、llm_slots、docker_status、stack_config)|
| `scripts/health_monitor.py` |独立sidecar:定期健康检查,通过自动重启 `docker restart`、崩溃窗口保护(3次尝试/15min)、JSONL日志记录|
| `scripts/visualize_trace.py` |CLI跟踪可视化工具:从audit.jsonl日志生成Mermaid流程图和自包含的HTML时间线,具有循环/停滞检测功能|

______________________________________________________________________

## 🔄 数据和持久性

- **Docker卷** (在重启过程中保持不变):

- `anyloom_qdrant_storage` --矢量数据库
- `anyloom_anythingllm_storage` --LLM工作区
- `anyloom_anythingllm_hotdir` --LLM文档收集器

- **主机绑定装载:**

- `./models/` --GGUF模型文件(总计约19.2 GB)。LLM模型(~18.6 GB)+嵌入模型(~605 MB)。在开始之前,请将这两个文件放在此处。

- **文件系统访问:** 所有配置文件和Python脚本都是本地的

- **型号更新:** 替换中的GGUF文件 `./models/` 并重新启动: `docker compose restart llm`

- **RAG重新索引:** 重新运行 `python scripts/configure_anythingllm.py` (幂等)或通过AnythingLLM UI重新嵌入文档```bash
# View volumes
docker volume ls | grep anyloom

# Backup a volume
docker run --rm -v anyloom_qdrant_storage:/data -v $(pwd):/backup ubuntu tar czf /backup/qdrant_backup.tar.gz /data

# Remove all data (⚠️ DESTRUCTIVE)
docker compose down -v

> ✅ 您现在正在运行下一代完全本地的AI代理堆栈。
> 立即开始使用AnyLoom进行创建、查询和编排。

常见问题

7 问
答案由本站依据条目字段整理,不引用上游原文
Anyloom Anythingllm Local AI Agentic Dytopo Swarm 怎么安装?

在客户端按下面的安装命令接入:pip install huggingface_hub。装完在客户端配置里引用同一个包或端点。

Anyloom Anythingllm Local AI Agentic Dytopo Swarm 怎么在客户端里配置?

它的传输方式未标注,在客户端 MCP 配置里按官方文档填写启动命令和参数,保存后重启客户端生效。

Anyloom Anythingllm Local AI Agentic Dytopo Swarm 收费吗?

本站不代收费用,也没有标注具体价格。是否收费取决于服务本身和背后的接口额度,正式使用前按官方说明确认。

Anyloom Anythingllm Local AI Agentic Dytopo Swarm 需要 API Key 吗?

资料标注为无需认证,装好就能连;如果实际调用时报鉴权错误,按官方文档补上凭据。

Anyloom Anythingllm Local AI Agentic Dytopo Swarm 能提供哪些能力?

资料显示约 7 个工具;能力标签包括 本地AI、隐私保护、Python、AI代理。具体工具清单以官方文档为准。

Anyloom Anythingllm Local AI Agentic Dytopo Swarm 需要什么运行环境?

属于本地进程,需要在本机装好运行环境。

Anyloom Anythingllm Local AI Agentic Dytopo Swarm 是本地还是远程?

它是本地进程(stdio),由客户端在本机拉起。传输方式为stdio · 本地进程。

热门专题

按标签挑服务器
全部专题 →

服务器信息以作者仓库与官方文档为准;分类、传输方式与鉴权方式的中文说明为中文整理,最近核验 2026-05-17。