llama-server MCP proxy

MCPAI代理

提供方 extopico

AI代理 未标注 无需鉴权 社区 / 第三方

一个Node.js代理服务,用于增强llama-server的聊天完成请求,通过Model Context Protocol (MCP)集成工具能力,支持多轮工具调用和流式响应。

一句话选型结论

按资料字段整理

llama-server MCP proxy 属于AI代理类 MCP 服务器,传输方式未标注,无需鉴权,没有现成安装命令,需按官方文档接入。接入前先确认权限范围;涉及写入、删除或付款的操作,建议先在测试环境验证。

分类AI代理 传输方式未标注 鉴权无需鉴权 部署方式未标注
GitHub 星标 19 仓库热度,无公开仓库时显示未标注
工具数 未标注 暴露给模型的工具数量
资源 / 提示词 0 / 0 资源与提示词模板数量
维护方 社区 / 第三方 核验等级 仅资料核对

工具与能力

AI代理
数量来自来源目录的标注,具体工具清单以官方文档为准
工具数量未标注暴露给模型可调用的工具个数
资源数量0可读取的资源条目
提示词数量0内置提示词模板数量

能力标签

适用场景

LLM代理JavaScript本地部署工具集成MCP协议流式响应动态提示

安装与配置

未标注 无需鉴权
上游未给出传输方式
  1. 1
    准备运行环境

    按官方文档确认运行环境(常见为 Node.js 或 Python),装好后再执行安装命令。

  2. 2
    安装服务

    复制上面的安装命令执行;命令里带占位符的位置,换成自己的密钥或路径。

  3. 3
    写入客户端配置

    在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,让新配置生效。

  4. 4
    验证是否可用

    连接成功后随便调一个只读工具,确认能返回结果,再接入正式流程。

典型使用场景

3 类
按分类与标签整理的常见用法,具体以官方文档为准
给代理接外部能力

让代理在任务中途调用搜索、数据库等真实工具。

多步任务编排

把一串操作拆成步骤,由代理按顺序执行。

自动化重复流程

把固定流程交给代理跑,减少手工操作。

选择建议

选之前先看这几条
按条目字段给出的判断,不替你决定用不用

值得选的地方

  • 资料标注无需鉴权,装好就能连。

先想清楚的地方

  • 没有现成安装命令,需要按官方文档自己填启动命令和参数。
  • 资料没标注工具数量,实际能力要装好后确认。
  • 版本更新与行为细节以官方仓库为准。

更适合

  • 需要在AI代理场景里让模型直接调用外部能力的人。
  • 想先快速试一下、能接受在本地或自有环境跑服务的人。

不太适合

  • 需要厂商级 SLA 和技术支持的生产环境。

同类对比

6 个同类
同分类里挑最接近的几条,字段以各自详情页为准
MCP 服务器工具数传输方式部署方式安装命令最后核验
llama-server MCP proxy当前 未标注 未标注 未标注 无 2026-05-17
Filesystem 560c4363 13 未标注 本地部署 无 2026-05-17
Server Everything (everything) 11 stdio · 本地进程 本地部署 有 2026-05-17
Time 7365cb6d 2 SSE · 服务端推送 远程部署 有 2026-05-18
Everything Claude Code 未标注 stdio · 本地进程 本地部署 有 2026-05-17
Openmemory 557e1585 未标注 stdio · 本地进程 本地部署 有 2026-05-17

服务器档案

AI代理
字段来自项目仓库与公开索引,中文说明由本站标注
提供方extopico上游标注的维护方 extopico
分类AI代理本站按上游分类展示
连接方式未标注上游未给出传输方式
鉴权方式无需鉴权远程服务建议用最小权限凭据
维护方社区 / 第三方核验等级 仅资料核对
包名 / 运行时未标注 · 未标注本地安装时用到的包标识与运行时
部署类型未标注上游给出的部署形态
最近核验2026-05-17上游最后核验时间

详细介绍

8.7 KB
来自项目仓库与上游目录的原文,未做删改

呼叫服务器MCP代理

此Node.js应用程序充当以下对象的代理服务器 llama-server其主要目的是拦截聊天完成请求,通过模型上下文协议(MCP)用工具功能增强它们,并允许语言模型(LLM)迭代使用这些工具。

它代表标准 llama-server GUI请求(如获取主页)直接发送到本地 llama-server 实例和具体流程 /v1/chat/completions 请求启用工具交互。

当前状态

  • 勇敢的搜索工作
  • search1 API作品
  • 文件系统访问存在问题,具体取决于所使用的模型
  • 操纵者

主要特点

  • MCP工具集成: 连接到中定义的MCP兼容工具服务器 mcp-config.json.
  • 动态系统提示: 自动生成一个系统提示,列出可用工具及其描述,并将其注入LLM的上下文中。
  • 迭代工具使用: 允许LLM在单个用户回合中进行多个工具调用。代理处理请求-响应流:
    1. LLM表示工具调用。
    1. 代理检测并解析工具调用。
    1. 代理通过相应的MCP客户端执行该工具。
    1. 代理将工具的结果发送回LLM。
    1. LLM使用结果继续其响应或调用另一个工具。
  • 流媒体支持: 维护向客户端发送的LLM响应(服务器发送事件)的流式传输,包括“[执行工具…]”等中间消息和工具结果。
  • 错误处理: 转发来自的错误 llama-server 并向LLM和客户端提供工具执行失败的错误消息。法学硕士将分析错误并尝试找到可行的方法。
  • 可配置: 使用端口的环境变量, llama-server URL和MCP配置路径。
  • 调试日志记录: 通过环境变量进行可选的详细调试日志记录。

先决条件

  • Node.js: 版本18或更高(如所示 @modelcontextprotocol/sdk 依赖关系)。
  • llama-server: 正在运行的实例 llama-server (或兼容的类似OpenAI的API端点)。
  • MCP工具服务器: 您希望LLM访问的一个或多个MCP兼容工具服务器。

设置

  1. 克隆存储库(或创建项目目录):```bash

If you have a git repository:

git clone

cd llama-server_mcp_proxy

If starting from scratch, create a directory and navigate into it:

mkdir llama-server_mcp_proxy
cd llama-server_mcp_proxy


1. **创建 `package.json`:**
如果你没有,创建一个 `package.json` 包含以下内容的文件:```json
{
"name": "llama-server-mcp-proxy",
"version": "1.0.0",
"description": "A proxy for llama-server to enable MCP tool usage.",
"main": "llama-server-mcp-proxy.js",
"scripts": {
"start": "node llama-server-mcp-proxy.js"
},
"dependencies": {
"@modelcontextprotocol/sdk": "^1.8.0"
}
}
  1. 安装依赖关系:
    在项目目录中运行以下命令以安装必要的软件包:```bash
    npm install

这将使用您的 `package.json` (以及 `package-lock.json` 如果存在且一致)安装 `@modelcontextprotocol/sdk`.

1. **创建 `mcp-config.json`:**
此文件告诉代理如何连接到MCP工具服务器。它应该与您的代理脚本位于同一目录中(例如。, `llama-server-mcp-proxy.js`)默认情况下,或者您可以通过指定其路径 `MCP_CONFIG_PATH` 环境变量。

作为一个现成的快速入门示例,重命名 `mcp-config.json.example` 向 `mcp-config.json`

**`mcp-config.json.example`:**```json
{
"mcpServers": {
"search1api": {
"command": "npx",
"args": [
"search1api-mcp",
"--port",
"0",
"--api-key",
"YOUR_SEARCH1API_KEY_PLACEHOLDER"
],
"env": {
"DEBUG": "true"
}
},
"another_tool_server": {
"command": "path/to/your/tool/server/executable",
"args": [
"--some-config-for-tool", "value",
"--api-key", "ANOTHER_API_KEY_PLACEHOLDER"
],
"env": {}
}
}
}
  • mcpServers:一个对象,其中每个键都是您的工具服务器的唯一名称(例如,“search1api”、“my_custom_tools”)。
  • command:启动MCP工具服务器的命令。这可能是 npx 对于npx可运行包,指向可执行文件或脚本的直接路径。
  • args:要传递给命令的参数数组。
  • --port 0 通常用于让MCP服务器为stdio通信选择可用端口。
  • 替换 YOUR_SEARCH1API_KEY_PLACEHOLDER 以及具有实际API密钥或必要配置的其他占位符。
  • env:为MCP服务器进程设置的环境变量的可选对象。

创建您的实际 mcp-config.json 通过复制示例并填充真实的API键和路径。

  1. 添加 mcp-config.json 向 .gitignore:
    为了防止意外提交敏感的API密钥,请创建或更新 .gitignore 项目根目录中的文件:```
    node_modules/
    mcp-config.json
    *.log

Add other files/directories you want to ignore


1. **保存代理代码:**
将前面步骤中提供的JavaScript代理代码保存到文件中, `llama-server-mcp-proxy.js` (如参考 `package.json`).

## 运行代理

1. **确保 `llama-server` 正在运行。**
代理需要连接到它。默认情况下,它假定 `llama-server` 是在 `http://localhost:8080`.

1. **启动代理服务器:**
在项目目录中打开终端并运行:```bash
npm start

或者直接使用Node:```bash
node llama-server-mcp-proxy.js


您应该看到控制台输出,指示代理已启动,它连接到哪些MCP服务器,以及可用的工具。

1. **配置环境变量(可选):**
您可以使用环境变量自定义代理的行为:

- `PORT`:代理服务器将侦听的端口(默认值: `9090`).
- `LLAMA_SERVER_URL`:您跑步的URL `llama-server` 实例(默认值: `http://localhost:8080`).
- `MCP_CONFIG_PATH`:通往你的完整道路 `mcp-config.json` 文件(默认值: `./mcp-config.json` 相对于剧本)。
- `MCP_PROXY_DEBUG`:设置为 `true` 用于详细调试日志记录(默认值: `false`).
- `LLAMA_SERVER_TIMEOUT`:请求的超时时间(毫秒) `llama-server` (默认值: `60000`).

示例(Linux/macOS):```bash
PORT=9000 LLAMA_SERVER_URL=http://127.0.0.1:8081 MCP_PROXY_DEBUG=true node llama-server-mcp-proxy.js

示例(Windows PowerShell):```powershell
$env:PORT="9000"; $env:LLAMA_SERVER_URL="http://127.0.0.1:8081"; $env:MCP_PROXY_DEBUG="true"; node llama-server-mcp-proxy.js


## 用法

1. 一旦代理服务器正在运行, **指向您的LLM GUI客户端(例如,您的浏览器正在访问通常与之对话的web UI `llama-server`)发送到代理的地址和端口** (例如。, `http://localhost:9090` 如果代理正在端口9090上运行)。
1. 像往常一样与LLM互动。
1. 当您要求LLM执行可以从配置的工具之一中受益的任务时,它应该:
- 表明其使用工具的意图。
- 以以下格式输出工具调用 `TOOL_NAME(ARG_NAME="ARG_VALUE", ...)` 或者可能是XML格式。
1. 代理人将:
- 检测此工具调用。
- 在流中显示“\[执行工具:tool_NAME…\]”消息。
- 执行工具。
- 在流中显示“\[工具名称的工具结果\]:…RAW_Result…”消息。
- 将结果反馈给LLM。
1. 然后,LLM将使用该工具的结果来制定其最终响应,或决定调用另一个工具。

## 识别工具调用格式

在LLM完成其当前响应段(由表示)后,代理尝试以两种主要格式识别LLM输出中的工具调用 `[DONE]`):

1. **简单功能风格:**```tool_name(param1="value1", param2="value2")

例子: news(query="latest AI research", max_results=3)

  1. XML样式:xml tool_name value1 value2

代理将相应地解析每种格式的参数。

故障排除

  • “工具…在任何连接的MCP服务器中都找不到”:
  • 确保LLM输出的工具名称与代理启动时列出的工具名称(来自MCP服务器)完全匹配。
  • 检查你的 mcp-config.json 用于工具服务器命令或配置中的拼写错误。
  • 验证您的MCP工具服务器是否正确启动并成功注册其工具。启动代理时,检查其控制台输出是否有连接消息。
  • 代理错误/ llama-server 错误(500、502等):
  • 确保 llama-server 正在运行,可在 LLAMA_SERVER_URL.
  • 检查 llama-server的日志记录任何问题。
  • 启用 MCP_PROXY_DEBUG=true 从代理获取更详细的日志。
  • 工具执行错误(例如,“402需要付款”):这些错误来自MCP工具服务器本身。代理将向LLM报告这些情况,LLM最好尝试不同的方法或通知您。
  • “插座挂断”/ ECONNRESET:如果发生以下情况,可能会出现这种情况 llama-server 意外关闭连接。如果代理发送格式错误的请求(例如,不正确的JSON结构、有问题的标头),或者 llama-server 它本身会遇到内部错误。来自代理和 llama-server 至关重要。

依赖项

  • @modelcontextprotocol/sdk:版本 ^1.8.0 (及其传递依赖关系如所列 package-lock.json).

常见问题

5 问
答案由本站依据条目字段整理,不引用上游原文
llama-server MCP proxy 怎么安装?

资料没有给出安装命令,请到官方仓库或文档按说明接入;这类条目多数是生态应用,或尚未发布可安装包。

llama-server MCP proxy 怎么在客户端里配置?

它的传输方式未标注,在客户端 MCP 配置里按官方文档填写启动命令和参数,保存后重启客户端生效。

llama-server MCP proxy 收费吗?

本站不代收费用,也没有标注具体价格。是否收费取决于服务本身和背后的接口额度,正式使用前按官方说明确认。

llama-server MCP proxy 需要 API Key 吗?

资料标注为无需认证,装好就能连;如果实际调用时报鉴权错误,按官方文档补上凭据。

llama-server MCP proxy 能提供哪些能力?

资料显示能力标签包括 LLM代理、JavaScript、工具集成。具体工具清单以官方文档为准。

热门专题

按标签挑服务器
全部专题 →

服务器信息以作者仓库与官方文档为准;分类、传输方式与鉴权方式的中文说明为中文整理,最近核验 2026-05-17。