voicelayer (Etan Hey)

MCP音视频

提供方 EtanHey

音视频 未标注 Token 社区 / 第三方 ClaudeCursor

VoiceLayer是一个本地优先的开源语音交互服务,为AI编码助手提供语音输入输出功能,适用于需要快速语音交互的开发场景。

一句话选型结论

按资料字段整理

voicelayer (Etan Hey) 属于音视频类 MCP 服务器,传输方式未标注,Token,可直接接入 Claude、Cursor,没有现成安装命令,需按官方文档接入。接入前先确认权限范围;涉及写入、删除或付款的操作,建议先在测试环境验证。

分类音视频 传输方式未标注 鉴权Token 部署方式未标注
GitHub 星标 2 仓库热度,无公开仓库时显示未标注
工具数 11 暴露给模型的工具数量
资源 / 提示词 0 / 0 资源与提示词模板数量
维护方 社区 / 第三方 核验等级 仅资料核对

工具与能力

音视频
数量来自来源目录的标注,具体工具清单以官方文档为准
工具数量11暴露给模型可调用的工具个数
资源数量0可读取的资源条目
提示词数量0内置提示词模板数量

能力标签

支持客户端

适用场景

语音交互TypeScript本地部署AI助手本地处理开源工具语音转录语音识别

安装与配置

未标注 Token
上游未给出传输方式
  1. 1
    准备运行环境

    按官方文档确认运行环境(常见为 Node.js 或 Python),装好后再执行安装命令。

  2. 2
    安装服务

    复制上面的安装命令执行;命令里带占位符的位置,换成自己的密钥或路径。

  3. 3
    写入客户端配置

    在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,让新配置生效。

  4. 4
    验证是否可用

    连接成功后客户端会列出约 11 个工具,随便调一个只读工具确认能返回结果。

典型使用场景

3 类
按分类与标签整理的常见用法,具体以官方文档为准
转写与字幕

把音视频转成文字和字幕。

音视频处理

裁剪、转码、拼接素材。

内容分发

把成品发到对应平台。

选择建议

选之前先看这几条
按条目字段给出的判断,不替你决定用不用

值得选的地方

  • 资料标注 11 个工具,覆盖面较广,能满足多种调用。
  • 已适配 Claude、Cursor,换客户端不用重新研究配置。

先想清楚的地方

  • 没有现成安装命令,需要按官方文档自己填启动命令和参数。
  • 使用前要准备好Token对应的凭据,并按最小权限配置。
  • 版本更新与行为细节以官方仓库为准。

更适合

  • 需要在音视频场景里让模型直接调用外部能力的人。
  • 已经在用 Claude、Cursor 的用户,接入路径最短。
  • 想先快速试一下、能接受在本地或自有环境跑服务的人。

不太适合

  • 不方便管理密钥或第三方授权的人。
  • 需要厂商级 SLA 和技术支持的生产环境。

同类对比

6 个同类
同分类里挑最接近的几条,字段以各自详情页为准
MCP 服务器工具数传输方式部署方式安装命令最后核验
voicelayer (Etan Hey)当前 11 未标注 未标注 无 2026-05-17
Ableton MCP B7b69a6a 16 stdio · 本地进程 本地部署 有 2026-05-17
Mini Max MCP 8 SSE · 服务端推送 远程部署 有 2026-05-18
LocalAI 未标注 stdio · 本地进程 本地部署 有 2026-04-11
Youtube E0eb3510 未标注 stdio · 本地进程 本地部署 有 2026-05-17
Voicemode MCP 未标注 stdio · 本地进程 本地部署 有 2026-05-17

服务器档案

音视频
字段来自项目仓库与公开索引,中文说明由本站标注
提供方EtanHey上游标注的维护方 EtanHey
分类音视频本站按上游分类展示
连接方式未标注上游未给出传输方式
鉴权方式Token远程服务建议用最小权限凭据
维护方社区 / 第三方核验等级 仅资料核对
包名 / 运行时未标注 · 未标注本地安装时用到的包标识与运行时
部署类型未标注上游给出的部署形态
最近核验2026-05-17上游最后核验时间

详细介绍

14.2 KB
来自项目仓库与上游目录的原文,未做删改

语音层

> 你的AI代理听不见你的声音。VoiceLayer赋予它耳朵和声音。

AI编码助手的语音输入/输出。 按F5,与Claude Code对话,在1.5秒内完成设备转录。你的AI会回应。适用于任何MCP客户端。```
You ──🎤──> whisper.cpp ──> Claude Code ──> edge-tts ──🔊──> You
STT (local) MCP tools TTS (free)


**本地优先。免费。开源。** 没有云API,没有API密钥,没有数据离开您的机器。部分 魔像 生态系统。

**网站** · **文档** · **npm**

VoiceLayer作为Unix套接字上的持久单例守护进程运行——每个Claude会话都通过轻量级的 `socat` shim而不是生成自己的进程。11个MCP工具 工具注释.

## 建筑```
┌─────────────────────────────────────┐
│         VoiceLayer Daemon            │
│     /tmp/voicelayer-mcp.sock         │
│                                      │
│  MCP JSONRPC ──> Tool Handlers       │
│  (Content-Length     ├── voice_speak  │
│   framing)          └── voice_ask    │
│                                      │
│  TTS: edge-tts (retry + 30s timeout) │
│  STT: whisper.cpp / Wispr Flow       │
│  VAD: Silero ONNX (speech detection)  │
│  IPC: Voice Bar ← NDJSON events      │
└──────────┬──────────────────────────┘
│ Unix socket
┌──────────────┼──────────────┐
│              │              │
Claude Code    Claude Code    Cursor/Codex
(socat shim)  (socat shim)   (socat shim)

为什么是守护进程? 原始设计在每次Claude会话中都产生了一个新的Bun过程。随着17个以上的存储库打开,这意味着17个相互竞争的进程(700+MB RAM),争夺一个语音栏套接字,因PATH问题导致边缘tts崩溃,并留下从未死亡的孤儿。PR#67-72中提供的守护进程架构用一个进程取代了所有这些 socat 垫片。

度量 之前(每个会话生成) 之后(守护进程)
进程 N个/会话(17+典型) 1个守护进程+socat-shims
RAM 约700 MB(17 x 41 MB) 约50 MB
孤儿清理 手动 pkill PID锁文件自动终止过时
edge-tts失败 随机(PATH,争用) 在30秒硬超时后重试
voice_ask挂起 最长300秒(5分钟!) 默认30秒+外护

快速开始```bash

Install from npm

bun add -g voicelayer-mcp

Prerequisites

brew install sox socat
pip3 install edge-tts
brew install whisper-cpp # optional — local STT

Download a whisper model (recommended)

mkdir -p ~/.cache/whisper
curl -L -o ~/.cache/whisper/ggml-large-v3-turbo.bin \
https://huggingface.co/ggerganov/whisper.cpp/resolve/main/ggml-large-v3-turbo.bin


或者从源代码安装:```bash
git clone https://github.com/EtanHey/voicelayer.git
cd voicelayer && bun install

启动守护进程```bash

Option A: LaunchAgent (auto-start on login, auto-restart on crash)

./launchd/install.sh

Option B: Manual

bun run src/mcp-server-daemon.ts


### 禁用VoiceLayer

`DISABLE_VOICELAYER=1` 是MCP守护进程的硬终止开关。```bash
# Install the LaunchAgent in a disabled state and sync the runtime daemon flag
DISABLE_VOICELAYER=1 ./launchd/install.sh

# Or edit the template-generated plist and add:
# DISABLE_VOICELAYER
# 1

如果守护进程已在运行,请创建 /tmp/.voicelayer-daemon-disabled 它将在5秒内关闭。 ./launchd/install.sh 还使该文件与保持同步 DISABLE_VOICELAYER,因此VoiceBar启动的守护程序也保持禁用状态。要重新启用它,请从中删除env变量 ~/Library/LaunchAgents/com.voicelayer.mcp-daemon.plist,删除 /tmp/.voicelayer-daemon-disabled 如果存在,则重新启动代理:```bash
launchctl kickstart -k "gui/$(id -u)/com.voicelayer.mcp-daemon"


### 配置MCP客户端

添加到您的 `.mcp.json` (在任何使用Claude Code的仓库中):```json
{
"mcpServers": {
"voicelayer": {
"command": "socat",
"args": ["STDIO", "UNIX-CONNECT:/tmp/voicelayer-mcp.sock"]
}
}
}

或者一次迁移所有存储库:```bash
bash scripts/migrate-to-daemon.sh # migrates every .mcp.json under ~/Gits
bash scripts/migrate-to-daemon.sh --dry-run # preview without changes


允许麦克风访问您的终端(macOS:系统设置>隐私>麦克风)。

## 语音工具

### 主要工具

|工具|行为|阻塞|只读|破坏性|幂等|
|------|----------|:--------:|:--------:|:-----------:|:----------:|
| **`voice_speak`** |TTS具有自动模式(宣布/简报/咨询/思考)、回放、切换|否|假|假|真|
| **`voice_ask`** |说出问题+录制麦克风+转录响应|是|假|假|假的|

### 向后兼容别名

别名 · 映射到 · 幂等
`qa_voice_announce` · `voice_speak(mode='announce')` · 真的
`qa_voice_brief` · `voice_speak(mode='brief')` · 真的
`qa_voice_consult` · `voice_speak(mode='consult')` · 真的
`qa_voice_say` · `voice_speak(mode='announce')` · 真的
`qa_voice_think` · `voice_speak(mode='think')` 错误的
`qa_voice_replay` · `voice_speak(replay_index=N)` · 真的
`qa_voice_toggle` · `voice_speak(enabled=bool)` · 真的
`qa_voice_converse` · `voice_ask` 错误的
`qa_voice_ask` · `voice_ask` 错误的

所有11个工具都包括MCP 工具注释。没有VoiceLayer工具具有破坏性。所有人都有 `openWorldHint: false`.

### voice_ask的工作原理

1. 等待任何游戏 `voice_speak` 音频结束
1. 通过边缘tts回答问题(失败后重试)
1. 以设备本机速率录制麦克风,重新采样至16kHz
1. Silero VAD检测语音开始和静音结束
1. whisper.cpp在本地转录(在Apple Silicon上约200-400ms)
1. 将转录返回给AI代理

### 可靠性特征

- **PID锁定文件** (`/tmp/voicelayer-mcp.pid`):启动时,检测并杀死前一个会话中的任何孤立MCP服务器
- **边缘tts重试**:健康检查(缓存60秒)+每次尝试自动重试30秒硬超时
- **外部超时保护**: `Promise.race` 对整个voice_ask流进行包装——如果有任何挂起,则返回错误,而不是永远阻塞
- **会议预订**:锁文件互斥防止并发会话之间的麦克风冲突

### 录音控制

|方法|如何|
|--------|-----|
|停车信号| `touch ~/.local/state/voicelayer/stop-{token}` |
|VAD静音|可配置:快速(0.5秒)、标准(1.5秒)、周到(2.5秒)|
|超时|默认30秒,每次通话可配置5-3600秒|
|推动对话| `press_to_talk: true` --无VAD,仅在信号时停车|

## STT后端

|后端|类型|延迟|设置|
|---------|------|---------|-------|
| **whisper.cpp** |本地(默认)|~200-400ms| `brew install whisper-cpp` +模型下载|
| **Wispr流程** |云(回退)|~500ms+网络|设置 `QA_VOICE_WISPR_KEY` 有人是。

自动检测到。覆盖 `QA_VOICE_STT_BACKEND=whisper · wispr · auto`.

## 语音栏(macOS)

浮动SwiftUI小部件在语音交互过程中提供视觉反馈。通过NDJSON连接到守护进程 `/tmp/voicelayer.sock`.

- 带单词级突出显示和自动滚动的提示器
- 记录过程中的波形可视化
- 可扩展药丸UI——闲置5秒后折叠成点
- 可拖动,位置在发射过程中保持不变
- **全局热键:** F5(按住可按键通话)```bash
bun add -g voicelayer-mcp
voicelayer hotkey install       # Install F5/Dictation -> F18 relay
voicelayer bar                  # Build and launch Voice Bar

热键注释:

  • 需要输入监控权限(系统设置>隐私和安全)
  • 在物理键为苹果听写键的键盘上, voicelayer hotkey install 安装a hidutil LaunchAgent将F5/听写映射到VoiceBar的内部F18中继。
  • 安装程序保留非VoiceBar hidutil 映射,可以安全地重新运行。 Shift+F5 重新粘贴最新的成绩单。

高级:语音克隆

用于克隆语音的三层TTS引擎级联:

  1. XTTS-v2 微调(节奏+音色)
  2. F5-TTS MLX 零样本(本地,无守护进程)
  3. Qwen3-TTS 守护进程(基于HTTP)
  4. 边缘tts 回退(始终可用)```bash
    voicelayer extract # Extract voice samples
    voicelayer clone # Build voice profile
    voicelayer daemon --port 8880 # Run Qwen3-TTS server

Qwen3守护进程现在使用来自的承载身份验证 `~/.voicelayer/daemon.secret`
(在首次使用模式启动时创建 `0600`).TypeScript桥读取
自动生成相同的文件。用以下内容覆盖位置
`VOICELAYER_TTS_DAEMON_SECRET_FILE`,
`VOICELAYER_TTS_AUTH_TOKEN_FILE`,或
`voicelayer daemon --daemon-secret-file ...` 如果你需要一个自定义启动器
路径。守护进程只接受 `Host: 127.0.0.1:8880` /
`Host: localhost:8880`,拒绝非本地 `Origin` 标题,并且只读取
`reference_wav` 在下解析的文件 `~/.voicelayer/voices/`.

## 环境变量

|变量|默认值|描述|
|----------|---------|-------------|
| `QA_VOICE_STT_BACKEND` | `auto` |STT后端: `whisper`, `wispr`,或 `auto` |
| `QA_VOICE_WHISPER_MODEL` |自动检测| whisper.cpp GGML模型的路径|
| `QA_VOICE_WISPR_KEY` |--| Wispr Flow API密钥(云回退)|
| `QA_VOICE_TTS_VOICE` | `en-US-JennyNeural` |边缘tts语音ID|
| `QA_VOICE_TTS_RATE` | `+0%` |基本语音速率|
| `VOICELAYER_TTS_DAEMON_SECRET_FILE` | `~/.voicelayer/daemon.secret` |共享Qwen3守护进程承载秘密文件的首选覆盖|
| `VOICELAYER_TTS_AUTH_TOKEN_FILE` | `~/.voicelayer/daemon.secret` |共享Qwen3守护进程承载秘密文件的向后兼容覆盖|

## 测试```bash
bun test                              # 585 Bun tests + 1 skip (latest verified on PR #190 pre-push gate)
bash flow-bar/run_tests.sh            # 144 Swift tests for VoiceBar
git config core.hooksPath .githooks   # install repo pre-push hook once per clone (#181, #182)

测试范围包括:MCP协议框架、工具处理程序、TTS合成+重试、VAD语音检测、会话预订、进程锁生命周期、套接字客户端重新连接、边缘TTS健康检查、模式验证、希伯来语STT评估基线、守护进程弹性、ToolAnnotations、SSML净化和安全路径强化。

近期硬化(2026-04-27→2026-05-02)

一周的冲刺集中在VoiceBar的可靠性和一个记录语料库上,以对抗STT回归。下面的每一行都指向一个合并的PR。

记录可靠性

  • 录制控件可点击性恢复——F6插座控件在药丸动画期间保持交互式(#188).
  • 调整大小时保留药丸底部锚点,因此UI不会偏离屏幕(#187).
  • 波形在真实音频输入上再次动画化+删除冗余的“收听”副本(#184).
  • 波形动态范围恢复到静音门上方(#185).
  • 支持自定义VoiceBar安装路径(不再硬编码 /Applications/VoiceBar.app) (#186).
  • VoiceBar转录通过录音RMS门保存,因此安静的语音得以保留(#177).
  • 停滞的后台程序重启检测——后台程序重启后,VoiceBar转录会自动恢复(#183).

STT质量

  • 未抑制输入STT幻觉(#189).
  • 零RMS音频摄取监视器在耳语之前捕捉到无声的麦克风。cpp猜测(#178).

VoiceBar听写语料库(第一阶段) — #190

  • 每个成功的VoiceBar听写都存档在 ~/.local/share/voicelayer/recordings/YYYY-MM-DD// 随着 audio.wav + voicelayer-transcript.txt + metadata.json (模式v1,WAV字节上的SHA-256)。
  • 原子重命名+fsync,因此部分写入永远不会出现在语料库中。
  • 取消的或空的转录被跳过——只有真实的听写会放在磁盘上。
  • 重新粘贴热键移动到 Shift+F5;平原 F5 现在是通过VoiceBar的F18中继进行的默认记录启动/停止激活。

测试基础设施

  • VoiceLayer预推回归门(#181)加上exit-0修复成功路径(#182).
  • voicelayer run_tests.sh 编排脚本统一Bun+Swift+守护进程引导+Karabiner烟雾运行(#180).
  • 用于黄金路径STT回归的VoiceBar音频设备(#179).

项目结构```

voicelayer/
├── src/ # TypeScript/Bun (18K lines, 69 files)
│ ├── mcp-server-daemon.ts # Singleton daemon entry point
│ ├── mcp-server.ts # Stdio MCP server (legacy)
│ ├── mcp-daemon.ts # Unix socket server (dual-protocol)
│ ├── mcp-framing.ts # Content-Length + NDJSON framing
│ ├── mcp-handler.ts # JSONRPC request router
│ ├── process-lock.ts # PID lockfile (orphan prevention)
│ ├── handlers.ts # Tool handler implementations
│ ├── tts.ts # Multi-engine TTS with playback queue
│ ├── tts-health.ts # edge-tts health check + retry
│ ├── input.ts # Mic recording + STT pipeline
│ ├── vad.ts # Silero VAD (ONNX inference)
│ ├── stt.ts # STT backend abstraction
│ ├── socket-client.ts # Voice Bar IPC (auto-reconnect)
│ ├── session-booking.ts # Lockfile mutex
│ ├── paths.ts # Centralized path constants
│ └── tests/ # 536 tests across 48 files
├── flow-bar/ # SwiftUI macOS app (1.9K lines, 9 files)
│ ├── Sources/VoiceBar/ # App source
│ └── Tests/ # Swift tests
├── scripts/
│ ├── migrate-to-daemon.sh # Batch .mcp.json migration
│ └── edge-tts-words.py # Word-level TTS with timestamps
├── launchd/ # macOS LaunchAgent auto-start
├── models/ # Silero VAD ONNX model
└── package.json # v2.0.0
```

平台支持

平台 TTS STT 录音 语音栏
macOS edgetts+afplay whisper.cpp(CoreML) sox SwiftUI应用程序
Linux 边缘tts+mpv/ffplay whisper.cpp sox --

傀儡的一部分

VoiceLayer是三个开源MCP服务器之一 魔像 生态系统:

服务器 功能 工具
BrainLayer AI代理的持久内存——知识图+混合搜索 12
语音层 语音输入/输出——本地STT、神经TTS、F5按键通话 11
cmuxLayer 终端编排--生成窗格、读取屏幕、协调代理 22

与BrainLayer配对,记住会话中的语音对话。

许可证

阿帕奇-2.0

常见问题

6 问
答案由本站依据条目字段整理,不引用上游原文
voicelayer (Etan Hey) 怎么安装?

资料没有给出安装命令,请到官方仓库或文档按说明接入;这类条目多数是生态应用,或尚未发布可安装包。

voicelayer (Etan Hey) 怎么在 Claude、Cursor 里配置?

它的传输方式未标注,在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,配置才会生效。

voicelayer (Etan Hey) 收费吗?

本站不代收费用,也没有标注具体价格。是否收费取决于服务本身和背后的接口额度,正式使用前按官方说明确认。

voicelayer (Etan Hey) 需要 API Key 吗?

资料标注需要Token认证,使用前准备好对应凭据,并按最小权限配置。

voicelayer (Etan Hey) 支持哪些客户端?

资料标注支持 Claude、Cursor;其他客户端只要能配置 MCP Server,也能用同样的命令或地址接入。

voicelayer (Etan Hey) 能提供哪些能力?

资料显示约 11 个工具;能力标签包括 本地处理、TypeScript、Claude、开源工具。具体工具清单以官方文档为准。

热门专题

按标签挑服务器
全部专题 →

服务器信息以作者仓库与官方文档为准;分类、传输方式与鉴权方式的中文说明为中文整理,最近核验 2026-05-17。