SpeechToSpeech
> 来源: https://github.com/huggingface/speech-to-speech | 马维斯化技能
概述
低延迟、全模块化语音 Agent 管线：VAD → STT → LLM → TTS，通过 OpenAI Realtime 兼容的 WebSocket API 暴露。每个组件都可替换。已在数千台 Reachy Mini 机器人上生产运行。
管线架构
音频输入 → VAD (语音活动检测) → STT (语音转文本)
→ LLM (大语言模型) → TTS (文本转语音) → 音频输出
快速开始
pip install speech-to-speech
export OPENAI_API_KEY=...
speech-to-speech serve
启动后服务监听 ws://localhost:8765/v1/realtime，使用 Parakeet TDT 做本地 STT，OpenAI 兼容 LLM，Qwen3-TTS 做本地语音输出。
核心特性
| 特性 | 说明 |
|---|---|
| 全模块可替换 | VAD / STT / LLM / TTS 每个环节独立可选 |
| OpenAI Realtime 兼容 | 可直接替换 OpenAI Realtime 端点 |
| 完全本地运行 | 搭配 vLLM 或 llama.cpp 可实现全离线 |
| 生产级验证 | 已部署在数千台 Reachy Mini 机器人上 |
端点切换
将 OpenAI Realtime 客户端端点从 api.openai.com 切换到自托管 ws://localhost:8765/v1/realtime，无需修改客户端代码。组件灵活选择：LLM 可用托管服务或本地服务器，TTS 可本地或远程。
