8G显存跑本地数字人:Voice Companion Bundle 部署与离线语音交互
在8G显存的Windows电脑上,通过WSL2部署Voice Companion Bundle,整合Faster-Whisper、Qwen3-TTS和LiveTalking,实现从语音识别到数字人口型同步的实时交互。教程涵盖本地大模型LM Studio接入及cpolar内网穿透配置,让手机也能远程访问你的私人AI助手。
手里只有一张 8G 显存的显卡,为什么要拿它折腾数字人?
多数 8G 显存显卡的用户,平时只跑一个量化后的大语言模型,对着聊天框敲字。这样用着稳,但少了“面对面”的感觉。把语音识别、大模型推理、语音合成(TTS)和数字人口型驱动串起来,同一块显卡就能搭出一个能听、会说、有形象的本地 AI 伴侣。
本次测试围绕 Voice Companion Bundle 展开。这个整合包针对 Windows + WSL2 环境做了优化,把 Faster-Whisper(语音识别)、
Qwen3-TTS(语音合成)、LiveTalking 与 Wav2Lip(口型驱动)以及大模型接口收进同一套工作流。部署好之后,打开浏览器对着麦克风说话,屏幕上的数字人就会实时回应,口型和声音对得上。
部署分两段走:先接在线 API 把链路跑通,再换成本地 LM Studio 大模型,做到彻底离线。末了用 cpolar 做内网穿透,手机、平板也能远程连上这个数字人。说到底,这不只是看模型能不能跑,而是在有限显存下验证多个 AI 组件一起干活时的低延迟可行性。
Voice Companion Bundle 里都有什么
这套整合包的思路是把复杂的 AI 交互链路拆成模块。它不靠单个巨型模型,而是拿多个专用小模型拼出高效交互。
- 语音识别用的是 Faster-Whisper。跟原始 Whisper 比,它在精度不降的前提下把推理速度拉高了不少,适合实时语音转文字。
- 大模型对话走 OpenAI 兼容接口。后端可以灵活换,DeepSeek、OpenAI 这些在线服务能用,本地跑的 Llama 3、Gemma 等开源模型也能接。
- 语音合成集成了 Qwen3-TTS。它除了把文本转成语音,还支持参考音色克隆——上传一段音频,数字人就能照那个声音说话。
- 数字人驱动结合了 LiveTalking 和 Wav2Lip。前者管流畅的面部表情和头部动作,后者保证唇形跟发音精准对上。
- 一键部署靠的是 PowerShell 脚本:自动配好 WSL2 Ubuntu 环境、装 Python 依赖、下载必要资源,把 Linux 环境配置的门槛压了下来。
模型文件、人物形象、音色样本、聊天记录,所有数据都留在本地,隐私安全有保障。
第一步:在 Windows 上把整合包部署起来
部署主要在 Windows 环境下进行,底层依赖 WSL2(Windows Subsystem for Linux)。
下载整合包先到项目的 GitHub Release 页面,下载最新版 Voice Companion Bundle 压缩包,解压到一个非中文路径的文件夹里,比如
D:\AI\VoiceCompanion。接着执行安装脚本。在解压后的文件夹空白处按住
Shift键点鼠标右键,选“在此处打开 PowerShell 窗口”,输入下面的命令并回车:./setup.ps1第一次运行会自动安装或更新 WSL2 Ubuntu 系统,并建好必要的用户权限。按提示走完,再执行一遍该脚本。
第二次运行脚本时,程序会自动识别显卡型号,推荐合适的算力档位,并挑最快的下载源。之后它自动装 Python 环境、下载 Faster-Whisper 模型、Qwen TTS 资源和数字人基础素材。这一步快慢看网速,可能要花些时间。
填好初始 API Key安装快结束时,终端会提示输入 DeepSeek API Key,目的是先用在线模型确认功能正常。去 DeepSeek 平台申请一个免费或付费的 Key,填进去后脚本会自动启动服务,并默认打开浏览器访问本地页面(通常是
http://localhost:7860)。浏览器里能正常加载出数字人界面,就说明基础环境部署成功了。
第二步:验证语音交互与功能设置
服务起来之后先别急着把模型换成离线的,第一步是确认整条交互链路没有卡点。
麦克风这块,点左上角的设置图标进“音频”选项卡,把输入设备选对。环境吵的话把“噪声门限”往上调一点,免得背景杂音被当成说话,触发误识别。
接着做第一次对话测试。按下【开始】,数字人先播一段欢迎语,这时候盯着它的口型看跟声音对不对得上。然后对着麦克风说一句,比如“你好,今天天气怎么样”。语音先转成文字,交给大模型,回复生成后再转回语音放出来,口型同步驱动。
个性化定制
- 人设:进“助手”页面改系统提示词(System Prompt),数字人的性格、职业、说话风格都从这里定。
- 音色克隆:到“音频”页面上传一段干净的人声录音当参考。Qwen3-TTS 会提取这段音频的特征,让数字人的声音往目标音色靠。
- 换形象:在“形象”页面传真人视频或图片,就能生成新的数字人形象。不过分辨率高的视频吃显存更多,画质参数得按显卡性能来调。
服务提供商配置这一环,在“服务”页面能看到当前接的是 DeepSeek 在线 API。这里同样可以添加其他兼容 OpenAI 接口的服务。下一步要做的,就是把这个后端换成跑在本地的模型。
第三步:使用 LM Studio 部署本地大模型
要让整套流程真正本地化,得在 Windows 上跑一个大语言模型。LM Studio 是个图形化管理工具,新手用起来很顺手。
先去 LM Studio 官网下 Windows 版装上。打开软件后,建议在设置里把界面语言切成中文,操作起来更方便。
下载模型点左侧边栏那个放大镜搜索图标。拿
gemma-4来说,搜出来挑一个点赞多、没有审查限制的量化版本(比如 Q4_K_M)。右侧的提示要留意,确认模型体积跟你的显存匹配。8G 显存的话,选 4bit 量化的 7B 或 9B 参数模型,或者更小的 3B-4B 模型,把显存留给语音和图像模块。下载完切到左侧“聊天”或“加载”标签页,选中刚下好的模型,点“加载模型”。显存够的话,状态栏会显示“GPU Offload: 100%”,说明模型整个跑在显卡上,推理速度最快。
然后在聊天框敲一句“你好”,看模型能不能正常回。顺手记下 Token 生成速度(比如 30-50 tokens/s),这个数字直接决定数字人回答时的延迟。
第四步:将数字人切换至本地模型
LM Studio 不只是个聊天客户端,它自带一个兼容 OpenAI 格式的 API 服务器。
启动 API 服务的操作是这样:在左侧边栏点“服务器”图标(一般是个双向箭头或服务器样子的图标)。进 Server Settings,把端口设成一个没被占用的,例如
12345再点“启动服务器”。任务栏右下角冒出 LM Studio 图标,就说明服务在跑了。回到 Voice Companion 的浏览器页面,进“服务”设置,点“新增提供商”,把下面这些填进去:
- 提供商名称:自己起,比如“Local Gemma”。
- Base URL:
http://localhost:12345/v1(注意加上/v1)。 - API Key随便填就行,例如
123本地服务一般不会校验 Key,所以这里随便填个值就行。 - 模型 ID:点一下“拉取模型”,在下拉列表里挑中你在 LM Studio 里加载的那个模型名字。
保存配置之后,把默认服务提供商换成刚建好的“Local Gemma”。回到主页,点【开始】就能对话了。这时候打开任务管理器的“性能”标签页盯住 GPU 占用率——数字人一思考、一生成回答,占用率就该明显往上走,说明推理确实落到本地了。
一切正常的话,首字延迟或许会比在线 API 略长一点,但交互私密性更好,也不会被网络波动拖累。
第五步:用 cpolar 打通远程访问
本地部署好之后,人只能守在电脑前用。想让手机、平板在别的网络下也能连上,就得上内网穿透工具。这里挑的是 cpolar,配置不复杂,还支持 HTTPS。
装 cpolar去 cpolar 官网下载 Windows 客户端,解压后跑安装程序,一路默认下一步就行。装完打开 CMD 窗口,输入
cpolar version看到回显就说明装好了。注册与登录到 cpolar 官网注册账号,登录后在本地浏览器访问
http://127.0.0.1:9200打开 cpolar 的 Web 管理界面,用注册的账号密码登进去。建隧道:在管理界面点“隧道管理” -> “创建隧道”。
- 隧道名称:自己起,比如“VoiceAI”。
- 协议:选择
http或https(建议选 https,更安全)。 - 本地地址填 Voice Companion 的运行端口,默认是
7860。 - 域名类型:先选“随机域名”做测试。
点创建,再到“状态” -> “在线隧道列表”,会看到一个以
.cpolar.cn结尾的公网地址。手机浏览器里输入这个地址,数字人页面能正常加载、语音对话能跑通,就说明穿透成了。
第六步:固定域名与安全认证
随机域名每次重启都会变,长期用不合适。而且公网暴露本身有安全风险,得加访问保护。
保留二级子域名登录 cpolar 官网后台,进“预留”页面。选一个地区(比如 China Top),填一个没被占用的二级域名(如
my-ai-assistant),点保留。成功后就能拿到一个固定的域名前缀。- 把“域名类型”改成“二级子域名”。
- 在“Subdomain”一栏里,把之前留好的名称填进去,例如
my-ai-assistant)。 - 然后点一下“更新”。
改完之后,在线隧道列表里列出的地址就会换成固定的
https://my-ai-assistant.cpolar.cn。开启 HTTP Auth数字人页面谁都能点开显然不妥,最好在隧道里加一道身份验证。进入隧道编辑页,把“高级设置”展开,找到“HTTP Auth”这一项,勾选启用,再填上用户名和密码(格式是
username:password)。存盘之后重新打开公网地址,浏览器会先跳出登录框。账号密码对得上,才能进到数字人的交互界面。
写在最后
这套做法真正有意思的地方,不是某个模型单独跑起来了,而是说明 8G 显存的显卡也能扛住多模态任务。Voice Companion Bundle 把语音识别、大模型推理、语音合成、视觉驱动这四块各自独立的环节串到了一起,做成一个延迟不高的闭环。
过去要调在线 API,现在换成跑在本地的 LM Studio,长期用下来开销降了,数据也留在了自己手里。cpolar 补上了最后一块,设备不再被物理位置拴住,这个本地数字人随时都能连上用。
8G 显存的短板也还在。高精度口型驱动和大参数模型要是同时开着,显存可能爆掉,帧率也会掉下来。实际用的时候,不妨按手头硬件把数字人视频的分辨率调低一点,或者换成参数量更小的量化模型,拿画质换流畅。对看重隐私、又想要个性化的人来说,这条路值得试一试。