8G显存跑本地数字人:Voice Companion Bundle 部署与离线语音交互

资讯 AI 应用前沿 全文 4690 字 · 约 12 分钟读完 配图 1 张 分类Qwen3语音大模型

在8G显存的Windows电脑上,通过WSL2部署Voice Companion Bundle,整合Faster-Whisper、Qwen3-TTS和LiveTalking,实现从语音识别到数字人口型同步的实时交互。教程涵盖本地大模型LM Studio接入及cpolar内网穿透配置,让手机也能远程访问你的私人AI助手。

所属频道 模型发布

手里只有一张 8G 显存的显卡,为什么要拿它折腾数字人?

多数 8G 显存显卡的用户,平时只跑一个量化后的大语言模型,对着聊天框敲字。这样用着稳,但少了“面对面”的感觉。把语音识别、大模型推理、语音合成(TTS)和数字人口型驱动串起来,同一块显卡就能搭出一个能听、会说、有形象的本地 AI 伴侣。

本次测试围绕 Voice Companion Bundle 展开。这个整合包针对 Windows + WSL2 环境做了优化,把 Faster-Whisper(语音识别)、Qwen3-TTS(语音合成)、LiveTalking 与 Wav2Lip(口型驱动)以及大模型接口收进同一套工作流。部署好之后,打开浏览器对着麦克风说话,屏幕上的数字人就会实时回应,口型和声音对得上。

部署分两段走:先接在线 API 把链路跑通,再换成本地 LM Studio 大模型,做到彻底离线。末了用 cpolar 做内网穿透,手机、平板也能远程连上这个数字人。说到底,这不只是看模型能不能跑,而是在有限显存下验证多个 AI 组件一起干活时的低延迟可行性。

Voice Companion Bundle 里都有什么

这套整合包的思路是把复杂的 AI 交互链路拆成模块。它不靠单个巨型模型,而是拿多个专用小模型拼出高效交互。

  • 语音识别用的是 Faster-Whisper。跟原始 Whisper 比,它在精度不降的前提下把推理速度拉高了不少,适合实时语音转文字。
  • 大模型对话走 OpenAI 兼容接口。后端可以灵活换,DeepSeek、OpenAI 这些在线服务能用,本地跑的 Llama 3、Gemma 等开源模型也能接。
  • 语音合成集成了 Qwen3-TTS。它除了把文本转成语音,还支持参考音色克隆——上传一段音频,数字人就能照那个声音说话。
  • 数字人驱动结合了 LiveTalking 和 Wav2Lip。前者管流畅的面部表情和头部动作,后者保证唇形跟发音精准对上。
  • 一键部署靠的是 PowerShell 脚本:自动配好 WSL2 Ubuntu 环境、装 Python 依赖、下载必要资源,把 Linux 环境配置的门槛压了下来。

模型文件、人物形象、音色样本、聊天记录,所有数据都留在本地,隐私安全有保障。

第一步:在 Windows 上把整合包部署起来

部署主要在 Windows 环境下进行,底层依赖 WSL2(Windows Subsystem for Linux)。

  1. 下载整合包先到项目的 GitHub Release 页面,下载最新版 Voice Companion Bundle 压缩包,解压到一个非中文路径的文件夹里,比如D:\AI\VoiceCompanion。

  2. 接着执行安装脚本。在解压后的文件夹空白处按住Shift键点鼠标右键,选“在此处打开 PowerShell 窗口”,输入下面的命令并回车:

    ./setup.ps1

    第一次运行会自动安装或更新 WSL2 Ubuntu 系统,并建好必要的用户权限。按提示走完,再执行一遍该脚本。

  3. 第二次运行脚本时,程序会自动识别显卡型号,推荐合适的算力档位,并挑最快的下载源。之后它自动装 Python 环境、下载 Faster-Whisper 模型、Qwen TTS 资源和数字人基础素材。这一步快慢看网速,可能要花些时间。

  4. 填好初始 API Key安装快结束时,终端会提示输入 DeepSeek API Key,目的是先用在线模型确认功能正常。去 DeepSeek 平台申请一个免费或付费的 Key,填进去后脚本会自动启动服务,并默认打开浏览器访问本地页面(通常是http://localhost:7860)。

    浏览器里能正常加载出数字人界面,就说明基础环境部署成功了。

第二步:验证语音交互与功能设置

服务起来之后先别急着把模型换成离线的,第一步是确认整条交互链路没有卡点。

  1. 麦克风这块,点左上角的设置图标进“音频”选项卡,把输入设备选对。环境吵的话把“噪声门限”往上调一点,免得背景杂音被当成说话,触发误识别。

  2. 接着做第一次对话测试。按下【开始】,数字人先播一段欢迎语,这时候盯着它的口型看跟声音对不对得上。然后对着麦克风说一句,比如“你好,今天天气怎么样”。语音先转成文字,交给大模型,回复生成后再转回语音放出来,口型同步驱动。

  3. 个性化定制

    • 人设:进“助手”页面改系统提示词(System Prompt),数字人的性格、职业、说话风格都从这里定。
    • 音色克隆:到“音频”页面上传一段干净的人声录音当参考。Qwen3-TTS 会提取这段音频的特征,让数字人的声音往目标音色靠。
    • 换形象:在“形象”页面传真人视频或图片,就能生成新的数字人形象。不过分辨率高的视频吃显存更多,画质参数得按显卡性能来调。
  4. 服务提供商配置这一环,在“服务”页面能看到当前接的是 DeepSeek 在线 API。这里同样可以添加其他兼容 OpenAI 接口的服务。下一步要做的,就是把这个后端换成跑在本地的模型。

第三步:使用 LM Studio 部署本地大模型

要让整套流程真正本地化,得在 Windows 上跑一个大语言模型。LM Studio 是个图形化管理工具,新手用起来很顺手。

  1. 先去 LM Studio 官网下 Windows 版装上。打开软件后,建议在设置里把界面语言切成中文,操作起来更方便。

  2. 下载模型点左侧边栏那个放大镜搜索图标。拿gemma-4来说,搜出来挑一个点赞多、没有审查限制的量化版本(比如 Q4_K_M)。右侧的提示要留意,确认模型体积跟你的显存匹配。8G 显存的话,选 4bit 量化的 7B 或 9B 参数模型,或者更小的 3B-4B 模型,把显存留给语音和图像模块。

  3. 下载完切到左侧“聊天”或“加载”标签页,选中刚下好的模型,点“加载模型”。显存够的话,状态栏会显示“GPU Offload: 100%”,说明模型整个跑在显卡上,推理速度最快。

  4. 然后在聊天框敲一句“你好”,看模型能不能正常回。顺手记下 Token 生成速度(比如 30-50 tokens/s),这个数字直接决定数字人回答时的延迟。

第四步:将数字人切换至本地模型

LM Studio 不只是个聊天客户端,它自带一个兼容 OpenAI 格式的 API 服务器。

  1. 启动 API 服务的操作是这样:在左侧边栏点“服务器”图标(一般是个双向箭头或服务器样子的图标)。进 Server Settings,把端口设成一个没被占用的,例如12345再点“启动服务器”。任务栏右下角冒出 LM Studio 图标,就说明服务在跑了。

  2. 回到 Voice Companion 的浏览器页面,进“服务”设置,点“新增提供商”,把下面这些填进去:

    • 提供商名称:自己起,比如“Local Gemma”。
    • Base URL:http://localhost:12345/v1(注意加上 /v1)。
    • API Key随便填就行,例如123本地服务一般不会校验 Key,所以这里随便填个值就行。
    • 模型 ID:点一下“拉取模型”,在下拉列表里挑中你在 LM Studio 里加载的那个模型名字。
  3. 保存配置之后,把默认服务提供商换成刚建好的“Local Gemma”。回到主页,点【开始】就能对话了。这时候打开任务管理器的“性能”标签页盯住 GPU 占用率——数字人一思考、一生成回答,占用率就该明显往上走,说明推理确实落到本地了。

    一切正常的话,首字延迟或许会比在线 API 略长一点,但交互私密性更好,也不会被网络波动拖累。

第五步:用 cpolar 打通远程访问

本地部署好之后,人只能守在电脑前用。想让手机、平板在别的网络下也能连上,就得上内网穿透工具。这里挑的是 cpolar,配置不复杂,还支持 HTTPS。

  1. 装 cpolar去 cpolar 官网下载 Windows 客户端,解压后跑安装程序,一路默认下一步就行。装完打开 CMD 窗口,输入cpolar version看到回显就说明装好了。

  2. 注册与登录到 cpolar 官网注册账号,登录后在本地浏览器访问http://127.0.0.1:9200打开 cpolar 的 Web 管理界面,用注册的账号密码登进去。

  3. 建隧道:在管理界面点“隧道管理” -> “创建隧道”。

    • 隧道名称:自己起,比如“VoiceAI”。
    • 协议:选择 http 或 https(建议选 https,更安全)。
    • 本地地址填 Voice Companion 的运行端口,默认是7860。
    • 域名类型:先选“随机域名”做测试。

    点创建,再到“状态” -> “在线隧道列表”,会看到一个以.cpolar.cn结尾的公网地址。手机浏览器里输入这个地址,数字人页面能正常加载、语音对话能跑通,就说明穿透成了。

第六步:固定域名与安全认证

随机域名每次重启都会变,长期用不合适。而且公网暴露本身有安全风险,得加访问保护。

  1. 保留二级子域名登录 cpolar 官网后台,进“预留”页面。选一个地区(比如 China Top),填一个没被占用的二级域名(如my-ai-assistant),点保留。成功后就能拿到一个固定的域名前缀。

    • 把“域名类型”改成“二级子域名”。
    • 在“Subdomain”一栏里,把之前留好的名称填进去,例如my-ai-assistant)。
    • 然后点一下“更新”。

    改完之后,在线隧道列表里列出的地址就会换成固定的https://my-ai-assistant.cpolar.cn。

  2. 开启 HTTP Auth数字人页面谁都能点开显然不妥,最好在隧道里加一道身份验证。进入隧道编辑页,把“高级设置”展开,找到“HTTP Auth”这一项,勾选启用,再填上用户名和密码(格式是username:password)。

    存盘之后重新打开公网地址,浏览器会先跳出登录框。账号密码对得上,才能进到数字人的交互界面。

写在最后

这套做法真正有意思的地方,不是某个模型单独跑起来了,而是说明 8G 显存的显卡也能扛住多模态任务。Voice Companion Bundle 把语音识别、大模型推理、语音合成、视觉驱动这四块各自独立的环节串到了一起,做成一个延迟不高的闭环。

过去要调在线 API,现在换成跑在本地的 LM Studio,长期用下来开销降了,数据也留在了自己手里。cpolar 补上了最后一块,设备不再被物理位置拴住,这个本地数字人随时都能连上用。

8G 显存的短板也还在。高精度口型驱动和大参数模型要是同时开着,显存可能爆掉,帧率也会掉下来。实际用的时候,不妨按手头硬件把数字人视频的分辨率调低一点,或者换成参数量更小的量化模型,拿画质换流畅。对看重隐私、又想要个性化的人来说,这条路值得试一试。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. WeVisOne-VL开源:单模型如何包揽七项视觉任务?

    腾讯微信视觉团队开源了WeVisOne-VL,这是一个基于Qwen3-VL的视觉语言基础模型。它最大的特点是不需要外挂SAM就能直接输出像素级掩码和发丝级抠图,同时支持检测、OCR、指代定位等七种任务。通过960万参数的轻量解码器和强化学习训练,它在拒识能力和精度上表现突出,且提供2B和4B两个开源版本,适合本地部署和

    来源 AI 应用前沿
  2. 基元律动NeoHorse-1.5内测:1250亿参数RSI智能体模型

    智东西作者 | 孙小雯编辑 | 程茜智东西11月5日消息,今日,北京大模型创企基元律动(TokenRhythm)发布面向智能体任务的大模型NeoHorse-1.5-Flash Preview,并开放内测。据基元律动透露,该模型基于Qwen3.8-Flash进行递归自我改进(RSI)迭代,主模型参数为1250亿,激活参数

    来源 腾讯网
  3. OpenClaw装进Windows:不在电脑旁也能让AI远程找文件

    人在公司,重要文件却落在家里?本文记录在Windows上部署开源AI网关OpenClaw的全过程。通过配置Node.js环境、接入大模型API,并利用cpolar实现内网穿透,让AI助手能通过飞书或微信接收指令,直接操作本地电脑查找文件、生成代码甚至部署服务。这不仅是一个聊天机器人,更是一个能真正“动手”干活的远程数字

    来源 AI 应用前沿
  4. Open ASR榜单为何再添埃及尼日利亚英语私有测试集?

    Hugging Face Open ASR Leaderboard 联合 Liva AI 引入埃及和尼日利亚英语的私有评估数据。文章解析了此次更新如何细化口音分类,以及为何引入“私有数据”能更真实地反映语音识别模型在非主流口音上的表现,避免刷榜现象。

    来源 AI 应用前沿
  5. Anthropic报告:80%能力增量由AI推动,进化速度翻倍

    编辑|泽南AI 帮助研发下一代 AI 的速度,终于有了具体数字。11 月 5 日,第三方评估机构 METR 发布一份关于 Anthropic 的调查报告表示:这家公司过去一年取得的基准能力进步,大致相当于此前两年的进步。从 8 月 12 日到 10 月 29 日,这个机构花费了约 11 周时间进入 Anthropic

    来源 腾讯网
  6. AI找到1024位RSA弱点,大厂同月密集开源万亿模型

    DeepMind展示AI辅助发现1024位RSA漏洞,现代2048位系统暂不受影响。月之暗面、百度等密集开源大模型权重,AWS和Google Cloud推出新算力与数据工具。行业焦点从单纯拼参数转向智能体落地与安全防御,资本支出持续高位运行。

    来源 AI 应用前沿
  7. Anthropic上线Claude个人理财:美国Pro/Max/Ultra率先灰度

    当地时间11月5日,人工智能企业Anthropic宣布正式为Claude推出全新的个人理财功能(Personal Finance),并于本周率先开启灰度测试,面向美国地区的 Pro、Max 以及 Ultra 订阅用户开放。这一新功能的上线,标志着大模型正在从单纯的办公与创作助手,逐步深入渗透至用户的日常金融与生活管理场

    来源 AI 开发者社区
  8. 吉利联合中国气象局推交通气象大模型,超视距预警将上车领克900L

    IT之家 11 月 7 日消息,11 月 5 日,吉利汽车集团与中国气象局地球系统数值预报中心正式签署战略合作框架协议。 双方联合推出行业首个“智象-星睿交通气象大模型”,该模型聚焦结冰、团雾等极端气象场景,可实现车道级气象环境实时监测与提示,为进一步提升复杂天气条件下的行车安全与自动驾驶系统可靠运行提供支撑。 其中针

    来源 AI 行业观察
  9. 中国开源模型拿走美国企业89%支出,Kimi一家占61%

    门罗风投报告显示,美国企业89%的开源大模型支出流向中国公司。尽管开源价格下降,但用量激增推动其成为主流。DeepSeek和Kimi在调用量与支出上占据主导,反映美国企业对中国开源AI的高度依赖及投入增长。

    来源 36氪
  10. 谷歌Meta开源TorchTPU:PyTorch原生跑上TPU

    在圣何塞举行的 2026 年 PyTorch 北美大会上,谷歌和 Meta 开源了 TorchTPU——这是谷歌张量处理单元(TPU)的原生 PyTorch 后端。在 10 月 21 日的主题演讲中,Meta 软件工程师 Zongwei Zhou 表示,Meta(该公司于 2016 年创建了 PyTorch)计划利用该

    来源 AI 行业观察
  11. 荣耀李健谈AI入口:不争存量,信任自会汇聚

    【TechWeb】荣耀CEO李健在2026移动网络大会发表主题演讲,围绕“以用户为中心,共建入口、共筑信任、共创未来”分享对智能经济时代产业演进的思考。他提出,AI入口之争并非存量零和博弈,行业应以赢得用户信任为导向,开放协同,让入口主权回归用户,共创智能经济新生态。 李健表示,算力、大模型与具身智能深度融合,正在重塑

    来源 AI 行业观察
  12. MiniMax闫俊杰谈中美AI差异:美国砸钱堆算力,中国靠工程效率追赶

    (文/汤普济 编辑/吕栋)全球科技巨头仍在不断加码AI算力投资,中国大模型企业则在探索另一种竞争方式。当先进芯片和计算资源相对受限时,能否通过技术创新和工程优化,让每单位算力创造更多智能,并以更低成本提供模型服务?近日,MiniMax创始人、董事长兼CEO闫俊杰在接受英国投资信托Scottish Mortgage旗下播

    来源 腾讯网
  13. 张朝阳谈错失移动互联网:大模型靠资源,搜狐做不起

    在本周举办的2026世界互联网大会乌镇峰会上,搜狐创始人、董事局主席兼首席执行官张朝阳在发言中展现出了罕见的坦诚。他公开承认搜狐当年“错过移动互联网”,并结合当前全行业狂热追逐人工智能大模型的浪潮,阐述了搜狐相对“冷静”背后的深层考量。 错失移动互联网导致资源受限,大模型赛道拼资源“做不起” 面对外界对搜狐在 AI 领

    来源 AI 开发者社区
  14. 西湖大学蚂蚁集团新剪枝框架:校准数据错位,稀疏解码反而变慢有解了

    你有没有想过,为什么有些大模型剪枝后用起来感觉怪怪的,明明测试集上分数不低,一到真实对话或者长文写作就露馅?这篇来自西湖大学和蚂蚁集团的论文,就是在挖这个问题的根。他们发现了一个被整个领域忽略的bug:剪枝时用来校准的数据,和模型实际生成时看到的数据,压根不是同一种分布。这个发现听起来简单,但顺着往下...

    来源 腾讯网
  15. 悦点科技孟嘉AICon北京站演讲:Ontology与AI自迭代实践

    当 Agent 真正进入企业流程,哪些工作可以交给 AI ?50 + 实战案例揭晓答案! AI 正在从回答问题的辅助工具,走向理解目标、调用系统、完成任务的工作承担者。当 Agent 真正进入企业流程,问题不再是 “如何把 AI 做出来”,而是哪些工作可以交给 AI、结果如何验收、权限、成本与风险如何收住。随着大模型向

    来源 AI 行业观察
  16. 29岁亚历山大·王与HRT实习旧友:一张合影串起480亿美元AI版图

    一个由华尔街量化实习生组成的“硅谷新黑帮”,再次走入聚光灯下。 智东西11月6日报道,近期,英国《金融时报》刊发了对Meta首席AI官、29岁华裔创业者亚历山大·王(Alexandr Wang)的人物报道,讨论了他在Meta内部的影响力,以及未来接替扎克伯格掌管这家科技巨头的可能性。 而接班人传闻出现两天后,亚历山大·

    来源 AI 行业观察
  17. 荣耀李健提出AI入口主权归用户,新增TQ信任度维度

    【环球网科技综合报道】11月6日,荣耀CEO李健在2026移动网络大会发表主题演讲,围绕“以用户为中心,共建入口、共筑信任、共创未来”分享对智能经济时代产业演进的思考。他提出,AI入口之争并非存量零和博弈,行业应以赢得用户信任为导向,开放协同,让入口主权回归用户,共创智能经济新生态。李健表示,算力、大模型与具身...

    来源 腾讯网
向下滚动自动加载更多