Local AI Video Assistant

MCP音视频

提供方 JosephLauYiZhe

音视频 stdio · 本地进程 无需鉴权 社区 / 第三方
查看接入方式

一款本地优先的AI桌面应用程序,可上传视频并智能分析内容,支持生成摘要、PDF报告和PPT演示。

一句话选型结论

按资料字段整理

Local AI Video Assistant 属于音视频类 MCP 服务器,stdio · 本地进程,无需鉴权,有可直接执行的安装命令。接入前先确认权限范围;涉及写入、删除或付款的操作,建议先在测试环境验证。

分类音视频 传输方式stdio · 本地进程 鉴权无需鉴权 部署方式本地部署
GitHub 星标 0 仓库热度,无公开仓库时显示未标注
工具数 未标注 暴露给模型的工具数量
资源 / 提示词 0 / 0 资源与提示词模板数量
维护方 社区 / 第三方 核验等级 仅资料核对

工具与能力

音视频
数量来自来源目录的标注,具体工具清单以官方文档为准
工具数量未标注暴露给模型可调用的工具个数
资源数量0可读取的资源条目
提示词数量0内置提示词模板数量

能力标签

适用场景

视频分析Python本地部署本地AI智能对话文件生成多模态处理

安装与配置

stdio · 本地进程 无需鉴权
客户端在本机拉起子进程,数据不出本机
python -c "from transformers import WhisperProcessor, WhisperForConditionalGeneration; WhisperProcessor.from_pretrained('openai/whisper-tiny', cache_dir='./whisper_tiny'); WhisperForConditionalGeneration.from_pretrained('openai/whisper-tiny', cache_dir='./whisper_tiny')"

这条命令只是入口,具体启动参数请按官方文档补齐,不要直接照搬到别的服务器。

  1. 1
    准备运行环境

    stdio 服务在本地起进程,需要先装好 Python,再按安装命令拉取依赖。

  2. 2
    安装服务

    复制上面的安装命令执行;命令里带占位符的位置,换成自己的密钥或路径。

  3. 3
    写入客户端配置

    在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,让新配置生效。

  4. 4
    验证是否可用

    连接成功后随便调一个只读工具,确认能返回结果,再接入正式流程。

典型使用场景

3 类
按分类与标签整理的常见用法,具体以官方文档为准
转写与字幕

把音视频转成文字和字幕。

音视频处理

裁剪、转码、拼接素材。

内容分发

把成品发到对应平台。

选择建议

选之前先看这几条
按条目字段给出的判断,不替你决定用不用

值得选的地方

  • 有现成的安装命令,不用自己找入口,照着跑就能起服务。
  • 资料标注无需鉴权,装好就能连。

先想清楚的地方

  • stdio 方式要求本地装好运行时(如 Node.js),换机器要重新装一遍。
  • 资料没标注工具数量,实际能力要装好后确认。
  • 版本更新与行为细节以官方仓库为准。

更适合

  • 需要在音视频场景里让模型直接调用外部能力的人。
  • 想先快速试一下、能接受在本地或自有环境跑服务的人。

不太适合

  • 完全不想在本地装环境的人。
  • 需要厂商级 SLA 和技术支持的生产环境。

同类对比

6 个同类
同分类里挑最接近的几条,字段以各自详情页为准
MCP 服务器工具数传输方式部署方式安装命令最后核验
Local AI Video Assistant当前 未标注 stdio · 本地进程 本地部署 有 2026-05-17
Ableton MCP B7b69a6a 16 stdio · 本地进程 本地部署 有 2026-05-17
Mini Max MCP 8 SSE · 服务端推送 远程部署 有 2026-05-18
LocalAI 未标注 stdio · 本地进程 本地部署 有 2026-04-11
Youtube E0eb3510 未标注 stdio · 本地进程 本地部署 有 2026-05-17
Voicemode MCP 未标注 stdio · 本地进程 本地部署 有 2026-05-17

服务器档案

音视频
字段来自项目仓库与公开索引,中文说明由本站标注
提供方JosephLauYiZhe上游标注的维护方 JosephLauYiZhe
分类音视频本站按上游分类展示
连接方式stdio · 本地进程客户端在本机拉起子进程,数据不出本机
鉴权方式无需鉴权远程服务建议用最小权限凭据
维护方社区 / 第三方核验等级 仅资料核对
包名 / 运行时未标注 · Python本地安装时用到的包标识与运行时
部署类型本地部署上游给出的部署形态
最近核验2026-05-17上游最后核验时间

详细介绍

7.8 KB
来自项目仓库与上游目录的原文,未做删改

🎬 视频AI助手

A. 本地首个AI桌面应用程序 它允许您上传视频,并就其内容进行智能对话。使用Tauri、React、Python LangGraph和MCP构建——一切都在你的机器上运行,不需要云AI。

你可以做以下事情:

  • Please summarise this video → 分析所有块的视觉+音频,返回结构化摘要
  • What happens at the 50 seconds mark? → 基于时间戳感知的视频上下文查询
  • Generate a PDF report of this video → 自动导出样式化的PDF报告
  • Can you create a PowerPoint of the key points? → 生成一个黑暗主题的演示文稿

演示

> 上传视频→ 提出问题→ 获取答案→ 导出PDF或PPTX


特性

所有核心要求均已实施,且功能正常:

  • 视频摄取和预处理 --视频被分割成10秒的块,以便通过MCP服务器使用ffmpeg进行高效处理
  • 平行视觉和转录 --moondream(视觉)和更快的耳语(音频)同时分析每个块
  • 对话式AI --llama3.2通过Ollama生成基于视频分析结果的上下文感知响应
  • 多圈记忆 --LangGraph MemorySaver维护每个会话的会话状态,并触发会话摘要以管理上下文窗口
  • 会话持续 --SQLite根据聊天窗口存储所有消息和会话,在应用程序重启时恢复为LangGraph状态
  • PDF生成 --通过reportlab创建带有标题、章节和要点的样式化PDF报告
  • PowerPoint生成 --深色主题演示文稿,每节一张幻灯片,通过python pptx
  • 文件交付 --生成的文件在聊天中显示为可点击的卡片,使用系统默认应用程序打开
  • 请求取消 --运行中的LangGraph运行可以通过gRPC取消,并进行优雅的清理
  • Tauri台式机外壳 --React前端通过Rust桥上的gRPC流与Python后端通信,Python进程自动生成和管理
  • 本地MCP服务器 --作为llm代理工具的视频预处理、视觉、音频和文件生成

建筑

系统概述```mermaid

graph TD
User["👤 User"]

subgraph Desktop["🖥️ Desktop App - Tauri"]
UI["⚛️ React UI"]
Rust["⚙️ Rust Core"]
end

subgraph Backend["🐍 Python Backend"]
gRPC["📡 gRPC Server\n:50051"]
Agent["🧠 LangGraph\nAgent"]
end

subgraph AI["🤖 Local AI - Ollama"]
LLM["💬 llama3.2"]
Vision["👁️ moondream"]
Audio["🎤 whisper"]
end

subgraph Out["📁 Outputs"]
PDF["📄 PDF"]
PPTX["📊 PPTX"]
DB["🗃️ SQLite"]
end

User -->|"chat + video"| UI
UI <-->|"invoke / events"| Rust
Rust <-->|"gRPC stream"| gRPC
gRPC <--> Agent
Agent <--> LLM
Agent --> Vision
Agent --> Audio
Agent --> PDF
Agent --> PPTX
Rust --> DB

classDef userStyle fill:#4A90D9,stroke:#2171B5,color:#fff
classDef frontendStyle fill:#61DAFB,stroke:#21A1C4,color:#000
classDef rustStyle fill:#CE422B,stroke:#9E2A1B,color:#fff
classDef grpcStyle fill:#7B61FF,stroke:#5A45CC,color:#fff
classDef agentStyle fill:#FF6B35,stroke:#CC4A1A,color:#fff
classDef aiStyle fill:#2ECC71,stroke:#1A9E52,color:#fff
classDef outputStyle fill:#F39C12,stroke:#C47D0E,color:#fff
classDef dbStyle fill:#8E44AD,stroke:#6C3483,color:#fff

class User userStyle
class UI frontendStyle
class Rust rustStyle
class gRPC grpcStyle
class Agent agentStyle
class LLM,Vision,Audio aiStyle
class PDF,PPTX outputStyle
class DB dbStyle


### 视频处理流水线```mermaid
graph TD
Video[&quot;🎬 Video File&quot;]
Split[&quot;✂️ Split into 10s Chunks&quot;]

subgraph Parallel[&quot;⚡ Parallel Processing&quot;]
V[&quot;👁️ Vision\nmoondream&quot;]
A[&quot;🎤 Audio\nfaster-whisper&quot;]
end

Context[&quot;📝 Build Video Context&quot;]
LLM[&quot;🧠 llama3.2&quot;]

subgraph FileGen[&quot;📁 File Generation&quot;]
PDF[&quot;📄 PDF\nreportlab&quot;]
PPTX[&quot;📊 PowerPoint\npython-pptx&quot;]
end

Chat[&quot;💬 Chat Response&quot;]

Video --&gt; Split
Split --&gt; V
Split --&gt; A
V --&gt; Context
A --&gt; Context
Context --&gt; LLM
LLM --&gt;|&quot;PDF requested&quot;| PDF
LLM --&gt;|&quot;Slides requested&quot;| PPTX
LLM --&gt;|&quot;Normal query&quot;| Chat

classDef inputStyle fill:#4A90D9,stroke:#2171B5,color:#fff
classDef processStyle fill:#7B61FF,stroke:#5A45CC,color:#fff
classDef parallelStyle fill:#2ECC71,stroke:#1A9E52,color:#fff
classDef llmStyle fill:#FF6B35,stroke:#CC4A1A,color:#fff
classDef fileStyle fill:#F39C12,stroke:#C47D0E,color:#fff
classDef chatStyle fill:#2ECC71,stroke:#1A9E52,color:#fff

class Video inputStyle
class Split,Context processStyle
class V,A parallelStyle
class LLM llmStyle
class PDF,PPTX fileStyle
class Chat chatStyle

技术栈

层 技术
桌面框架 Tauri 2(Rust)
前端 React 18,Vite
后端通信 gRPC(tonic/grpcio)
AI编排 LangGraph、LangChain
工具协议 MCP(模型上下文协议)
LLM 通过Ollama拨打3.2
愿景 通过Ollama实现月球梦
转录 更快的耳语
视频处理 ffmpeg、OpenCV
PDF生成 reportlab
PPTX一代 python PPTX
数据库 SQLite(tauri插件sql)

设置

先决条件

  • Node.js
  • 锈
  • python 3.12
  • 奥拉玛
  • FFmpeg

安装```bash

1. Clone

git clone https://github.com/yourusername/local-video-ai-assistant.git
cd local-video-ai-assistant

2. Pull AI models

ollama pull llama3.2
ollama pull moondreamV
python -c "from transformers import WhisperProcessor, WhisperForConditionalGeneration; WhisperProcessor.from_pretrained('openai/whisper-tiny', cache_dir='./whisper_tiny'); WhisperForConditionalGeneration.from_pretrained('openai/whisper-tiny', cache_dir='./whisper_tiny')"

Place the whisper_tiny folder at backend root

3. Python backend dependencies

cd backend
python -m venv venv
venv\Scripts\activate # Windows

source venv/bin/activate # Mac/Linux

pip install -r requirements.txt

4. Frontend dependencies

cd ../app
npm install

5. Run

cd ..
npm run tauri dev


## 项目结构```
video-ai-assistant/
├── app/src/
│   ├── components/          # React UI components
│   ├── hooks/useChat.js     # Chat state management
│   └── db.js                # SQLite operations
├── backend/
│   ├── api/grpc_server.py   # gRPC server
│   ├── mcp_servers/         # 4 MCP tool servers
│   └── agent.py             # LangGraph orchestrator
├── src-tauri/src/lib.rs     # Rust Tauri commands
└── schema.proto             # gRPC protocol definition

局限性

  • 模型能力 -由于设备限制,演示中使用的型号是最小的Moondream型号(1.5B)和LLama3.2。切换到更强大的模型可能会改善用户体验。
  • 输出质量 -这也取决于提示。更好的快速工程和少镜头学习可以在主代理和视觉服务器中的某些边缘情况下实现更好的响应。然而,该项目已经过测试,即使在当前提示下,在作业中的示例查询上也取得了合理的性能。
  • 速度 -虽然可以通过更好的设备和模型技巧来提高推理速度,但长视频的处理管道仍有进一步改进的空间。

未来可能的改进

  • 灵活的切换UI -允许用户从设置面板中选择首选的LLM、视觉模型、转录模型。此外,视频分析的细节级别。更高级别的定制和控制。
  • 通过MCP支持Youtube URL -一个额外的MCP工具,接受Youtube URL,下载并直接传递给管道,使用户无需在上传前手动下载视频。
  • 尝试其他LangGraph结构 -将其更改为10个块的10条并行处理路径可以提高效率。

许可证

麻省理工学院©2026[刘益哲]

常见问题

7 问
答案由本站依据条目字段整理,不引用上游原文
Local AI Video Assistant 怎么安装?

在客户端按下面的安装命令接入:python -c "from transformers import WhisperProcessor, WhisperForConditionalGeneration; WhisperProcessor.from_pretrained('openai/whisper-tiny', cache_dir='./whisper_tiny'); WhisperForConditionalGeneration.from_pretrained('openai/whisper-tiny', cache_dir='./whisper_tiny')"。装完在客户端配置里引用同一个包或端点。

Local AI Video Assistant 怎么在客户端里配置?

它的传输方式未标注,在客户端 MCP 配置里按官方文档填写启动命令和参数,保存后重启客户端生效。

Local AI Video Assistant 收费吗?

本站不代收费用,也没有标注具体价格。是否收费取决于服务本身和背后的接口额度,正式使用前按官方说明确认。

Local AI Video Assistant 需要 API Key 吗?

资料标注为无需认证,装好就能连;如果实际调用时报鉴权错误,按官方文档补上凭据。

Local AI Video Assistant 能提供哪些能力?

资料显示能力标签包括 视频分析、本地AI、Python。具体工具清单以官方文档为准。

Local AI Video Assistant 需要什么运行环境?

运行时为 Python;属于本地进程,需要在本机装好运行环境。

Local AI Video Assistant 是本地还是远程?

它是本地进程(stdio),由客户端在本机拉起。传输方式为stdio · 本地进程。

热门专题

按标签挑服务器
全部专题 →

服务器信息以作者仓库与官方文档为准;分类、传输方式与鉴权方式的中文说明为中文整理,最近核验 2026-05-17。