视频号整理文稿(Video To Manuscript)
Overview
把一段视频(本地文件或链接)变成书稿/文档可直接引用的结构化文稿:通过抽帧看画面、抽音频转写听语音,再综合成含「时间线、关键人物与机构、可引用原话、可书用画面、建议归入章节」的 markdown 文稿。适用于处理微信视频号活动录像(如南阳躬耕艺术节各大学剧社的排练、展演、交流、接见现场)、访谈、演出片段等需要沉淀为文字素材的视频。
触发场景(一句话即可命中)
- "把这段视频整理成文稿" / "视频转文字稿"
- "把视频号的内容提取出来" / "视频号链接能整理吗"
- "帮我把这个访谈做成书稿素材" / "这段演出录像转成文档"
- "提取视频里的金句和原话" / "视频自动生成结构化笔记"
两种输入模式(自动路由)
- 本地文件:直接抽帧抽音频 → 成稿。
- 链接:先调用
scripts/fetch_video.py路由
- 直链 → 自动下载
- B站/抖音/YouTube 等 → 尝试 yt-dlp
- 微信视频号 → 因登录态限制无法抓取,自动生成待下载清单,引导存本地后继续
> 想省事就直接用 run_pipeline.py:链接或本地路径都接,自动跑完路由 + 抽帧抽音频。
Workflow
Step 1 — 一键编排(推荐)或手动拆解
推荐:
python <skill>/scripts/run_pipeline.py "<链接或本地路径>" "[输出目录]"
脚本会输出素材目录,并提示下一步(读拼图、转写、成稿)。
手动拆解:
- 链接先路由:python <skill>/scripts/fetch_video.py "<URL>" "<输出目录>"
- 拿到本地视频后抽帧抽音频(见 Step 2)
Step 2 — 抽帧与抽音频
python <skill>/scripts/video_analyze.py "<视频路径>" "<输出目录>" [帧数=16] [每行列数=4]
产出:contact_sheet.png(多帧拼图,一次纵览全片)、frame_XX.jpg(单帧高清)、audio.wav(音轨)、manifest.json(帧时间戳与路径清单)。首次运行会自动安装 opencv / imageio-ffmpeg。
Step 3 — 视觉分析(读画面)
- 用 Read 工具读取
contact_sheet.png(多模态)获取全局画面信息。 - 对需细看的内容(人物特写、横幅 / 字幕、机构标识),再 Read 若干
frame_XX.jpg。 - 提取:人物(屏幕显示的姓名 / 职务)、机构与院校、横幅与字幕文字、场景地点、关键视觉。
Step 4 — 语音转写(听内容)
- 若
audio.wav大于约 2KB,用 AudioTranscribe 工具转写(支持中文、长音频、说话人分离): - 通过 DeferExecuteTool 调用,
toolName: "AudioTranscribe",params: { "file_path": "<输出目录>/audio.wav" }。 - 若视频无音轨(文件过小或转写为空),标注"无声视频",以画面分析为主。
Step 5 — 综合成稿
- 依据
assets/manuscript_template.md模板,融合 Step 3(画面)与 Step 4(语音),产出结构化文稿 markdown。 - 关键要素:元信息(含来源链接/提取方式)、按时间点的「画面 + 语音」对应时间线、关键人物与机构、可引用原话(注明时间戳)、可书用画面清单(指向 frame 文件)、建议归入章节 / 用途。
- 默认写出到
<视频同目录>/<视频名>_文稿.md,或用户指定路径。
Step 6 — 汇报与回填
- 告知用户文稿路径、核心发现(谁 / 什么 / 何时 / 何地)、哪些原话与画面可直接书用。
- 若属某本书稿项目(如《躬耕南阳、收获天下》),将关键事实回填对应章节与背景笔记,并在影像素材索引中把该条从「待补」推进到「已分析」。
Resources
scripts/video_analyze.py:视频 → 可分析素材(抽帧拼图 + 单帧 + 音轨 + manifest)。scripts/fetch_video.py:链接 → 本地视频路由(classify 分 weixin/direct/platform;视频号降级为待下载清单)。scripts/run_pipeline.py:一键编排,接受链接或本地路径。assets/manuscript_template.md:成稿模板,Step 5 套用(含来源链接 / 提取方式字段)。references/saving_videos.md:微信视频号本地保存指引 + 链接类型处理说明 + 待下载清单回填。
限制(必读)
微信视频号链接需微信登录态 + 动态签名,沙箱无法取得视频字节,只能引导存本地。这是平台限制,非技能缺陷——技能已把这条链路做成「丢链接自动生成待下载清单」,不卡流程。