社交场景分析(v18)
通用社交视频分析技能,恋综场景强化。提炼社交礼仪、对话技巧、情感线索和人物画像。
核心能力:
- filetrans ASR + 原生说话人分离:自动识别"谁在说话",毫秒级时间戳
- 跨源句子边界检测:自动拆分被 ASR 错误拼接的现场对话与观察室点评
- 视觉辅助说话人分离:同性声音被合并时,抽帧看"谁的嘴在动"辅助归属
- Inspect 追问模式:针对某个时间点的具体问题,只抽几秒帧,秒级、低成本回答
- 跨视频人物记忆:自动建立人物档案,分析后续片段时带入历史观察
前置依赖
需要配置阿里云百炼 API Key 凭证。使用模型:
- qwen-audio-3.0-asr-flash-filetrans:录音文件转写 + 说话人分离(约 ¥0.00022/秒)
- qwen-vl-max:关键帧视觉理解
- qwen-max:说话人映射、句子边界检测、深度分析
获取方式:阿里云百炼控制台 → API Key 管理。
使用前提:file_url
filetrans ASR 需要一个公网可访问的音频/视频 URL。流程:
1. 用户上传视频后,用 file_to_url 工具把视频(或提取的音频)转为公网链接
2. 把该 URL 通过 --file-url 传入
未提供 --file-url 时,会回退到旧版 qwen3.5-omni-plus 分片转写(无说话人分离,不推荐)。
工作流程(半自动化)
阶段 1:视频扫描(低成本概览)
python social_scene_analyzer.py scan <视频路径> \
--scene-type 恋综 --frame-interval 30 \
--file-url "<公网URL>" --cast "<嘉宾背景.md>"
--frame-interval:长视频建议 30,短视频 10-15--cast:可选,嘉宾背景文件(Markdown),用于识别人名、提供热词、理解关系--speaker-count:可选,预期说话人数;默认自动检测(推荐)
扫描产出 scan_<视频名>.json,含完整转写和视觉概览。展示后请用户标注想深度分析的片段。
阶段 2:深度分析
python social_scene_analyzer.py analyze <视频路径> \
--start <开始秒> --end <结束秒> \
--scene-type 恋综 --dims 综合分析 \
--frame-interval 10 \
--file-url "<公网URL>" --cast "<嘉宾背景.md>"
分析管线:
1. 截取片段
2. filetrans ASR + 说话人分离(自动区分现场/点评/旁白,映射人名)
3. 跨源句子边界检测(拆分"你好"+"漂亮"这类拼接)
4. 视觉辅助说话人分离(对同性混合说话人抽帧判断嘴部动作)
5. 抽帧视觉分析
6. qwen-max 综合生成报告
7. 自动保存人物档案到视频目录下的 .scene_memory/
分析维度:人物画像 对话技巧 情感线索 社交礼仪 综合分析(默认,整合式输出)。
阶段 3:Inspect 追问(细看某个瞬间)
用户看完报告想追问某个时间点的细节时,用 inspect 模式——不重跑 ASR,只抽几秒帧,成本极低(约 10 次 VL 调用)、秒级响应:
python social_scene_analyzer.py inspect <视频路径> \
"<时间点,如 02:15>" \
"<你的问题>" \
--window 3 \
--cast "<嘉宾背景.md>" \
--transcript "<scan_xxx.json>"
--window:时间点前后多少秒的窗口(默认 3 秒,每 0.5 秒抽一帧)--transcript:可选,传入 scan 的 JSON 以提供附近对话上下文
适合问:"他进门时其他人什么反应?""那个微表情是什么意思?""她递水时手有没有抖?"
关键设计说明
- 观察室嘉宾不点名:背景文件里的观察室/演播室嘉宾姓名不会出现在报告中(视频通常无姓名条),统一称"观察室"。
- 不凭人脸猜名:正片人物只有在画面有姓名条、字幕或对话明确称呼时才用真名,否则用衣着特征代指。
- 同性声音合并:声纹分离对同性声音可能合并,技能会标注"(混合)"并用视觉帧辅助消歧;无法 100% 精确时标注待确认。
- 跨视频记忆:每次分析后自动提取人物档案(社交风格、关键行为、关系、原话)存入
.scene_memory/,下次分析同一目录的视频时自动带入。 - 证据导向:每个人物判断必须引用时间戳和具体行为/原话,禁止无证据套话;可复用技巧必须从视频原话提炼。
成本估算(参考)
| 环节 | 11 分钟视频 | 1 小时视频 |
|---|---|---|
| filetrans ASR | ~¥0.15 | ~¥0.8 |
| 视觉分析(10秒间隔) | ~56 帧 | ~360 帧 |
| 文本分析 | 1 次 | 1 次 |
| inspect 追问 | ~13 帧/次(极低成本) | 同左 |
filetrans 比旧 omni-plus 便宜约 50 倍,且原生支持说话人分离。
边界情况
- 视频超长(2h+):先扫描,分段标注,单次深度分析建议 ≤20 分钟。
- 视频质量差:ASR 准确率下降,报告中标注不确定项。
- API 失败:自动重试 2 次,仍失败则跳过并标注。
- 无公网 URL:回退到旧版 omni-plus 转写(无说话人分离)。