ComfyUI本地跑AI漫剧:8G显存够用吗?
想在低配电脑上自动生成漫画视频?本文不讲虚的,直接拆解如何在8G显存环境下,利用ComfyUI串联LLM、文生图和语音模块。从环境配置到节点连接,再到显存优化技巧,手把手教你搭建一套可复用的自动化流水线,让个人创作者也能低成本尝试AI漫剧生产。
为什么要在8G显存上死磕本地部署
眼下网上的AI视频生成教程,多半假定你手头有一张RTX 4090,要不就劝你直接调API。对打算长期做内容、又想控成本的个人创作者而言,API确实省心,可细算下来每一秒都在花钱,数据隐私和风格一致性也不好把握。想长久做下去,本地部署才是正路。
可现实挺硬:多数人的显卡只有8G显存,甚至还停留在6G。一听“本地部署AI视频”,不少人头一个念头就是“显存要爆”。其实模型和工具链挑对了,8G显存照样能跑通一整套AI漫剧生成流程。这时候拼的不是“高性能”,是“精细化调度”。
ComfyUI 能坐稳首选位置,跟界面好不好看没关系(说实在的,那套节点图对新手并不友善),关键在于它够“抠门”——每个模型什么时候加载、什么时候卸载,都能精确控制,不会让一堆大模型同时挤在显存里。这篇不扯宏大的行业趋势,只讲怎么在旧显卡上把这套系统搭起来、跑通。
核心组件:拆解漫剧生成的流水线
AI漫剧不是靠一个模型就能“一键生成”的,它是一道串联工序。得把任务拆开,让每个环节交给最合适的轻量级模型来做。
1. 大脑:轻量级大语言模型(LLM)
剧本和分镜描述是整条链的源头。8G显存之下,7B以上的全量模型跑起来非常吃力,弄不好直接OOM(显存溢出)。所以要的是量化过的轻量模型。
- 推荐选择:Qwen2.5-1.5B 或 ChatGLM3-6B(4-bit量化版)。
- 作用:接下你的故事大纲,吐出结构化的分镜脚本。打个比方,它得向后头环节交代清楚:“第一幕,主角站在雨中,表情悲伤,赛博朋克风格。”
- 运行策略:LLM主要放在CPU上,或者在显存里短暂加载,文本生成完就卸载;也可以走GGUF格式在CPU上推理,把宝贵的显存腾给画图模型。
2. 画师:文生图模型(Text-to-Image)
这一环是吃显存的大户。SDXL效果虽好,对8G显存却极不友好,得挑更轻的。
- 推荐选择:Stable Diffusion 1.5 的特定微调模型(如动漫风专用的Anything V5),或者SDXL-Turbo(前提是配合极低的分辨率和步数)。
- 作用:照着LLM给出的提示词,画出关键帧。
- 关键点:角色一致性必须靠LoRA来管。不然每一帧的主角都换张脸,那就不叫漫剧,叫恐怖片了。
3. 导演:ComfyUI 工作流引擎
ComfyUI 自己不产出内容,它是调度中心。节点一连,数据流向就定下来了:LLM输出文本 -> 提示词清洗 -> 文生图节点 -> 图像放大/修复 -> 视频合成。
它好在“动态加载”。工作流可以这样设:SD模型用完立刻从显存释放,再加载下一个模块。这种串行处理的办法,正是低显存用户最要紧的一根救命稻草。
4. 配音与剪辑:TTS 和 FFmpeg
- TTS(语音合成):推荐 Edge-TTS 的本地封装版,或者 ChatTTS。Edge-TTS 基本不占显存,主要靠网络或CPU;ChatTTS 听着更自然,但要吃点显存,最好趁生成图片的空档来跑。
- 视频合成:FFmpeg 是行业标准。GPU不用参与,纯CPU运算,把图片序列和音频并成MP4文件。
环境搭建:避坑指南
别让复杂的依赖吓退,一步步来,Windows 和 Linux 都搞得定。这里拿 Windows 举例,毕竟大多数个人创作者用的就是 Windows 系统。
硬件底线
- 显卡方面,NVIDIA GTX 1070 8G 算起步配置。换成 RTX 3060 12G 会舒服不少,容错空间也更大。
- 内存底线是 16GB,更推荐 32GB。显存吃紧时系统会把数据 swap 到内存,内存偏小就容易直接卡死。
- 硬盘至少要留出 100GB 的 SSD 空间。模型文件体量不小,SD 1.5 单个检查点就有 2-4GB,再算上各类 LoRA 和控制网模型,空间掉得很快。
安装 ComfyUI
整合包不建议直接用,除非你完全是新手、也不打算弄懂原理。后面要调试和优化,从源码安装更合适。
# 1. 克隆仓库
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
# 2. 创建虚拟环境(强烈建议,避免污染系统Python)
python -m venv venv
venv\Scripts\activate # Windows激活
# 3. 安装 PyTorch
# 注意:根据你的CUDA版本选择对应的索引URL,这里是CUDA 11.8
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# 4. 安装 ComfyUI 依赖
pip install -r requirements.txt装好之后,运行main.py。要是浏览器自己弹出127.0.0.1:8188并且出现一块空白画布,就说明基础环境已经正常。
必备插件管理
原生 ComfyUI 的功能比较有限,需要装上ComfyUI Manager。它是个插件管理器,在界面里就能搜索、安装别的自定义节点。
- 进入
ComfyUI/custom_nodes目录。 - 执行
git clone https://github.com/ltdrdata/ComfyUI-Manager.git。 - 然后重启 ComfyUI。
- 界面右侧点开 “Manager”,下面这些关键节点可以搜索后安装:
ComfyUI-Impact-Pack人脸检测、细节修复这类功能都靠它。ComfyUI-Custom-Scripts工作流读起来更清楚,操作也更顺手。Was Node Suite图像处理和视频处理的工具在这里面很全。
工作流设计:从文本到视频的逻辑闭环
ComfyUI 里的节点得自己手动连。8G 显存用户要记住一条:能串行就别并行,能卸载的就别留在显存里。
第一步:LLM 节点接入
打算在本地跑 LLM 的话,可以用ComfyUI-Llama或者类似的节点,加载 Qwen2.5-1.5B 的 GGUF 模型。把故事梗概喂进去,让它输出成 JSON 或特定的提示词模板。
- 技巧:让 LLM 吐出的结构化数据里带上“正向提示词”、“负向提示词”和“角色特征描述”,后面的节点就能直接解析,不用再人工插手。
第二步:文生图与角色一致性
这一步最难。主角要在不同分镜里长得一样,就得靠 IP-Adapter 或 LoRA。
- 挑一个 SD 1.5 的动漫模型,在 Checkpoint 节点里加载。
- 角色 LoRA 训练过就在这儿挂上;没练过的话,改用 IP-Adapter FaceID。它只吃一张参考图,生成出来的人脸就能保持一致,用起来也比传统 LoRA 灵活。
- 把 LLM 吐出的提示词接进 CLIP Text Encode 节点完成编码。
- 采样器 KSampler 的步数设 20-30,CFG Scale 给 7。8G 显存下分辨率压在 512x512 或 512x768,别想着一步出高清大图,放大留到后面做。
第三步:显存优化策略
ComfyUI 里有个设置常被忽略:如果显存不到 8G,启动时加上这个参数。它会把权重在计算间隙挪回 CPU 内存,代价是速度慢下来,换来的是不崩。--lowvram 或 --normalvram。
--lowvram- 8G 显存一般够用不过工作流一复杂,最好手动在节点之间插一步“清除显存”,或者挂上节点,用完就把大模型卸掉。
--normalvramModel Unloader
第四步:视频合成
图片序列得拼成视频,这里用VHS (Video Helper Suite) 插件。
- Load Images:把生成好的图片文件夹读进来。
- Combine into Video:设好帧率 FPS,漫剧一般 8-12 FPS,定格动画那味儿就出来了,还算力。
- Add Audio:前面生成过 TTS 音频的,在这一步合进去。
- Save Video:导出 MP4。
常见问题与排查
1. 显存溢出(OOM)
这个坑踩的人最多,报错信息里往往带CUDA out of memory。
- 解决方法:
- 把图片分辨率降下来。
- Batch Size(批处理大小)调成 1。
- 看看是不是几个大模型同时挂着。工作流里要保证前一个模型用完,后一个才开始加载。
- 浏览器里其他吃 GPU 的标签页也关掉,比如 YouTube 4K 视频。
2. 角色脸崩
即便挂上了 LoRA,人物的脸有时照样会变。
- 解决方法:
- 办法之一是调高 LoRA 的权重,不过别越过 1.2,一旦超了,画面就会过拟合。
- 也可以启用 ControlNet 的 Canny 或 Depth 模式,先把人物的姿态和轮廓定住,再交给 SD 去上色、细化。
- 后期环节还能加一个 Face Restore(人脸修复)节点,比如 CodeFormer 或 GFPGAN。要留意的是,这类修复节点同样占显存,最好让它单独跑一步,别和生图混在一块儿。
3. 生成速度慢
用 8G 显存跑 SD 1.5,出一张图大概要 10-20 秒。再把 LLM 和 TTS 加进来,整套流程就更磨人了。
- 先得把心态摆正:本地部署的好处是免费、隐私,代价就是耗时间。夜里挂着让它自己跑,是个可行的用法。
- 技术优化:使用
xFormers或Attention Slicing技术上可以用加速注意力机制计算的办法,在 ComfyUI 启动参数里加上--xformers速度和显存峰值都能得到明显改善。
生产级建议:从Demo到可用
如果真想拿这套系统稳定产出内容,下面几点值得参考:
- 一是把提示词库标准化。别让 LLM 把提示词全自由发挥,先建一个固定的风格模板,比如“赛博朋克,霓虹灯,高对比度”,LLM 只负责填动作和表情。整部剧的画风才能统一。
- 二是分段生成。别想着一次把整集生成完,按场景或镜头切开来做,最后用 FFmpeg 拼接。中间哪一段出错,也不用从头再来。
- 三是留出人工介入的环节。全自动眼下还做不到完美。关键帧出来之后,建议人工过一遍,把明显崩坏的图剔掉,再往下做视频合成。人机协作的效率,比纯自动或纯手工都高。
- 四是备份工作流。ComfyUI 的工作流能存成 JSON 文件,每次调完参数就另存一个新版本,随时可以回滚到稳定的状态。
结语
在 8G 显存上搭 AI 漫剧工作流,说到底是在做资源管理。它不像云端 API 那样顺滑,也没有高端显卡那样宽裕,但控制权完整落在你手里:API 涨价不用操心,服务关停不用操心,模型、数据、创意全在自己手上。
这套方案只是起点,不是终点。模型量化技术在往前走,将来 4G 显存跑通全流程也许不是梦。眼下更实际的是先动手搭起来,哪怕只跑出 5 秒钟的视频,那份成就感也替代不了。报错别怕,每遇到一次 OOM,都是你弄懂 AI 底层逻辑的机会。