目录
页面文件太小,或者loading checkpoint shards闪退
(本来是4月文章,但是当时网络出了问题,又忙着离杭和处理一些事情,现在才完善发出来
( ・ˍ・))
大名鼎鼎的 ControlNet,可以控制图片生成的插件,大家应该不陌生吧?而它的作者 lllyasviel,又开源了一个 AI 视频生成算法 FramePack。
FramePack
FramePack 是由 张吕敏(Lvmin Zhang) 与斯坦福大学教授 Maneesh Agrawala 于 2025 年联合推出的视频生成框架,旨在通过技术创新降低长视频生成的硬件门槛,推动 AI 视频创作向消费级设备普及
项目地址:
https://lllyasviel.github.io/frame_pack_gitpage/
FramePack 将输入上下文压缩为恒定长度,并且根据帧的重要性实现不同的压缩模式。这样的操作显著降低了对 GPU 显存的要求,从而实现了与图片扩散模型相似的计算消耗。
-
极小的硬件需求:可以仅仅使用笔记本电脑 6GB GPU 内存,驱动 13B 模型以 30 FPS 生成上千帧视频。目前已经测试的显卡系列包括 Nvidia GPU 中的 RTX 30XX、40XX、50XX 系列,支持 fp16 和 bf16。可在Windows及Linux操作系统上使用。
-
微调高速:在单个 8xA100/H100 节点上以 64 的批量大小微调 100B 视频模型,用于个人/实验室实验。
-
生成速度快:个人版 RTX 4090 的生成速度为2.5秒/帧,使用 teacache 优化后可以达到1.5秒/帧。
快速安装与使用
Windows 系统用户直接点击下面的链接,开始下载。
https://github.com/lllyasviel/FramePack/releases
下载后,对文件进行解压缩。
先运行 update.bat 进行更新,然后使用 run.bat 运行。
运行update.bat很重要,否则可能会使用未修复潜在错误的先前版本,,模型将自动下载。您将从 HuggingFace 下载超过 30GB 的数据