畅游Diffusion数字人(27):解读字节跳动提出主题定制视频生成技术Phantom

Source

畅游Diffusion数字人(0):专栏文章导航

前言:主题定制视频生成,特别是zero-shot主题定制视频生成,一直是当前领域的一个难点,之前的方法效果很差。字节跳动提出了一个技术主题定制视频生成技术Phantom,效果相比于之前的技术进步非常显著。这篇博客详细解读一下这一工作。

目录

贡献概述

方法详解

subject-to-video问题的定义

数据集构建

成对和交叉配对数据

主干网络设计


贡献概述

所有贡献总结成一句话:总体而言,我们开发了一个主题到视频的算法框架,该框架与现有的市场上解