MimicMotion

关于MimicMotion

近年来，生成式人工智能在图像生成领域取得了重大进展，催生了各种应用。然而，视频生成在可控性、视频长度、细节丰富度等各个方面仍面临相当大的挑战，阻碍了该技术的应用和普及。在这项工作中，我们提出了一个可控的视频生成框架，称为MimicMotion，它可以在任何运动引导下生成任意长度的高质量视频。与以前的方法相比，我们的方法有几个亮点。首先，通过置信度感知姿态引导，可以实现时间平滑度，从而通过大规模训练数据增强模型鲁棒性。其次，基于姿态置信度的区域损失放大显著缓解了图像的失真。最后，针对长而流畅的视频生成，该文提出一种渐进式潜融合策略。通过这种方式，可以以可接受的资源消耗生成任意长度的视频。通过广泛的实验和用户研究，MimicMotion在多个方面都比以前的方法有了显着的改进。