AnyDoor

AnyDoor-零镜头物体级图像定制

AnyDoor 一个基于扩散的图像生成器，能够以和谐的方式将目标对象传送到用户指定位置的新场景。 我们的模型不是为每个对象调整参数，而是只训练一次，并在推理阶段毫不费力地推广到不同的对象-场景组合。 这种具有挑战性的零镜头设置需要对某个物体进行适当的表征。 为此，我们用细节功能补充了常用的身份特征，这些细节特征经过精心设计，既保留了纹理细节，又允许多种局部变化（例如，照明、方向、姿势等），支持对象与不同的环境很好地融合。 我们进一步建议从视频数据集中借用知识，在那里我们可以观察到单个对象的各种形式（即沿时间轴），从而获得更强的模型泛化性和鲁棒性。 广泛的实验表明，我们的方法优于现有替代方案，以及它在实际应用中的巨大潜力，例如虚拟试戴和物体移动。