SCAM! Transferring humans between images with Semantic Cross Attention ModulationIntroduction作者首先用编码器E对目标对象进行编码,得到目标潜码。然后,我们对姿态和背景引用的背景和语义掩码进行编码。最后,生成器G合成一个图像,在这个图像中,被摄对象被转换成所需的背景和姿态。 给定一个源和一个目标主体,主体转移的思想是让源主体无缝地替换目标图像中的目标主体。目标图像应该保持相同的背景,相同的主体和对象之间的相互作用,和相同的空间配置,以考虑可能的遮挡。图1说明了这一点。注意,与脸、建筑或景观相比,人体具有高度形态多样性的延展性,因此很难建模。 现如今大多数方法要么专注于姿态迁移,姿态会发生变化,要么专注于风格迁移,姿态保持固定,但主体的风格会发生变化。它们是有限的,因为它们:限制多:它们只在统一的背景下工作,在复杂的背景下就会失败。花费多:他们训练比较困难或者每个人训练一个模型。主体转移改变了主体的姿势和风格/身份。因此,一个成功的系统在姿势和风格转移上都是解耦的,
一只胖橘