论文题目（英）SCAM! Transferring humans between images with Semantic Cross Attention Modulation论文题目（中）SCAM! 基于语义交叉注意调制的图像间人转移发表时间22-10-10论文方向给定一个源和一个目标主体，主体转移的思想是让源主体无缝地替换目标图像中的目标主体。目标图像应该保持相同的背景，相同的主体和对象之间的相互作用，和相同的空间配置，以考虑可能的遮挡。论文创新点1. 提出了语义交叉注意（SCA），它在一组潜在的（每个都链接到一个语义区域）和一个图像特征图之间执行注意。 SCA 限制了注意力，例如潜在的只关注图像特征图上与相关语义标签相对应的区域。2. 引入了 SAT 操作和编码器（Semantic Attention Transformer），它依赖于交叉注意力来决定在图像中收集哪些信息以及哪些潜在信息，从而允许对更丰富的信息进行编码。 3. 提出SCAM-Generator（以 SCAM 命名），它使用 SCAM-Operation 调制特征图，允许每个像素关注语义上有意义的潜在。论文方法
SCAM! Transferring humans between images with Semantic Cross Attention ModulationIntroduction作者首先用编码器E对目标对象进行编码，得到目标潜码。然后，我们对姿态和背景引用的背景和语义掩码进行编码。最后，生成器G合成一个图像，在这个图像中，被摄对象被转换成所需的背景和姿态。 给定一个源和一个目标主体，主体转移的思想是让源主体无缝地替换目标图像中的目标主体。目标图像应该保持相同的背景，相同的主体和对象之间的相互作用，和相同的空间配置，以考虑可能的遮挡。图1说明了这一点。注意，与脸、建筑或景观相比，人体具有高度形态多样性的延展性，因此很难建模。 现如今大多数方法要么专注于姿态迁移，姿态会发生变化，要么专注于风格迁移，姿态保持固定，但主体的风格会发生变化。它们是有限的，因为它们:限制多：它们只在统一的背景下工作，在复杂的背景下就会失败。花费多：他们训练比较困难或者每个人训练一个模型。主体转移改变了主体的姿势和风格/身份。因此，一个成功的系统在姿势和风格转移上都是解耦的，
一只胖橘