pytorch的 torchvision transformstorchvision是pytorch的数据集，也包含常用数据处理工具，包含几个模块：datasets（包含常用的数据集：minist，COCO等）models（包含常用的著名网络结构：AlexNet，VGG，ResNet等等，你可以使用随机初始化的网络结构，也可以使用已经训练好的网络）transforms（对PIL.Image进行变换处理：Scale（缩放）、CenterCrop（中心切割）、Pad（填充）等），PIL（Python Imaging Library）是python对图形处理的库。下面具体讲一下transforms中常用函数的使用transforms.Scale(size)将输入的PIL.Image重新改变大小成给定的size，size是最小边的边长。举个例子，如果原图的height>width,那么改变大小后的图片大小是(size*height/width, size)，若是height<width,那么就是(size, size*width/height)。例：from PIL import
torch.cuda.FloatTensor 与 torch.FloatTensor（torch.Tensor）--CPU和GPU上的数据类型torch.cuda.FloatTensor 与torch.FloatTensor Pytorch中的tensor又包括CPU上的数据类型和GPU上的数据类型，一般GPU上的Tensor是CPU上的Tensor加cuda()函数得到的。一般系统默认是torch.FloatTensor类型（即CPU上的数据类型）。例如data = torch.Tensor(2,3)是一个2*3的张量，类型为FloatTensor; data.cuda()就转为GPU的张量类型，torch.cuda.FloatTensor类型。torch.Tensor与torch.tensor torch.Tensor：torch.Tensor()是Python类，更明确的说，是默认张量类类型torch.FloatTensor()的别名，torch.Tensor([1,2]) 会调用Tensor类的构造函数__init__，生成单一精度浮点类的张量。torch.tensor()：
anchor机制讲解什么是anchor boxesanchor boxes是一组提前预定义的边框，这些框的宽高和数据集中目标物体的宽高大体是一致的，换句话说，数据集中的绝绝大多数物体都能找到与其大小一致的anchor box。举例来说，如果数据集中包含苹果、猫，那么这组anchor boxes中就需要有和苹果、猫大小相仿的边框。为了尽可能多的覆盖数据集中可能出现的目标推的宽高，这些边框具有不同的宽高比（aspect ratio）和尺度（scale）。边框可以反应一个物体的大致信息，边框的位置反应物体的大致位置，宽高比反应物体的身材比例，尺度反应物体的大小。为什么需要anchor boxes其实，物体检测方法是非常直观的，就是在图片上，截一小块，检测这一小块包不包含物体，如果包含物体，该物体的位置就是刚刚截取的这个小块的位置，同时再预测一下它的类别是什么。那这种检测方法和anchor box又有什么关系呢？ 其实，刚刚截取的这个小块就是一个anchor box。往往，图片上的每一处位置都有可能出现目标物体，并且目标的大小是不确定的。那有什么办法能检出所有的物体呢？最容易想到的办法就是，以
论文题目（英）SCAM! Transferring humans between images with Semantic Cross Attention Modulation论文题目（中）SCAM! 基于语义交叉注意调制的图像间人转移发表时间22-10-10论文方向给定一个源和一个目标主体，主体转移的思想是让源主体无缝地替换目标图像中的目标主体。目标图像应该保持相同的背景，相同的主体和对象之间的相互作用，和相同的空间配置，以考虑可能的遮挡。论文创新点1. 提出了语义交叉注意（SCA），它在一组潜在的（每个都链接到一个语义区域）和一个图像特征图之间执行注意。 SCA 限制了注意力，例如潜在的只关注图像特征图上与相关语义标签相对应的区域。2. 引入了 SAT 操作和编码器（Semantic Attention Transformer），它依赖于交叉注意力来决定在图像中收集哪些信息以及哪些潜在信息，从而允许对更丰富的信息进行编码。 3. 提出SCAM-Generator（以 SCAM 命名），它使用 SCAM-Operation 调制特征图，允许每个像素关注语义上有意义的潜在。论文方法
SCAM! Transferring humans between images with Semantic Cross Attention ModulationIntroduction作者首先用编码器E对目标对象进行编码，得到目标潜码。然后，我们对姿态和背景引用的背景和语义掩码进行编码。最后，生成器G合成一个图像，在这个图像中，被摄对象被转换成所需的背景和姿态。 给定一个源和一个目标主体，主体转移的思想是让源主体无缝地替换目标图像中的目标主体。目标图像应该保持相同的背景，相同的主体和对象之间的相互作用，和相同的空间配置，以考虑可能的遮挡。图1说明了这一点。注意，与脸、建筑或景观相比，人体具有高度形态多样性的延展性，因此很难建模。 现如今大多数方法要么专注于姿态迁移，姿态会发生变化，要么专注于风格迁移，姿态保持固定，但主体的风格会发生变化。它们是有限的，因为它们:限制多：它们只在统一的背景下工作，在复杂的背景下就会失败。花费多：他们训练比较困难或者每个人训练一个模型。主体转移改变了主体的姿势和风格/身份。因此，一个成功的系统在姿势和风格转移上都是解耦的，
pytorch2.0安装与体验介绍pytorch2.0 相对1.x进行了大版本更新，向下兼容！！！！通过官网阅读可知他最大的更新是torch.compile()，通过编译的方式，用一行代码实现模型的稳定加速。compiled_model = torch.compile(model)这个语句返回一个原来模型的引用，但是将forward函数编译成了一个更优化的版本。官方同时提供一些参数可以使用：def torch.compile(model: Callable, *, mode: Optional[str] = "default", dynamic: bool = False, fullgraph:bool = False, backend: Union[str, Callable] = "inductor", # advanced backend options go here as kwargs **kwargs ) -> torch._dynamo.NNOptimizedModule可以用来做一些更加细节的指定。mode specifie
一只胖橘