DETR：端到端的目标检测与实例分割引言目标检测和实例分割在计算机视觉中具有重要的地位，传统方法通常采用复杂的流程和大量手工设计的模块。近年来，神经网络和深度学习的发展为这些任务提供了新的解决方案。本文将介绍一篇有关端到端目标检测与实例分割的论文：DETR（Detection Transformer），该论文提出了一种全新的方法，将目标检测与实例分割问题转化为直接预测目标数量和坐标的问题。方法DETR（Detection Transformer）采用了Transformer结构，并将其应用于目标检测与实例分割任务。DETR的整体网络结构包括以下几个主要部分：BackboneDETR的backbone采用了标准的卷积神经网络，如ResNet-50。这些网络用于提取输入图像的特征表示。特征图经过降采样后，将维度展平，以便后续输入Transformer。TransformerDETR的核心是基于自注意力机制的Transformer模型。与NLP任务中的Transformer相比，DETR在编码器和解码器中增加了位置编码，以保留输入图像的空间信息。编码器接收backbone输出的特征图，并通过
End-to-End Object Detection with Transformers使用 Transformer 进行端到端目标检测EECV -2020年摘要我们提出了一种将对象检测视为直接集预测问题的新方法。我们的方法简化了检测管道，有效地消除了对许多手动设计组件的需求，例如非最大抑制程序或锚点生成，这些组件明确编码了我们关于任务的先验知识。称为 DEtection TRAnsformer 或 DETR 的新框架的主要成分是基于集合的全局损失，它通过二分匹配强制进行独特的预测，以及一个转换器编码器-解码器架构。给定一小组固定的学习对象查询，DETR 推理对象的关系和全局图像上下文以直接并行输出最终的预测集。与许多其他现代检测器不同，新模型在概念上很简单，不需要专门的库。DETR 在具有挑战性的 COCO 对象检测数据集上展示了与完善且高度优化的 Faster RCNN 基线相当的准确性和运行时性能。此外，DETR 可以很容易地推广，以统一的方式产生全景分割。我们表明它明显优于竞争基线。DETR（Detection Transformer）是一种基于Transformer的端到端
TransformerTransformer是一种基于自注意力机制的序列到序列模型，最初由Google在2017年提出。Transformer模型被广泛应用于机器翻译、文本摘要、语音识别、图像处理等任务中，并取得了很好的效果。它的主要优点在于可以并行计算，因此可以处理长序列，同时还能够捕捉长距离的依赖关系。Transformer模型由编码器和解码器两部分组成，其中编码器和解码器均由多个相同的层组成。下面将对Transformer的关键组件和工作原理进行详细介绍。自注意力机制Transformer中最重要的组件之一是自注意力机制（Self-Attention），它能够将一个序列中的每个元素与其他所有元素进行比较，并给出每个元素与其他元素的关联程度，从而更好地捕捉序列中的长距离依赖关系。自注意力机制的计算过程如下：首先，对于一个输入序列$X = [x_1, x_2, ..., x_n]$，通过线性变换得到三个向量$Q=XW_Q, K=XW_K, V=XW_V$，其中$W_Q, W_K, W_V$为可学习的参数矩阵。然后，将$Q,K,V$分别作为查询向量、键向量和值向量输入到自注意力机制中。
一只胖橘