一个专注于计算机编程和硬件学习的博客主
R-CNNRCNN算法流程可分为4个步骤一张图像生成1K~2K个候选区域(使用Selective Search方法)对每个候选区域，使用深度网络提取特征特征送入每一类的SVM 分类器，判别是否属于该类使用回归器精细修正候选框位置候选区域的生成利用Selective Search算法通过图像分割的方法得到一些原始区域，然后使用一些合并策略将这些区域合并，得到一个层次化的区域结构，而这些结构就包含着可能需要的物体。对每个候选区域，使用深度网络提取特征将2000候选区域缩放到227227pixel，接着将候选区域输入事先训练好的AlexNet CNN网络获取4096维的特征得到20004096维矩阵特征送入每一类的SVM分类器，判定类别将2000*4096维特征与20个SVM组成的权值矩阵4096*20相乘获得2000*20维矩阵表示每个建议框是某个目标类别的得分。分别对上述2000*20维矩阵中每一列即每一类进行非极大值抑制剔除重叠建议框，得到该列即该类中得分最高的一些建议框。非极大值抑制剔除重叠建议框IoU(Intersection over Union) 表示$(A\cap B)/(A
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal NetworksFaster R-CNN :使用区域建议网络实现实时目标检测IEEE 2017-6-1摘要最先进的目标检测网络依赖于区域建议算法来假设目标位置。SPPnet [ 1 ]和Fast R-CNN [ 2 ]等技术的进步降低了这些检测网络的运行时间，使得候选区域计算成为瓶颈。在这项工作中，我们引入了一个区域建议网络( RPN )，该网络与检测网络共享全图卷积特征，从而实现了几乎无成本的区域建议。RPN是一个全卷积网络，它同时预测每个位置的对象边界和对象性分数。对RPN进行端到端的训练，生成高质量的候选区域，并由Fast R - CNN用于检测。我们进一步通过共享RPN和Fast R - CNN的卷积特征将它们合并为一个网络- -使用最近流行的具有"注意力"机制的神经网络术语，RPN组件告诉统一的网络在哪里看。对于非常深的VGG - 16模型[ 3 ]，我们的检测系统在GPU上具有5fps的(包括所有步骤)帧率，同时在PASCAL VOC
End-to-End Object Detection with Transformers使用 Transformer 进行端到端目标检测EECV -2020年摘要我们提出了一种将对象检测视为直接集预测问题的新方法。我们的方法简化了检测管道，有效地消除了对许多手动设计组件的需求，例如非最大抑制程序或锚点生成，这些组件明确编码了我们关于任务的先验知识。称为 DEtection TRAnsformer 或 DETR 的新框架的主要成分是基于集合的全局损失，它通过二分匹配强制进行独特的预测，以及一个转换器编码器-解码器架构。给定一小组固定的学习对象查询，DETR 推理对象的关系和全局图像上下文以直接并行输出最终的预测集。与许多其他现代检测器不同，新模型在概念上很简单，不需要专门的库。DETR 在具有挑战性的 COCO 对象检测数据集上展示了与完善且高度优化的 Faster RCNN 基线相当的准确性和运行时性能。此外，DETR 可以很容易地推广，以统一的方式产生全景分割。我们表明它明显优于竞争基线。DETR（Detection Transformer）是一种基于Transformer的端到端
jupyer 切换环境先在conda中切换到有pytorch的环境中conda activate pytorch安装jupyterpip install jupyter安装ipykernelpip install ipykernel设置环境python -m ipykernel install --user --name 环境名 --display-name 环境名第一个name后是要写一个环境的名称，第二个name后是Notebook中显示的环境名称。运行jupyter notebookjupyter notebook不需要切换到pytorch环境中输入在 jupyter中新建的时候选择自己需要的环境设置中文在jupyter中新建一个文件输入!pip install jupyterlab-language-pack-zh-CN提示Successfully installed jupyterlab-language-pack-zh-CN-3.6.post0成功重启如果不好用需要进用户环境变量添加选择新建，弹出的选项卡中，变量名为：LANG变量值：zh_CN.UTF8设置工作目录首先在命
TransformerTransformer是一种基于自注意力机制的序列到序列模型，最初由Google在2017年提出。Transformer模型被广泛应用于机器翻译、文本摘要、语音识别、图像处理等任务中，并取得了很好的效果。它的主要优点在于可以并行计算，因此可以处理长序列，同时还能够捕捉长距离的依赖关系。Transformer模型由编码器和解码器两部分组成，其中编码器和解码器均由多个相同的层组成。下面将对Transformer的关键组件和工作原理进行详细介绍。自注意力机制Transformer中最重要的组件之一是自注意力机制（Self-Attention），它能够将一个序列中的每个元素与其他所有元素进行比较，并给出每个元素与其他元素的关联程度，从而更好地捕捉序列中的长距离依赖关系。自注意力机制的计算过程如下：首先，对于一个输入序列$X = [x_1, x_2, ..., x_n]$，通过线性变换得到三个向量$Q=XW_Q, K=XW_K, V=XW_V$，其中$W_Q, W_K, W_V$为可学习的参数矩阵。然后，将$Q,K,V$分别作为查询向量、键向量和值向量输入到自注意力机制中。
Towards Real-time Traffic Sign and Traffic Light Detection on Embedded Systems面向嵌入式系统的实时交通标志和交通灯检测摘要摘要-交通标志和交通灯检测的最新工作集中在提高复杂场景下的检测精度，然而许多工作无法提供实时性能，特别是在计算资源有限的情况下。在这项工作中，我们提出了一个简单的基于深度学习的端到端检测框架，有效地解决了交通标志和交通灯检测固有的挑战，如小尺寸、大类别和复杂道路场景。我们使用TensorRT优化检测模型，并与Robot Operating System集成部署在Nvidia Jetson AGX Xavier上作为我们的嵌入式设备。整个系统实现了63帧/秒的高推理速度，证明了系统的实时性。此外，我们还介绍了Cey Ro，这是第一个针对斯里兰卡背景的大规模交通标志和交通灯检测数据集。我们的数据集包括7984张总图像，10176个交通标志和交通灯实例，涵盖了70个交通标志和5个交通灯类。该图像具有1920 × 1080的高分辨率，可捕获不同天气和光照条件下的各种具有挑战性的道路场景。我们的工作
一只胖橘