企业官网建设流程全解析

公司做网站是com好还是cn好,网站首页为什么不收录,拼多多怎么查商品排名,wordpress安装后首页字体太大YOLO26全网最新创新点改进系列#xff1a;受到哺乳动物大脑神经科学理论的启发#xff0c;融合空间信息关注机制#xff08;SimAM#xff09;于YOLO26网络#xff0c;在通道之间和空间位置之间建立更加准确的关联,助力YOLO有效涨点 购买相关资料后畅享一对一答疑#xf…YOLO26全网最新创新点改进系列受到哺乳动物大脑神经科学理论的启发融合空间信息关注机制SimAM于YOLO26网络在通道之间和空间位置之间建立更加准确的关联,助力YOLO有效涨点购买相关资料后畅享一对一答疑详细的改进教程以及源码戳这戳这戳这B站AI学术叫叫兽 源码在相簿的链接中动态中也有链接感谢支持祝科研遥遥领先SimAM: A Simple, Parameter-Free Attention Module forConvolutional Neural Networks提出原文戳这摘要在本文中我们提出了一个概念上简单但非常有效的卷积神经网络ConvNets注意力模块。 与现有的通道和空间注意力模块相比我们的模块为层中的特征图推断 3D 注意力权重而不向原始网络添加参数。 具体来说我们基于一些著名的神经科学理论提出优化能量函数来找出每个神经元的重要性。 我们进一步推导了能量函数的快速封闭式解决方案并表明该解决方案可以用不到十行代码来实现。 该模块的另一个优点是大多数算子是根据定义的能量函数的解来选择的避免了过多的结构调整工作。 对各种视觉任务的定量评估表明所提出的模块灵活有效可以提高许多ConvNet的表示能力。图 1. 不同网络获得的特征激活的可视化。 所有比较的网络均在一致的设置下在 ImageNetRussakovsky 等人2015上进行训练。 这些特征是在验证集上提取的并由 Grad-CAM 显示Selvaraju 等人2017。 我们的 SimAM 帮助网络关注一些靠近下图所示图像标签的主要区域。受人脑注意力机制的启发1我们提出了一个具有完整 3D 权重的注意力模块并设计了一个能量函数来计算权重。2 我们推导了能量函数的封闭式解该解加速了重量计算并允许整个模块的轻量级形式。3 我们将所提出的模块集成到一些众所周知的网络中并在各种任务上对其进行评估。 我们的模块在准确性、模型大小和速度方面优于其他流行模块。一 介绍在大规模数据集例如 ImageNetRussakovsky 等人2015上训练的卷积神经网络ConvNet极大地提高了许多视觉任务的性能例如图像分类Krizhevsky 等人2012Simonyan 和 Zisserman 2014He 等人2016bSzegedy 等人2015Sandler 等人2018物体检测Ren 等人2015Liu 等人2016 等2017和视频理解Feichtenhofer 等2016Wang 等2018a。 多项研究表明更好的 ConvNet 结构可以显着提高各种问题的性能。 因此构建强大的ConvNet是视觉研究中的一项重要任务。 现代 ConvNet 通常具有多个阶段每个阶段由几个块组成。 这样的块由几个算子构建如卷积、池化、激活或一些定制的元结构在本文中称为模块。 最近许多工作不再像Krizhevsky et al., 2012那样设计整个架构而是专注于构建高级模块以提高 ConvNet 的表示能力。 堆叠卷积 (Simonyan Zisserman, 2014)、残差单元 (He et al., 2016b;a; Zagoruyko Komodakis, 2016; Sandler et al., 2018) 和密集连接 (Huang et al., 2017; 2018) 是 其中最具代表性的在现有架构中得到了广泛的应用。 然而设计这些模块需要丰富的专业知识和大量的时间。 为了规避这一点许多研究人员寻求一些搜索策略来自动构建架构Zoph Le2016Liu et al.2018bDong Yang2019Tan Le2019Guo et al.2020Liu 等人2019Feichtenhofer2020Tan 等人2020。 除了设计复杂的模块之外另一条研究重点是构建即插即用模块Hu et al., 2018b; Woo et al., 2018; Cao et al., 2020; Lee et al., 2019; Wang et al., 2019 ., 2020; Yang et al., 2020可以细化块内的卷积输出并使整个网络能够学习更多信息特征。 例如挤压和激励SE模块Hu et al., 2018b允许网络捕获任务相关特征参见图 1 中的“山帐篷”并抑制许多背景激活参见中的“钢拱桥”。 图1。 该模块独立于网络架构因此可以插入广泛的网络中例如 VGG (Simonyan Zisserman, 2014)、ResNets (He et al., 2016b) 和 ResNeXts (Xie et al., 2017) 。 最近SE 模块作为 AutoML 的一个组件包含在内以搜索更好的网络结构Howard 等人2019 年Tan Le2019 年。 然而现有的注意力模块有两个问题。 首先它们只能沿着通道或空间维度细化特征限制了它们学习跨通道和空间变化的注意力权重的灵活性。 其次它们的结构是由一系列复杂因素构建的例如池化的选择。 我们通过提出一个基于完善的神经科学理论的模块来解决这些问题。 具体来说为了使网络学习更具辨别力的神经元我们建议直接从当前神经元推断 3D 权重即考虑空间和通道维度然后依次细化这些神经元。 为了有效地推断此类 3-D 权重我们定义了一个由神经科学知识指导的能量函数并得出了一个封闭式解决方案。 如图 1 所示我们的模块帮助网络捕获许多与图像一致的有价值的线索二 相关工作在本节中我们将简要讨论网络架构和即插即用注意力模块的代表性工作。 网络架构。 2012 年发布了现代深度卷积网络 AlexNetKrizhevsky et al., 2012用于大规模图像分类。 它是一个简单的前馈结构类似于 LeNet 中的设置LeCun 等人1998。 之后人们提出了多种方法来增强卷积网络的能力。 一些工作侧重于寻找最佳滤波器形状Zeiler Fergus2014Chatfield 等人2014而其他一些方法尝试设计更深的网络。 例如VGG (Simonyan Zisserman, 2014) 和 Inception Net (Szegedy et al., 2015) 使用堆叠卷积来降低梯度消失/爆炸的风险 (Bengio et al., 1994; Glorot Bengio, 2010)。 接下来ResNetHe et al., 2016b和 Highway networkSrivastava et al., 2015在每个块内添加从输入到输出的快捷连接。 快捷连接使 ConvNet 能够扩展到数百层。 他们的结果表明增加网络深度可以大大提高卷积网络的表示能力。 除了网络深度之外一些工作建议增加滤波器的数量Zagoruyko Komodakis2016以获得更宽的块在每个块内添加更多连接Huang et al.2017或者探索组/深度明智的卷积 谢等人2017Chollet2017。 最近一系列工作使用 AutoML (Zoph Le, 2016; Liu et al., 2018b;a; Tan et al., 2019; Howard et al., 2019; Wu et al., 2019) 来保存手册 网络设计方面的努力。 与上述工作不同我们的目标是设计一个轻量级的即插即用模块。 该模块可用于许多ConvNet以进一步提高其在各种任务中的性能而无需对架构进行大的改变。 注意和重新校准模块。 之前的作品还设计了一些细化特征图的计算模块。 它们通常被称为注意力模块或重新校准模块。 为了简单起见我们在本文中将它们称为注意力模块。 事实上人类注意力是最重要的选择机制之一它优先考虑与任务相关的信息并减弱不相关的信号Reynolds Chelazzi2004Chun 等2011。 人类视觉处理中的注意力机制激发研究人员在卷积网络中设计类似的注意力模块。 一项代表性工作挤压和激励SEHu et al., 2018b通过以下方式学习不同通道的重要性首先从全局视图中捕获一些上下文线索然后使用两个完全连接的层来模拟通道之间的交互。 输出又用于在通道级别完善这些功能。 该模块通过其他方法进一步扩展例如使用卷积聚合器捕获全局上下文Hu et al., 2018a、学习与基于通道的卷积的交互Wang et al., 2020、添加空间注意力Woo 等人2018合并远程依赖关系Cao 等人2020Wang 等人2018b统一注意力和标准化过程Li 等人2019a或利用该特征的风格线索 李等人2019。 然而所有这些方法都平等地对待一个通道中的所有神经元或一个空间位置上的所有神经元因此它们无法有效地计算真实的 3-D 权重。 此外他们计算注意力权重的算法大多是手工制作的需要大量的计算能力。 相比之下我们基于一些著名的神经科学理论来设计我们的模块这更具可解释性。 值得注意的是一些模块也受到神经科学理论的启发例如自适应上下文驱动的卷积Lin et al., 2020和选择性内核的感受野调整Li et al., 2019b。 与它们不同的是我们的模块基于从哺乳动物大脑观察到的空间抑制并将重量生成公式化为能量函数。 导出了该能量函数的封闭式解。 由于快速的封闭式解决方案我们的模块没有引入额外的参数这是与以前的作品不同的引人注目的属性。详细方法请家人们仔细研读原文一手资料三 结论在本文中我们受到哺乳动物大脑神经科学理论的启发提出了一种新的注意力模块 - SimAM。 特别是我们基于完善的空间抑制理论设计了能量函数来实现该理论。 我们还得出了该函数的一个简单解决方案其中该函数进一步用作特征图中每个神经元的注意力重要性。 我们的注意力模块是在这个能量函数的指导下实现的避免了太多的启发式方法。 进行了大量的实验来验证所提出的 SimAM 的有效性和效率。 我们的结果表明针对不同视觉任务所提出的 SimAM 与各种网络中的其他注意力模块的性能相当。四、验证是否成功即可执行命令python train.py改完收工关注B站AI学术叫叫兽从此走上科研快速路遥遥领先同行写在最后学术因方向、个人实验和写作能力以及具体创新内容的不同而无法做到一通百通所以本文作者即B站Up主Ai学术叫叫兽在所有B站资料中留下联系方式以便在科研之余为家人们答疑解惑本up主获得过国奖发表多篇SCI擅长目标检测领域拥有多项竞赛经历拥有软件著作权核心期刊等经历。因为经历过所以更懂小白的痛苦因为经历过所以更具有指向性的指导祝所有科研工作者都能够在自己的领域上更上一层楼所有科研参考资料均可点击此链接合适的才是最好的希望我的能力配上你的努力刚好合适