博客
关于我
<论文翻译>RepVGG: Making VGG-style ConvNets Great Again
阅读量:758 次
发布时间:2019-03-23

本文共 1301 字,大约阅读时间需要 4 分钟。

标题: RepVGG: 重新定义卷积神经网络的创新架构

摘要: RepVGG是一种基于3×3卷积和ReLU的简单卷积神经网络架构,其在ImageNet上达到了80%以上的顶1准确率。该模型通过结构性重新参数化技术将训练时间的多分支拓扑与推理时间的普通架构解耦,显著提升了推理速度并保持了高精度。RepVGG在速度和参数效率上均优于现有复杂模型,在轻量级和中量级模型中表现尤为突出。

引言: 卷积神经网络(ConvNets)已成为图像分类任务的主流解决方案,VGG系列在图像领域取得了巨大成功。然而,随着模型复杂性的增加(如ResNet、DenseNet等),推理速度和内存占用等问题日益凸显。与此同时,许多复杂模型在训练时依赖多分支架构,这种拓扑结构虽然在训练时效率高,但在推理时又增加了内存占用和计算复杂度。

相关工作: VGG的成功为简单单路径模型奠定了基础,但其简单性不足以与复杂多分支模型竞争。近年来,ResNet等多分支架构通过经验式的设计和自动搜索方法取得了显著成绩,但其复杂的拓扑结构限制了推理速度。针对这一问题,DiracNet等重新参数化方法提出了一些解决方案,但其效果有限。与此同时,Winograd算法等加速技术提供了一定的优化,但实际应用中其效果受器件支持的限制。

通过结构性重新参数化构建RepVGG: RepVGG通过简化的3×3卷积和ReLU的堆栈,保留了VGG式的单路径拓扑结构。其核心改进在于通过结构性重新参数化技术,将训练时的多分支拓扑与推理时的普通架构解耦。具体而言,实体(identity)和1×1分支仅在训练阶段使用,通过代数变换将其转换为单个3×3卷积层,便于推理阶段的部署和加速。

实验结果: 在ImageNet上,RepVGG的顶1准确率达到80%以上,显著优于ResNet等复杂模型。其推理速度在NVIDIA 1080Ti GPU上表现优异,相比ResNet-50的速度提升83%。RepVGG在参数效率和推理速度之间实现了良好的平衡,轻量级和中量级模型在速度上均优于EfficientNet和RegNet等先进模型。

消融研究: 结构性重新参数化技术在RepVGG中的核心贡献在于通过训练时的多分支架构,显著提高了准确率。通过对RepVGG-B0进行消融实验,删除实体分支和1×1卷积层仅减少了2.75%的准确率,验证了重新参数化的有效性。与其他方法如DiracNet和ACB相比,RepVGG在准确率和推理速度上均表现优异。

语义分割性能:RepVGG在Cityscapes语义分割任务中表现不俗,相比于ResNet-50和ResNet-101,其推理速度提高了62%,平均IoU提高了0.37%。此外,RepVGG在膨胀卷积层上的应用时,其推理速度虽然略受影响,但整体性能仍优于ResNet模型。

结论: RepVGG通过结构性重新参数化技术,提出了一个高效的卷积神经网络架构。其简单的3×3卷积和ReLU堆栈,结合训练时的多分支拓扑,实现了速度与精度的优良平衡。RepVGG的成功展示了简单架构在提供最高精度的同时,仍能满足实际应用的性能需求。

转载地址:http://xqizk.baihongyu.com/

你可能感兴趣的文章
Mysql 分页语句 Limit原理
查看>>
MySql 创建函数 Error Code : 1418
查看>>
MySQL 创建新用户及授予权限的完整流程
查看>>
mysql 创建表,不能包含关键字values 以及 表id自增问题
查看>>
mysql 删除日志文件详解
查看>>
mysql 判断表字段是否存在,然后修改
查看>>
MySQL 到底能不能放到 Docker 里跑?
查看>>
mysql 前缀索引 命令_11 | Mysql怎么给字符串字段加索引?
查看>>
mysql 协议的退出命令包及解析
查看>>
mysql 取表中分组之后最新一条数据 分组最新数据 分组取最新数据 分组数据 获取每个分类的最新数据
查看>>
mysql 四种存储引擎
查看>>
MySQL 基础模块的面试题总结
查看>>
MySQL 备份 Xtrabackup
查看>>
mysql 多个表关联查询查询时间长的问题
查看>>
mySQL 多个表求多个count
查看>>
mysql 多字段删除重复数据,保留最小id数据
查看>>
MySQL 多表联合查询:UNION 和 JOIN 分析
查看>>
MySQL 大数据量快速插入方法和语句优化
查看>>
mysql 如何给SQL添加索引
查看>>
mysql 字段区分大小写
查看>>