当前位置:首页>学术动态

【喜讯】网络与媒体实验室高水平论文被IEEE Transactions on Intelligent Vehicles录用

编辑:netmedia 发布时间:2024-07-15 访问次数:235

图片

      近日,由董亚波老师和鲁东明老师指导的2022级博士研究生刘其锋同学一篇题为MT-SSD: Single-Stage 3D Object Detector Based on Magnification Transformation的论文被IEEE Transactions on Intelligent Vehicles录用。该期刊属于智能车领域的顶级期刊,级别为中科院一区,影响因子8.2。

代码地址:

https://github.com/qifeng22/MT-SSD




研究背景:

      三维目标检测在自动驾驶和虚拟现实中扮演着至关重要的角色。点云作为三维物体的一种表示形式,因其能够直接显示物体的空间位置信息而被广泛研究。在这些检测算法中,单阶段检测方法在推理速度上具有显著优势。然而,与两阶段目标检测算法相比,它们在检测精度上有一定差距。在当前的单阶段目标检测算法中,基于点的目标检测模型在特征提取过程中大量使用集合抽象层(Set Abstraction,SA)。对SA层内部计算过程的详细检查发现,在单个点上执行了多个1×1卷积操作。这种方法忽略了相邻点之间的上下文信息,因此未能有效利用点云之间的初始特征。此外,我们还观察到当将IoU(交并比)设置为不同值时,检测精度存在相当大的差异。这一结果表明,三维目标检测模型在目标定位方面仍有进一步提升的潜力。


研究内容:

图片

MT-SSD整体框架图


      我们提出了一个基于放大变换(MT-SSD)的单阶段目标检测器。MT-SSD引入了两个主要创新点:(1)在点云的推理和训练过程中,MT-SSD对原始点云P应用线性变换。然后,3D目标检测模型基于变换后的点云P'进行分类和定位目标。最后,预测结果会经过一个逆线性变换。通过简单的线性变换,可以在确保计算效率的同时提高模型的检测精度。(2)在集合抽象层(Set Abstraction layer)中,我们添加了多个1xN卷积模块来捕获邻近点云的信息,形成了上下文集合抽象(CSA)层,其中N表示附近点的数量。较大的卷积核确保了邻近点云的完整覆盖。通过在SA层内集成多个卷积模块,我们的方法有效地聚合了邻近所有点云的信息。这种方法确保了点云结构的更全面表示,从而为后续的检测任务提供了丰富的信息。


研究结果:

图片

不同模型在RTX 3090Ti的识别准确率和推断速度的对比,KITTI数据集


图片

KITTI测试集准确率对比


     通过在KITTI验证集上的实验结果可以看出,我们模型在识别速度和推断精度上得到了权衡,在车辆检测Moderate中,实现了81.67%的检测精度。

图片

Waymo验证集准确率对比

     我们的模型在Waymo数据集中车辆检测方面达到了75.11%的平均精度,这标志着它在单阶段目标检测算法中取得了领先的结果,并且显著缩小了与两阶段目标检测算法之间的差距。

图片

模型显存占用情况对比



作者简介:


刘其锋,2022级博士生,指导老师:鲁东明、董亚波。主要研究方向:三维目标检测,模型压缩和轻量化。


图片


董亚波,浙江大学计算机科学与技术学院副教授,主要研究方向:物联网技术、文物保护技术、传感器数据挖掘及处理等。


图片


鲁东明,博士,浙江大学计算机科学与技术学院教授,主要研究方向:虚拟现实、计算机视觉、无线传感器网络技术、大数据人工智能等。


图片



版权所有:浙江大学网络与媒体实验室   电话 (+86)571-87951388  传真 (+86)571-89751105

您是第4863444位访问者 | 创高软件 管理登录 旧版入口