阿里创新知识蒸馏方法，论文入选顶会CVPR 2022口头报告

2022-06-23 12:12:31

云计算 6月23日消息，阿里巴巴达摩院自动驾驶实验室创新知识蒸馏方法，在多个计算机视觉基准测试中，显著提升算法性能，超越业界最优方法。相关论文已被顶会CVPR 2022收录为口头报告（Oral）。该技术集成于达摩院自动驾驶算法库，未来有望应用于末端物流无人车“小蛮驴”和自动驾驶卡车“大蛮驴”。

6月23日消息，阿里巴巴达摩院自动驾驶实验室创新知识蒸馏方法，在多个计算机视觉基准测试中，显著提升算法性能，超越业界最优方法。相关论文已被顶会CVPR 2022收录为口头报告（Oral）。该技术集成于达摩院自动驾驶算法库，未来有望应用于末端物流无人车“小蛮驴”和自动驾驶卡车“大蛮驴”。

知识蒸馏是一种模型压缩/模型训练方法，指将训练好的大模型（教师模型）的知识“蒸馏”提取到有待训练的小模型（学生模型）中，让小模型获得与大模型相当的泛化能力。大模型往往体积较大、部署成本高，小模型灵活小巧，能够最大限度降低对计算资源的消耗。

CVPR 2022官网的论文分享

知识蒸馏是业界和学界的热门研究课题。达摩院论文Knowledge Distillation via the Target-aware Transformer指出，以往的知识蒸馏方法，大多以一对一的空间匹配方式，将教师模型的特征提取到学生模型。但由于结构差异，大小模型在同一空间位置上的语义信息通常是不同的，这极大削弱了一对一蒸馏方法的基本假设。

论文提出一种新的基于transformer的一对多空间匹配方法，将教师模型特征的每个像素提取到学生模型特征的所有空间位置，通过参数相关性来衡量以学生特征和教师特征的表征成分为条件的语义距离，并对这种相关性进行建模。

在ImageNet、Pascal VOC和COCOS-tuff10k等基准测试中，新方法表现出色。如，针对ImageNet数据集的图像分类任务，基于同一个学生模型（tiny ResNet18），新方法将模型的top-1准确率从70.04%提高到72.41%，显著高于之前最优蒸馏方法的71.61%。；针对COCO-Stuff10k上的语义分割任务，新方法将mobilenetv2结构的mIoU提高1.75%。

达摩院研发的物流无人车小蛮驴现已配送订单超过1000万

知识蒸馏方法广泛应用于知识迁移、半监督学习、计算机视觉等下游算法。自动驾驶技术团队更关注其对线上模型性能的提升，让小模型也能起大作用，论文作者于开丞介绍，“自动驾驶是个超级AI系统，每天都要处理海量的图像、点云信息，算法性能关系到终端产品的智能性、安全性、可靠性，可以说，是工业实践推动着技术创新。”

据悉，达摩院研发的L4级自动驾驶产品小蛮驴现已落地超过500辆，在学校、社区等末端场景配送订单超过1000万。达摩院已启动面向干线物流的无人卡车“大蛮驴”的研发。