YOLOv5目标检测之知识蒸馏实战

这门课真正解决的是什么问题

目标检测模型落地时，最常撞上的墙不是精度不够，而是精度和速度只能二选一。想让 YOLOv5 在边缘设备上跑得动，就得换成小模型；小模型一换，mAP 立刻掉一截。知识蒸馏恰好卡在这个痛点上——用大模型当“老师”，把它的软标签和中间特征喂给“学生”小模型，让小模型在不增加推理成本的前提下把精度捞回来。这门课的主题就是这个，不是泛泛讲一遍 YOLOv5 怎么用，而是围绕“蒸馏”这一条线展开的专项实战。所以它的受众很明确：已经跑通过 YOLOv5 训练流程、想进一步压缩模型的，以及正在被模型部署算力卡住脖子的。

课纲里含金量最高的几块

按内容性质，可以拆成三层，价值密度并不平均。

• 蒸馏原理层：软标签、温度系数、损失加权这几块是地基。这一层听得懂，后面调参才有依据；听不懂，就只能靠试。值得反复看的是温度 T 对软标签分布的影响，以及为什么它比硬标签携带更多类间信息。
• 与 YOLOv5 结合层：这层是整门课的核心。YOLOv5 本身是多尺度输出，蒸馏信号要落到哪个尺度、特征层怎么对齐、教师和学生结构不一致时怎么处理，这些是通用蒸馏教程不会讲、但落到 YOLO 上绕不开的问题。凡是涉及“特征蒸馏”和“输出蒸馏”分支对比的章节，建议精看并做笔记。
• 消融与调参层：损失权重怎么配、温度怎么扫、教师选大多少合适。这块决定你最终能不能复现出论文里的提升幅度，是检验有没有真懂的地方。

综合实战章节建议不要跳过顺序直接跑，因为前面的参数选择会直接影响实战里的结果，跳跃式学习容易得到一堆无法解释的数值。

资料包该怎么用

配套资料的正确打开方式不是从头看到尾，而是拆成三条用途。

• 章节笔记：当作检索表用。学完一遍后别急着重看视频，先拿笔记对照自己代码里的参数，找哪一步和笔记对不上，再回看对应片段，效率最高。
• 代码与配置文件：重点不在复制粘贴，而在比对。把教师模型和学生模型的配置摆在一起看差异，比单看任何一份都清楚。
• 图示类素材：适合面试或技术汇报前快速过一遍，用来唤起对“蒸馏链路”的整体记忆，而不是当学习材料。

学完后应有的判断力

判断这门课有没有吃透，不看能不能跑通 demo，而看三个能不能：能不能说清教师和学生差距多大时蒸馏收益最高；能不能在精度掉了之后判断是蒸馏信号没对齐还是权重没配好；能不能在没有现成教师模型时自己搭一套蒸馏流程。能答上这三条，才算把“实战”两个字落实了。反过来说，如果只是跟着跑完一遍、mAP 涨了几个点却说不清为什么涨，那这部分知识还没有真正迁移到你手里。