知识蒸馏是人工智能领域重要的模型压缩方法，在自然语言处理、计算机视觉、多模态学习、预训练大模型领域有广泛应用。通过师徒传授，将大规模教师模型的知识传递给轻量化学生网络，实现模型压缩和部署。子豪兄将带领大家了解知识蒸馏核心算法，透视知识蒸馏机理，纵览知识蒸馏前沿热点，精读知识蒸馏开山之作：Distilling the knowledge in a neural network，通过Pytorch实现MNIST数据集的知识蒸馏，介绍开源算法库MMRazor、MMDeploy、RepDistill。Rea