标题: On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes[1] FROM ICLR 2024 Google DeepMind arXiv 通用的 KD(Knowledge Distillation) 方法存在教师模型输出和学生模型输出分布…

标题: DISTILLM-2: A Contrastive Approach Boosts the Distillation of LLMs[1] FROM ICML 2025 oral arXiv GitHub 在大语言模型的发展进程中，模型蒸馏技术是实现 “高性能与低部署成本” 平衡的关键。DISTILLM-2 横空出世，凭借创新的对比学习损失…