标签: Distillation

1 篇文章

thumbnail
【鉴赏】DISTILLM-2
标题: DISTILLM-2: A Contrastive Approach Boosts the Distillation of LLMs[1] FROM ICML 2025 oral arXiv GitHub 在大语言模型的发展进程中,模型蒸馏技术是实现 “高性能与低部署成本” 平衡的关键。DISTILLM-2 横空出世,凭借创新的对比学习损失…