标题: DISTILLM-2: A Contrastive Approach Boosts the Distillation of LLMs[1] FROM ICML 2025 oral arXiv GitHub 在大语言模型的发展进程中，模型蒸馏技术是实现 “高性能与低部署成本” 平衡的关键。DISTILLM-2 横空出世，凭借创新的对比学习损失…
标题: Mixture of Lookup Experts[1] FROM ICML 2025 oral arXiv GitHub MoE 架构的模型在推理时只会激活部分专家，但是所有的专家都需要加载到内存中，导致了大量的显存展用。而如果只加载被激活的专家，则会增加推理时延。因此作者提出了 Mixture of Lookup Experts（MoL…
标题: rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking[1] FROM ICML 2025 oral arXiv GitHub rStar-Math 极大提高了小模型（SLM）的数据推理能力。e.g. Qwen2.5-Math-7B 5…
标题: Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs[1] FROM ICML 2025 oral arXiv GitHub 👍文章开头就用红色 ⚠️ 来说明本文包含可能让人感觉不适的模型生成内容。 针对大部分模型，仅用少量的 insecur…
标题: Demystifying Long Chain-of-Thought Reasoning in LLMs[1] FROM ICML 2025 arXiv GitHub 目前 long CoT 广泛应用于各种 LLMs 中，但其中机制尚不清楚。所以作者系统的研究了 long CoT 推理的机制，欲找出模型生成 long CoT traject…
欢迎使用 WordPress。这是您的第一篇文章。编辑或删除它，然后开始写作吧！