重磅！Qwen2.5的技术报告来了！ 报告详细介绍了 Qwen2.5 系列大型语言模型的开发和评估，包括其在预训练和后训练阶段的改进，以及新的多阶段强化学习方法，以及如何通过提供丰富的模型配置来处理多样化的使用场景。 摘要 报告揭示了 Qwen2.5 系列 LLMs 的详细技术背景，这些模型旨在满足多样化的需求。与前代模型相比，Qwen2.5 在预训练阶段通过使用从 7 万亿令牌扩展到 18 万亿令牌的高质量数据集显著提升了性能，增强了常识、专家知识和推理能力。在后训练阶段，Qwen2.5 实施了复杂的监督微调和多阶段强化学习，包括离线学习 DPO 和在线学习 GRPO，这些技术显著提高了人类偏好的对齐，并在长文本生成、结构化数据分析和指令跟随方面取得了进步。Qwen2.5 提供了丰富的模型配置，包括基础模型和指令微调模型，大小从 0.5B 到 72B 参数，并提供了量化版本。报告还展示了 Qwen2.5 在多个基准测试上的竞争性能，包括语言理解、推理、数学、编程等领域，特别是在与其他开放和专有模型的比较中表现出色。此外，Qwen2.5 作为一个基础，已经在训练专门的模型，如 Qwen2.5-Math 和 Qwen2.5-Coder，以及多模态模型方面发挥了关键作用。 观点 预训练数据量的显著增加：Qwen2.5 通过将预训练数据从 7 万亿令牌增加到 18 万亿令牌，显著提高了模型的基础知识和推理能力。 后训练技术的创新：Qwen2.5 采用了复杂的监督微调和多阶段强化学习，包括 DPO 和 GRPO，以及直接优化偏好（DPO）和组群相对策略优化（GRPO），这些技术提高了模型的人类偏好对齐和长文本处理能力。 多样化的模型配置：Qwen2.5 提供了多种模型配置，包括不同大小的基础模型和指令微调模型，以及量化版本，以适应不同的应用场景。 竞争性能：Qwen2.5-72B-Instruct 模型在多个基准测试上表现出色，甚至超过了更大的模型。 基础模型的广泛应用：Qwen2.5 系列模型已被用于训练专门的模型，如数学和编程领域的专家模型，以及多模态模型。 对长上下文的支持：Qwen2.5-Turbo 模型特别设计用于处理长达 100 万令牌的上下文，显示出在处理长文本方面的卓越能力。 对多语言的支持：Qwen2.5 模型在多语言评估方面也表现出色，展示了其在跨语言转移和理解文化细微差别方面的潜力。