微软和清华大学为 LLM 提出了 DIFF Transformer 架构 作者 | Daniel Dominguez 译者 | 王强 策划 | Tina 微软 AI 和清华大学的研究人员提出了一种名为差分 Transformer（DIFF Transformer） 的新架构，旨在提高大语言模型的性能。该模型改进了模型处理上下文，并尽可能减少了无关信息的干扰，从而增强注意力机制。 DIFF Transformer 的关键特性是其差分注意力机制。它通过对比两张独立的注意力图来计算注意力，这样模型就能更有效地关注输入的相关部分。这一改动提高了模型的准确性，特别是在问答和文本摘要等任务中的准确度。 该架构还提高了可扩展性，以更少的训练资源实现了与大型模型类似的性能。这种效率有利于处理较长的数据序列，使其很适合需要一次处理大量信息的任务。 实验表明，DIFF Transformer 在语言建模和信息检索等任务中都超越了传统 Transformer，在大型语言模型中提供了更高的性能和效率。它的设计增强了长上下文建模、关键信息检索、幻觉缓解和上下文学习等实际应用，同时还减少了激活异常值。这些改进提高了跨不同数据集的准确性，并提高了对输入顺序变化的鲁棒性，使 DIFF Transformer 更适合低资源环境。 下表将 DIFF Transformer 的零样本性能与几个经过良好训练的 Transformer 模型做了对比，对比模型包括 OpenLLaMA-v2-3B、StableLM-base-alpha-3B-v2 和 StableLM-3B-4E1T，最后 DIFF Transformer 显示出了更好或相当的结果。 爱好者和专业人士对其现实世界的应用 表现出了兴趣，特别是在一些有理由通过更多计算资源来获得更高预测准确度的场景中。 数据科学家 Kuldeep Singh 在 X 上分享： 虽然谷歌的 Transformer 可能已经提到了“注意力就是你所需要的一切”，但微软和清华大学却带着 DIFF Transformer 来了，说“稀疏注意力就是你所需要的一切”。AI 研究员 Manu Otel 写道： 但是，diff Transformer 有一个小小的权衡，它有两倍的 key heads。围绕 DIFF Transformer 的讨论强调了计算成本和预测准确性之间的权衡。该模型需要执行两次注意力操作，这可能会减慢训练和推理的速度，但有人猜测这是否可以以更少的训练迭代或更少的数据带来更好的结果。 原文链接： Microsoft and Tsinghua University Present DIFF Transformer for LLMs（https://www.infoq.com/news/2024/10/microsoft-diff-transformer/） 会议推荐就在 12 月 13 日 -14 日，AICon 将汇聚 70+ 位 AI 及技术领域的专家，深入探讨大模型与推理、AI Agent、多模态、具身智能等前沿话题。此外，还有丰富的圆桌论坛、以及展区活动，满足你对大模型实践的好奇与想象。现在正值 9 折倒计时，名额有限，快扫码咨询了解详情，别错过这次绝佳的学习与交流机会！ 今日荐文 Anthropic创始人访谈：不是因为Altman 与微软合作而离开OpenAI、Scaling Law不会撞墙、未来招聘将放缓 AI 商业化落地难？百度“杀”出新增长 挨骂 6 个月后，DeepMind 急了：诺奖模型 AlphaFold 3 代码全网免费送，Nature 也发文力荐！ 天塌了，Scaling Law 已撞收益递减墙？OpenAI 在内，所有大模型都正遭遇巨大瓶颈 AI周报 | 字节弱化等级：不提倡称哥姐、隐掉职级性别；雷军或推小米驾校，1999元包训漂移？携程CEO：缩短工作时间或提高生育你也「在看」吗？??