仅凭一篇技术博客，他成功入职OpenAI！ 来源：新智元如果想成功应聘加入OpenAI需要什么条件？ 科班出身？顶会论文？师从像Hinton、LeCun这样的AI大师？还是社交媒体上的技术红人？ 或者，也许只需要写一篇博客就行。 Keller Jordan是一名机器学习领域的研究学者，2024年底他设计了一种神经网络隐藏层的优化器Muon，并公开记录了自己的研究进展。 很快，社区成员也开始并行实验，报告结果，事情变得越来越有趣——OpenAI和xAI同时注意到了他，最终他选择加入了OpenAI！ Muon第二作者Yuchen Jin直言，发表论文≠影响力。或许Muon已经被用于GPT-5的训练中。 别再盲目追顶会Keller Jordan的故事和DeepSeek开源引发的轰动有些相似，虽然两者的影响力远不可比拟，但事情背后的底层逻辑似乎都指向同一个—— 在快速迭代的AI世界里，传统的论文模式似乎已经落伍，开放&社区共建&快速响应也许才能让人类跟上AI进化的速度。 微软研究院的研究工程师Shital Shah在知晓Keller Jordan的经历后感到非常兴奋，因为他一直认为研究就该「以这种方式进行」。 即使在「开放」的研究实验室中，你也会看到太多研究人员对「早期想法」敝帚自珍、斤斤计较。 研究分享通常只在亲密的朋友之间进行，很长一段时间，人们对此过于执着…… 任何一个想法都需要花费数月时间才能通过发表的论文面世。 而当它最终发表时，又常常淹没于大量其他论文之中。 如果有人确实注意到了它，对其做出改进又需要经历同样漫长而艰难的另一个周期。 Keller则采取了不同的方法。 他将初步想法作为公开的GitHub仓库发布，而不是以论文形式发表。 人们可以立即尝试并改进这些内容。 所有人都可以在任何时间验证所有内容。由于一切都是开放的，因此不存在作弊或夸大主张的空间。 这确实可以称得上是「分布式实时人工智能研究」！短短几天内，Keller和其他人就改进了想法。看到潜力的人们纷纷加入并协助进行并行化。 在传统的人工智能研究领域，这个反馈周期本需要6个多月的时间，而不是仅仅6天。 关于在发论文和「速通技术」之间，Keller Jordan的看法依然和半年前一样，今日他转发了一则2月份的自己的推文，表示虽然Muon火了，也帮他进入了OpenAI，但是他不会给Muon写一篇论文。 Keller Jordan的意思很明显，相比于arXiv上的一篇大概率被「淹没」的论文，还不如老老实实的继续研究自己的「优化器」。 甚至在今天还「特地」表达了自己关于目前AI优化其论文的看法——「都是虚假的，都是水文」。 影响力＞声望说来，仅凭一个博客被OpenAI招入麾下，Keller Jordan本人有着怎样的背景？ 他于2020年获得了加州大学圣地亚哥分校数学和计算机科学双学士学位，也曾就读于加州大学圣克鲁斯分校和UC伯克利。 毕业后，他曾入职专注于生成式AI公司Hive任机器学习工程师。随后，又在维也纳复杂性科学中心担任访问研究员。 直到2024年12月，Keller正式加入OpenAI。 他所有GitHub项目中，最具影响力的便是——Modded-NanoGPT，星标超2.4k。 Keller和团队仅用8块H100在3分钟内复现GPT模型，仅需处理0.73B token。 他本人还有一个个人博客，自入职OpenAI以来，一直没有更新，最后一篇文章正是Muon优化器。 Muon这篇文章究竟讲的是什么？一个优化器，破训练速度新纪录在深度学习领域，优化器是推动模型训练效率和性能的核心工具。 直到2024年12月，一个名为Muon优化器横空出世，凭借卓越性能刷新NanoGPT和CIFAR-10训练速度世界纪录。 Muon，是一种为神经网络2D参数隐藏层设计的优化器。 其核心思想是，SGD-动量法（SGD-momentum）生成的更新矩阵，通过Newton-Schulz迭代进行正交化处理，生成接近于半正交矩阵的更新，从而提升训练效率。 它的实现简单高效，支持在bf16精度下稳定运行，显著降低了计算开销。 比起AdamW优化器，Muon在多个任务中，表现非常惊艳。 在CIFAR-10中，它将达到94%准确率的训练时间从3.3缩短至2.6 A100 秒，提升约21%。 针对NanoGPT训练，Muon在FineWeb数据集上，将验证损失达到3.28训练速度提升了1.35倍。 此外，在774M和1.5B参数规模的模型上，Muon依旧保持训练速度优势。 训练一个1.5B参数的Transformer模型达到GPT-2 XL水平，Muon仅需10个8xH100小时，而AdamW需要13.3小时，效率提升约25%。 那么，在AI圈，Muon的影响力有多大？ 微软团队1月份论文中，便使用了Muon优化器。 一些机器学习大佬专为此著分析，还有更多研究中拥抱Muon优化器。 Muon的潜力 人工智能发展速度飞快，模型训练始终是其核心环节，而优化器则扮演着至关重要的角色，它负责调整模型的参数，让模型在数据上表现得更好。 过去几年里，AdamW一直是训练大语言模型的主力。 AdamW能让GPT、LLaMA、Qwen这类庞然大物学得又稳又快。 然而，随着模型参数从几亿增加到几千亿，训练时间从几天变成几周甚至几个月，AdamW的局限性开始显现——它在超大规模场景下的效率开始受到挑战。 进一步提升AI能力，需要更大的模型和更多的训练资源。 但计算资源的成本高昂，训练时间过长也会拖慢研究和应用的进度。 因此，开发更高效的优化器，不仅是技术上的追求，更是经济和实践上的迫切需求。 然后Muon「悄然出现」，尽管它还未成为业界焦点，但其独特的设计和卓越的性能表明，它可能是AI模型训练领域的一次重大基础创新。 而这个事关重大的创新，并不是来自于著名论文或者知名团队，而仅仅是Keller Jordan的一次「练手」。 AI研究员就业市场的「混乱现状」许多AI研究员博士似乎都陷入了一个误区，认为在顶级会议上发表论文就是最终目标。 曾经有一段时间，发表论文就等于产生影响！ ResNet、Seq2Seq、Adam、Attention、Transformers、MoE，都是以论文的形式出现的。 真正的错误在于未能察觉这一情况早已不再适用。 发表文章≠影响力。 Muon只是一篇博客文章。它让Keller成功进入了OpenAI，他现在可能正用它来训练GPT-5。 Keller并不是孤例！ 即便是没有获得博士学位，也可以入职OpenAI。昨天，James Campbell官宣放弃博士学位，要为ChatGPT和AGI引入记忆与人格。 传统的同行评审周期根本无法跟上现代人工智能研究和开发的步伐。 当然基于人工智能的同行评审可能还是很有必要的。 开源就像新的同行评审。现实世界的采用和可复现性更为重要。 但不幸的是，在学术界，激励机制有些错位。学者需要展示「证据」来推动自己的职业生涯（升职、资金支持、同行认可）。 而最有价值的证明形式就是在顶级会议上发表论文。 顶级AI企业的人才选拔是否已从单纯看学术论文，转向综合考察论文、工程和社区等多维度表现还不能就此下定论。 但正如OpenAI官方所言，他们「并不唯学历论，更看重实际潜力与技能」。 无论通过哪条路径，关键在于拿出过硬的成果（无论是论文、代码还是项目）并产生实质影响力。 参考资料： https://kellerjordan.github.io/posts/muon/https://www.51cto.com/aigc/4707.htmlhttps://x.com/Yuchenj_UW/status/1934291648542126580https://x.com/kellerjordan0/status/1890178773586489716 https://shital.com/blog/tweets/thread/202410131001-adamw-who-new-optimizer/推荐阅读 MIT新晋副教授何恺明《计算机视觉进展》课程，附Slides与资料下载 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研奖金675万！3位科学家，斩获“中国诺贝尔奖”！最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎大家加入DLer-大模型技术交流群！ ??长按识别，邀请您进群！