前OpenAI高管，北大校友Lilian Weng自曝公司首个产品？估值90亿 来源：新智元 OpenAI前研究员大佬、如今的Thinking Machines Lab联创Lilian Weng，刚刚转发了一个神秘产品——一个看似仪表盘的东西。 或许，这就将是公司即将打造的第一个爆品？ 这个产品所揭示的理念，可谓十分惊人—— 在训练过程中，研究人员可以直接用它来手动调整所有的超参数了！ Lilian Weng宣称：总有一天我们会涉足硬件领域，而现在就是时候了。 所以，这个最高估值90亿美元神秘新公司的首个产品，或许就是这个硬件？ 前CTO组建的神秘公司，憋的大招是这个？ 其实，分享出这个视频的，是前谷歌DeepMind员工Stephen Roller，后来，他又跳到了Character AI，现在来到了Thinking Machines Lab。 他表示，一些团队需要通过参数遍历、启发式方法或者Scaling Law来确定训练的学习率。 但是在Character，他们只需要让Noam Shazeer来手动调到正确的值。 这个idea，着实让开发者们兴奋了。 看起来，这似乎比大多数调度方法都要好。 有人问道，为什么在这个过程中，还需要绘制学习率的平均值呢？ Stephen Roller回答说：「并不一定。对于所有指标，我们都会跟踪平均值和分母。对于学习率（LR），分母始终为1。这只是我们模板的一个副作用。」 有人表示，这个方法看起来太赞了！不过，仍然会需要做很多超参数搜索。 而且，他还发现了一件事，就是很多人在训练出不错的模型但达到瓶颈后，通常不会尝试分支搜索，即不会把这个模型衍生出几个不同学习率的训练路径。 但其实，如果提前主动剪掉一些没前途的分枝，其实是能节省不少算力的。 另外还有一名Character员工爆料说，其实在实践中，你需要花费大量的计算资源和精力，才能超越Noam随口提出的超参数。莫非，这是大神独有的一种神秘手动天赋？ 「或许未来，AI研究中心会类似于老式发电厂的控制室？」 还有人玩起了梗：以后训大模型会是这样的，把实验接到DJ混音器上，然后开始凭感觉微调超参数？ 一篇论文未发，已经估值90亿神秘的Thinking Machines Lab，由Murati牵头，网罗了一堆OpenAI的天才核心员工。 虽然一篇论文未发，但公司的估值已经达到了惊人的90亿美元。 现在，公司旗下的大神包括但不限于—— Lilian Weng，OpenAI前研究副总裁（VP of Research），主管模型安全。 OpenAI联创John Schulman，主导了ChatGPT的研发工作；2022至2024年间，共同负责为ChatGPT和OpenAI API开发核心模型架构。 ChatGPT共同创始人Barret Zoph，OpenAI前研究副总裁，主管后期训练方向。 GPT开山一作、「爱因斯坦级天才」Alec Radford，「史上最强本科学历AI研究员」。 OpenAI首席研究官，塑造GPT-3、GPT-4、o1的关键人物Bob McGrew。 OpenAI前多模态团队负责人Alexander Kirillov。 现在，Thinking Machines的网站上列出了38名创始团队成员，其中有19人都是OpenAI的老员工，还有多位华人科学家。 在表面上，Thinking Machines这块调参「DJ台」看起来只是一个极客味十足的训练工具；但如果放到更宏大的产业棋局中，它的意义远不止于此—— 它揭开了下一场AI大战的序幕：一场关于「谁能占据AI硬件入口」的全新较量。 另一边，OpenAI也早已悄悄布局。 就在不久前曝光的一份内部文件中，它写得清清楚楚—— ChatGPT的未来，不只是网页和APP，而是一种「无处不在、永不离线」的全新硬件形态。 OpenAI：AI+硬件的野心被挖出 在2024年12月2日，OpenAI的一份内部文件，提到「Ship a [REDACTED] by 2026」。 这些文件来自美国司法部诉谷歌垄断案（U.S. v. Google (2024) (1:20-cv-03010)），基本上就是真材实料，因为涉及到具体的商业机密，所以关键部分做了处理。 OpenAI在文件中坦言：网站、手机、桌面应用，仍无法让ChatGPT「无处不在」。 他们设想的，是能融入家庭、街道、职场、独处时刻的全能AI硬件。 被打码的极有可能是一款硬件设备。 ChatGPT翻译的OpenAI内部文件大意： 在2026年前推出一款██████████ 如今，ChatGPT已通过我们的网站、手机和桌面应用的形式出现在生活中。但我们对ChatGPT的愿景，是让它无论你身在何处，都能陪伴你的整个生活。 在家中，它应该能帮你解答问题、播放音乐、推荐食谱；在路上，它应该能帮你导航、寻找最棒的餐厅、联络朋友；在工作中，它应该能帮你做会议记录或准备重要演讲；而在独自行走时，它应该能陪你思考、放松心情。 我们希望ChatGPT成为█████████████████████████████████████████████。 最好的AI，是那个始终陪伴在你身边的AI。 ChatGPT还给出了合理猜测：OpenAI要发布个人AI设备，他们希望ChatGPT成为实时响应、无处不在、始终陪伴的AI助手。 它还给出了依据说明： 这都说得通：什么东西能「始终陪伴」？ 因为手机已经被排除，智能手表之类的硬件是个可能的选择。 在曝料贴下，网友Gordon Sloane还上传了带有OpenAI商标的设备。 最近，OpenAI还收购了知名硬件设计师Jony Ive的设计工作室LoveFrom，意在智能设备。 根据OpenAI发布的新闻，早在两年前，Jony Ive的创意团队LoveFrom悄然开始与OpenAI团队展开合作。 为了探索更多AI工具与产品形态，一年前，Jony Ive联合Scott Cannon、Evans Hankey与Tang Tan创立了io设计公司。 左：Jony Ive；中：Evans Hankey；右：Tang Tan Jony Ive曾担任苹果公司的首席设计官（chief design officer），主管产品设计和人机界面设计。 OpenAI显然在效仿Apple，试图以Jony Ive的美学重塑AI硬件体验，押注属于AI时代的下一个「iPhone时刻」。 而那些被挖出的内部文件，无疑也在佐证OpenAI谋划多时，意在智能硬件的目标绝非一时起意。 参考资料：https://x.com/TechEmails/status/1926683901004517726https://x.com/lilianweng/status/1926490532529770614推荐阅读 MIT新晋副教授何恺明《计算机视觉进展》课程，附Slides与资料下载 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研奖金675万！3位科学家，斩获“中国诺贝尔奖”！最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎大家加入DLer-大模型技术交流群！ ??长按识别，邀请您进群！