Google DeepMind副总裁 加盟字节AGI 来源：量子位字节跳动大模型团队，又添一员大将。 据智能涌现消息，Google DeepMind研究副总裁、Google Fellow吴永辉已离开谷歌，加盟字节Seed。 吴永辉，南京大学校友，博士毕业于加州大学河滨分校，2008年博士毕业就加入了谷歌，司龄近17年。 他是谷歌神经机器翻译项目及Rank Brain项目的主要贡献者之一。在2023年谷歌大脑和DeepMind合并之后，他也参与到了谷歌大模型Gemini的研发工作当中，Gemini 1.5论文显示，他是Core Contributor之一—— 这意味着他在对Gemini项目有着重大影响。 根据Google Scholar，吴永辉的论文引用量已超5万，h-index达到72。 谷歌L10，Gemini核心贡献者具体来看吴永辉的履历。 吴永辉2001年本科毕业于南京大学计算机科学专业，毕业后加入微软。 在微软工作3年后，他重返学校，前往加州大学河滨分校深造，4年时间获得CS博士学位和统计学硕士学位。 博士毕业后，吴永辉就加入了谷歌，至今已近17年。 谷歌大脑时期，吴永辉的研究围绕语音展开，主要研究方向包括ASR（自动语音识别）、NMT（神经网络机器翻译）、TTS（语音合成）、语言建模和排序等。 他的最高引论文就产出于这一阶段： 论文提出了谷歌神经机器翻译系统GNMT，基于Ilya的Seq2Seq框架和注意力机制，研究人员们解决了当时神经机器翻译训练、推理成本高昂，以及处理罕见词时存在困难等主要痛点。 在当时，GNMT相较于过往的短语翻译系统，翻译错误减少了超60%。 到了2023年，为应对ChatGPT掀起的大模型风暴，谷歌旗下两大顶级AI团队谷歌大脑和DeepMind合并。吴永辉也就此参与到Gemini的研发工作当中。 领英显示，吴永辉在此阶段已升任为谷歌研究副总裁、Google Fellow。 所谓Google Fellow，对应的是谷歌职级当中的L10—— 这通常被视作谷歌的最高职级，在此之上的L11，公开资料显示就2个人：Jeff Dean和Sanjay Ghemawat。前者是谷歌首席科学家，后者是美国国家工程院和美国艺术与科学院（AAAS）院士，二人被认为为谷歌的技术创新和发展做出了不可磨灭的贡献。 具体到Gemini的相关论文中，吴永辉的名字出现在“Gemini App总体技术负责人”一列。 Gemini 1.5则将其划分为“核心贡献者”。 根据爆料，加入字节后，吴永辉将担任大模型团队Seed基础研究负责人，专注于偏长期的研究探索工作，直接向CEO梁汝波汇报。 值得一提的是，今年1月，字节跳动刚刚启动了代号为Seed Edge的AGI长期研究计划，提出核心目标“做比预训练和大模型迭代更长期、更基础的AGI前沿研究”。 Seed Edge的5大研究方向包括： 下一代推理：探索更高效且更通用、提升模型推理能力的方法。 下一代感知：找到统一生成和理解表示的方法，表示和压缩真实世界，构建 “世界模型”。 软硬一体的模型设计：从软硬一体出发，探索Transformer+GPU之外的模型设计，发挥下一代硬件的能力。 下一代范式：在反向传播、Transformer架构、预训练+对齐的模式之外，探索更高效的模型结构和学习方法。 下一代Scaling方向：在预训练和推理阶段的Scaling Laws之外，探索Multi-Agent（多智能体）和Test-Time Training（测试时间训练，动态调整模型参数）等方向。 而在2月13日的字节跳动全员会上，梁汝波也提到，以AI业务为例，今年最重要的三个事情是：探索智能上限；探索新的UI交互；加强规模效应。 AI是一场马拉松，现在还很早，只是前500米。我们希望团队的心态是既进取，又耐心。 或许吴永辉的加入，是这种进取和耐心的最新具象化体现。 推荐阅读 MIT新晋副教授何恺明《计算机视觉进展》课程，附Slides与资料下载 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研奖金675万！3位科学家，斩获“中国诺贝尔奖”！最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎大家加入DLer-计算机视觉技术交流群！ 大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。 进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明） ??长按识别，邀请您进群！