ChatGPT 发布后这两年，该关注什么？机器之心打包了24个主题350多篇高质量文章 机器之心原创机器之心编辑部 2022 年 11 月 30 日，OpenAI 发布 ChatGPT，从此世界再也不一样了。 在这两年时间里，ChatGPT 迭代了好几代版本，获得了多模态处理以及强大的推理能力。现在，两年时间过去了，OpenAI 依然引领着这个时代的 AI 发展潮流。但与此同时，它的开源和闭源竞争者们也在奋力直追，包括 Anthropic 的 Claude、谷歌的 Gemini、Meta 开源的 Llama、Mistral AI 的系列模型以及国内的 DeepSeek、阿里 Qwen。 另一方面，扩散模型的成功也让视觉生成模型进入了爆发时代。我们看见 Stable Diffusion 开源图像模型在社区中得到广泛的应用，Midjourney 凭借卓越的细节和艺术风格生成能力成为高质量视觉生成应用的典范，另外也有谷歌 Imagen、Adobe Firefly 以及 Meta 的 Make-A-Scene 等适用于不同场景的 AI 技术或应用，当然还有备受期待却一直没能显露真身的 Sora。 这两年里，AI 更是在编程方面一往无前，现在甚至已经能根据用户的一句话生成完整的代码库。不仅如此，AI 也正在渐渐掌握使用外部工具乃至操控用户计算机的能力。 小模型也是一个重要的发展方向。量化、剪枝、压缩……研究社区构想出了多种多样的方法，力求在降低模型大小的同时不对模型性能带来明显影响，从而将 AI 能力集成到更多边缘设备中。 这两年里，AI 领域的热点事件也是一个接着一个，让人目不暇接。分裂与融合、炒作与幻灭、突破与瓶颈、创新与规制。 我们看到了 OpenAI 高层持续不断地动荡；AI 模型发布接连不停、应用层出不穷；在 AI 淘金热中卖铁锹的英伟达成长为全球市值第一公司；多个国家和地区出台关于 AI 应用的法律法规（如《欧盟人工智能法案》）；关于 AI 的路线之争、版权争议、各不一样的 AGI 预言、社会影响的讨论也愈发热烈；到了今年 10 月份，AI 研究者还在争议之中获得了今年的诺贝尔物理学和化学奖。 值此 ChatGPT 发布两周年之际，机器之心精心编排了我们这两年发布的技术干货与高质量文章，涵盖 AI 推理、小模型、Transformer、多模态、具身智能等诸多类别，助你把握住这高速动态变化的 AI 领域。此外，我们还整理了之前的高质量教程与学习资料，一起打包奉上。（注：强调一下，这是机器之心发布过的高质量文章的合集，超链接形式整理） 注意不同分类中的文章可能会有所重叠，比如某篇文章可能既属于强化学习类别，也属于具身智能类别。 主题目录 大模型考古学：洞见 ChatGPT 的成王之路（5 篇） Scaling Law 撞墙了吗？（6 篇） System 2 以及 Al 的推理与规划（19 篇） 小模型，AI 普及的关键？（13 篇） 混合专家（MoE（6 篇） 进化的 Transformer 及其竞争者（37 篇） 强化学习，让 AI 像人一样学习（22 篇） AI 也能自我进化（6 篇） 口耳鼻舌身意，多模态 AI 百花齐放（18 篇） 智能体：自主决策的能力和范围都在提升（12 篇） 世界模型与空间智能：让 AI 进入物理世界的关键（13 篇） 当 AI 有了身体，具身智能时代的黎明（20 篇） AI 编程已经迎来颠覆性应用（5 篇） AI 与自然科学：已经得到诺贝尔奖认可（4 篇） AI 与数学（8 篇） 如何发掘大模型潜力？提示词工程、RAG 与 LoRA（24 篇） 如何确保 AI 安全？可解释性和对齐相关研究（56 篇） 大模型加速与效率提升（11 篇） 其它方向的探索：从意识理论到群体智能（10 篇） 从头开始实现，包教包会的实用教程（12 篇） 课程与学习资料（14 篇） 访谈以及经验分享（19 篇） 智者访谈（7 篇） 机器之心必备经典模型专栏文章（24 篇） 大模型考古学：洞见ChatGPT的成王之路 ChatGPT 并非朝夕之功，从 2017 年 Transformer 诞生到 2022 年 OpenAI 发布 ChatGPT 这一革命性应用，这背后是多年的技术探索和不断突破。这个过程中，既有仅解码器、仅编码器、编码器-解码器的范式之争，也有注意力等关键机制的不断优化。下面我们整理了 5 篇与 ChatGPT 相关的大模型谱系研究文章。 盛名一时的BERT哪去了？这个问题的答案昭示了LLM范式的转变 从BERT到ChatGPT，百页综述梳?理预训练大模型演变史 ChatGPT的前世今生：OpenAI的技术「执拗」与「豪赌」 后GPT书：从GPT-3开始，续写Transformer庞大家族系谱 哈工大计算学部长聘教授车万翔：ChatGPT浅析 Scaling Law 撞墙了吗？ 参数量越大、数据越多、算力越高，模型就越强。这个基于规模扩展的 Scaling Law 多年来一直指引着 AI 领域的发展。然而，不久前 The Information 的一篇文章将「Scaling Law 是否已经撞墙」的议题摆在了公众眼前，而争议双方也各执一词，至今没有达成共识。 下面我们梳理 6 篇有关 Scaling Law 的深度报道和相关研究。