​“从0到1手搓GPT”教程来了！李飞飞高徒出品，马斯克点赞！ 来源：量子位 “从0到1手搓GPT”教程来了！ 视频1个多小时，从原理到代码都一一呈现，训练微调也涵盖在内，手把手带着你搞定。 该内容刚发出来，在Twitter已吸引400万关注量，HackerNews上Points也破了900。 连马斯克也下场支持。 评论区更是一片锣鼓喧天鞭炮齐鸣，网友们纷纷马住。 有人评价，Andrej确实是一位出色的“事物解释者”，也热心于回答大家的问题。 还有网友更夸张，称该教程简直是来“救命”。 那么，这位活菩萨是谁？ 正是前特斯拉AI总监，李飞飞高徒——Andrej Karpathy。 教程具体说了什么？ 这就来展开讲讲。 从零构建GPT，总共几步？视频教程先从理论讲起。 第一部分主要关于建立基准语言模型（二元）以及Transformer核心注意力机制，以及该机制内节点之间的信息传递，自注意力机制理论也有涉及。 该part内容长度超过1小时，不仅有概念解释，还教你如何使用矩阵乘法、添加softmax归一化，可谓“夯实基础”式讲解。 接着讲述构建Transformer。 这当中涉及了多头注意力（包括如何插入自注意力构建块）、多层感知机（MLP）、残差连接、归一化方法LayerNorm以及如何在Transformer中添加Dropout Notes……. 然后，作者会带大家训练一个模型，当中会用到一个名为nanoGPT的库，可调用GPT-2参数，快速完成GPT模型的训练。 教程中，作者还将所得模型与Open AI的GPT-3比较。两者规模差距达1万-100万倍，但神经网络是相同的。另一个将拿来比较的是人尽皆知的ChatGPT，当然，我们目前所得只是预训练模型。 在上述内容引导下，我们已得一个10M参数规模的模型，在一个GPU上训练15分钟，喂给1MB大小的莎士比亚文本数据集，它就能像莎士比亚一样输出。 比如下面两张图，你能分辨哪个是真人莎士比亚写的吗？ 评论区有人好奇选什么GPU资源。作者也分享了下——自己用的是Lambda的云上GPU，这是他目前接触按需计费GPU中，最简单的渠道。 光说不练不行，作者还给出一些课后练习，总共四道题，包括： N维张量掌握挑战； 在自己选择的数据集上训练GPT； 找一个非常大的数据集，基于它训练Transformer，然后初始化再基于莎士比亚数据集微调，看能否通过预训练获得更低的验证损失？ 参考Transformer相关论文，看看之前研究中哪些操作能进一步提升性能； 神器nanoGPT也刚发布前文提及，作者之所以能快速完成训练GPT，有赖于一个名nanoGPT的库。 这也是本教程作者前几天刚发布的利器，由2年前的minGPT升级而来，只是换了个更“标题党”的名字，自称纳米级（nano）。目前，其在GitHub所获star已超8k，网友连连点赞。 据作者介绍，该库里面包含一个约300行的GPT模型定义（文件名：model.py），可以从OpenAI加载GPT-2权重。 还有一个训练模型PyTorch样板（文件名：train.py），同样也是300多行。 对想上手的AI玩家来说，无论是从头开始训练新模型，还是基于预训练进行微调（目前可用的最大模型为1.3B参数的GPT-2），各路需求均能满足。 △一个训练实例展示 据作者目前自己的测试，他在1 个 A100 40GB GPU 上训练一晚，损失约为 3.74。如果是在4个GPU上训练损失约为3.60。 如果在8个A100 40GB节点上进行约50万次迭代，时长约为1天，atim的训练降至约3.1，init随机概率是10.82，已将结果带到了baseline范围。 对macbook或一些“力量”不足的小破本，靠nanoGPT也能开训。 不过，作者建议使用莎士比亚（shakespeare）数据集，该数据集前文已提及，大小约1MB，然后在一个很小的网络上运行。 据他自己亲身示范，创建了一个小得多的Transformer（4层，4个head，64嵌入大小），在作者自己的苹果AIR M1本上，每次迭代大约需要400毫秒。 （GitHub上nanoGPT链接附在文末，有需要的朋友自取） One More Thing此番教程作者Karpathy Andrej在圈内早已颇有名气，他在斯坦福时，师从华人AI大牛李飞飞，后又曾工作于Open AI。 此前，Karpathy就在致力于让更多人接触了解神经网络和相关数据集。2020年8月，他就曾发布nanoGPT前一代，MinGPT，同样旨在让GPT做到小巧、简洁、可解释，同样主打——300行代码解决问题。 Karpathy另一个身份是前特斯拉AI核心人物。 在马斯克麾下，他历任特斯拉高级AI主管、特斯拉自动驾驶AutoPilot负责人、特斯拉超算Dojo负责人、特斯拉擎天柱人形机器人负责人… 2022年7月，Karpathy Andrej离职，在业内引发不小讨论。当时他就表示，未来将花更多时间在AI、开源技术教育上。 这回发布的从0开始构建GPT课程，正是他教学计划的一部分。 课程视频： https://www.youtube.com/watch?v=kCc8FmEb1nY nanoGPT GitHub链接： https://github.com/karpathy/nanoGPT 参考链接： [1]https://twitter.com/karpathy/status/1615398117683388417?s=46&t=69hVy8CNcEBXBYmQHXhdxA [2]https://news.ycombinator.com/item?id=34414716 推荐阅读 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》润了！大龄码农从北京到荷兰的躺平生活（文末有福利哟！）如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研奖金675万！3位科学家，斩获“中国诺贝尔奖”！又一名视觉大牛从大厂离开！阿里达摩院 XR 实验室负责人谭平离职 最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎大家加入DLer-计算机视觉技术交流群！ 大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。 进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明） ??长按识别，邀请您进群！