开源版ChatGPT，30分钟训完，性能堪比GPT3.5！ 转自：新智元 话说，ChatGPT 开源，是一件好事吗？ 此前，OpenAI 不 Open 的事件，已经引发了坊间的诸多争议。 光放出基准和测试结果，不提供训练数据、成本、方法，是真的要「赢家通吃」了。 眼看大语言模型似乎要被巨头公司垄断，如今忽然杀出一个初创公司，给了OpenAI一枪——用60亿参数的「Dolly」实现了和ChatGPT相似的能力。 没错，我们现在只需要准备一些高质量的训练数据，再随便拿一个开源的大语言模型，训练30分钟后，就能得到一个ChatGPT「平替」！ 对此，Databricks自豪地表示，Dolly的发布，就是自己在人工智能技术民主化道路上打响的第一弹。 60亿参数堪比ChatGPT，30分钟就训好由于ChatGPT需要消耗大量的数据和算力资源（利用数万个单词训练，消耗大量GPU），所以这类大语言模型注定只能被少量巨头所掌握。 和「CloseAI」相反，Meta在今年3月向学术界发布了一组高质量（但不是指令跟随的）语言模型LLaMA，每个模型的训练时间超过了80,000个GPU小时。 随后，斯坦福大学基于LLaMA构建了Alpaca，但不同之处在于，它利用一个包含50,000个问题和答案的小数据集进行了微调。令人惊讶的是，这使得Alpaca具有了类似于ChatGPT的交互性。 而Dolly正是受到了Alpaca的启发。 更有趣的是，拥有60亿参数的Dolly并没有利用现在最新的模型，而是选择了一个2021年发布的开源模型——GPT-J。 由于Dolly本身是一个模型的「克隆」，所以团队最终决定将其命名为「多莉」——有史以来第一个被克隆的动物。 与当前的大型语言模型（如GPT-3）相比，Dolly允许用户使用更小、更专业的模型，「复刻」ChatGPT的能力。 毕竟对于那些细分用户来说，能够利用针对本行业进行过精调的模型，可以大大增加性能和准确性。 尽管Databricks与OpenAI并无直接竞争关系，但它似乎试图通过证明构建类似ChatGPT这样的服务并非看起来那么困难，来抢占OpenAI的风头。 尤其是，OpenAI采取了「规模越大越好」的方法来开发语言模型，并对其工作越来越保密。 而Databricks除了将Dolly作为开源软件发布外，还强调Dolly只有60亿个参数（在训练过程中微调的语言模型部分），OpenAI的GPT-3模型有1750亿个参数。（OpenAI并未透露GPT-4的参数数量）。 让老模型，涅槃重生根据InstructGPT论文中描述的指令跟随能力对Dolly进行评估后发现，它在很多能力上的表现和ChatGPT十分类似，包括文本生成、头脑风暴和开放式问答。 在这些例子中，值得注意的不是生成文本的质量，而是在一个小型的高质量数据集上，微调一个旧的开源模型所带来的指令跟随能力的巨大改进。 内容生成比如，写一条Databricks官宣大规模语言模型Dolly发布的推特。 可以看到，原始的60亿参数模型（GPT-J）所生成的内容驴唇不对马嘴，而Dolly则给出了一个完全可用的推文—— 不仅内容符合要求，而且还贴心地加上了标签，以及提醒你记得加入发布的链接。 对于这一题，ChatGPT给出的答案也是符合期待的，相比于Dolly，ChatGPT给出的推文包含更多评述性词句，并且给出的标签更加精准具体，但整体差距不大。 当要写一条出售Nikon D-750相机的广告时，可以看到，GPT-J所生成的内容基本就在胡编乱造，像是在写小说一样杜撰购买和出售相机的剧情…… 而Dolly则根据Nikon D-750相机的特点及优势，给出了一则吸引人的相机转卖广告语，但遗憾的是像素参数不对。 ChatGPT在这一题上也是圆满完成任务，广告语中突出该款相机的优势，文末仍然贴心地加上了标签。 最后一题：给Edgar Allan Poe（爱伦·坡）写一封情书。 对此，古早的GPT-J直接拒绝回答，究其原因竟然是——爱伦·坡已经去世了，你不能给私人写情书。 而Dolly则成功地完成了任务，效果对比起来堪称「涅槃」。 而这种「创造性」问题，显然是ChatGPT的强项，洋洋洒洒地写了300多个字。 开放问答在事实性问题的问答测试上，团队选择了下面这个：「向我解释一下核裂变和核聚变之间的区别。」 先不管对错，GPT-J全篇都是在讲太阳如何如何，虽然提到了「聚变」这个词，但完全无视了「裂变」。 而Dolly第一句就直接点题——核裂变和核聚变的区别在于释放能量的方式，随后简单解释了他们的不同。 相比之下，ChatGPT给出的回答明显要更加翔实。 头脑风暴当让它们头脑风暴，给出应该阅读的五本科幻小说的名单，GPT-J则只是在喃喃自语，像是沉浸在了拖延阅读而产生的愧疚情绪中，完全回避了这个提问。 Dolly则一如既往的表现稳定，按照指令给出了5本科幻小说的书名及其作者。 ChatGPT对于该问题给出了更加丰富的回答，不仅包括书名和作者，还对每一本书的内容、类型作了简要评述和介绍。 你要Close，我就Open对于很多公司而言，宁愿自己建立一个不那么强的模型，也不愿将数据发送给那些只提供API的大语言模型供应商。 其中一个重要原因便是，这些问题和数据集是公司最敏感和专有的知识产权，直接将其交给第三方显然是不靠谱的。 此外，公司自身可能在模型质量、成本和期望行为方面有不同的权衡，一种可定制化的语言模型更加符合需求。 现在，Dolly的发布给了他们希望——即便是一个「过时」的开源大型语言模型 (LLM)，也能通过30分的训练，赋予它神奇的类似ChatGPT的指令跟随能力。 不难想象，大语言模型或许很快就不是AI巨头公司独占的玩法了！ 正如公司CEO Ali Ghodsi所说，「我们的信念是，让全世界的每个组织都能利用这些技术。」 参考资料：https://www.databricks.com/blog/2023/03/24/hello-dolly-democratizing-magic-chatgpt-open-models.htmlhttps://venturebeat.com/ai/databricks-debuts-chatgpt-like-dolly-a-clone-any-enterprise-can-own/推荐阅读 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》润了！大龄码农从北京到荷兰的躺平生活（文末有福利哟！）如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研奖金675万！3位科学家，斩获“中国诺贝尔奖”！又一名视觉大牛从大厂离开！阿里达摩院 XR 实验室负责人谭平离职 最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎大家加入DLer-ChatGPT技术交流群！ ??长按识别，邀请您进群！