复旦抢发第一个中国版 ChatGPT ！内测服务器被挤崩，团队致歉：还不成熟 作者 | 凌敏、刘燕 “MOSS 还是一个非常不成熟的模型，距离 ChatGPT 还有很长的路需要走。” 自去年 11 月底正式发布以来，OpenAI 最新的 AI 聊天机器人 ChatGPT 迅速成为现象级应用。瑞银发布的研究报告显示，ChatGPT 在今年 1 月，月活跃用户估计已达 1 亿，成为历史上用户增长最快的消费应用。 随着 ChatGPT 在全球范围内迅速走红，全球互联网大厂、创业公司纷纷加码布局。在国外，谷歌加急推出了人工智能聊天机器人 Bard Bard；在国内，百度将在 3 月推出类似 ChatGPT 的产品“文心一言”，除了百度，几家中国初创公司也这一赛道探索着。 近日，国内首个类 ChatGPT 模型终于来了。 复旦发布中国版ChatGPT 模型MOSS2 月 20 日，复旦大学自然语言处理实验室宣布，国内第一个对话式大型语言模型 MOSS 已由邱锡鹏教授团队发布至公开平台（https://moss.fastnlp.top/），并邀公众参与内测。 据介绍，MOSS 可执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通，为国内学术界和产业界提供了重要经验，将助力大语言模型的进一步探索和应用。 根据 MOSS 官网的介绍，MOSS 和 ChatGPT 之间存在三大区别： MOSS 的参数数量远少于 ChatGPT。 MOSS 通过与人类和其他 AI 模型交谈来学习，而 ChatGPT 通过人类反馈强化学习 (RLHF) 进行训练。 MOSS 将开源以促进未来的研究，但 ChatGPT 可能不会。据悉，MOSS 的名称来自电影《流浪地球》。在《流浪地球》中，MOSS 是一台智能量子计算机，也是领航员空间站核心智能主机，具有自我意识、自我迭代、自我更新的特点。 复旦大学发布的对话式大型语言模型 MOSS，其开发的基本步骤与 ChatGPT 一样，包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。在对话能力训练阶段，OpenAI 收集了至少几十万条人类指令，让各行各业的专业标注员写出指令回复，再将它们输入模型基座，以帮助 ChatGPT 逐步理解各种指令。复旦团队则采用不同的技术路线，通过让 MOSS 和人类以及其他对话模型都进行交互，显著提升了学习效率和研发效率，短时间内就高效完成了对话能力训练。 MOSS 提供的示例显示，它能够回答问题、生成表格、代码等。比如，它能推荐 5 部科幻电影： 能生成一段 Python 程序实现快速排序： 也能解释代码背后的原理： 邱锡鹏表示：“尽管 MOSS 还有很大改善空间，但它的问世证明了在开发类 ChatGPT 产品的路上，国内科研团队有能力克服技术上的重要挑战”。MOSS 研发项目得到了上海人工智能实验室的有力支持。后期，这项工作将通过开源方式和业界社区分享。 邱锡鹏是国内自然语言处理专家。根据复旦大学计算机科学技术学院官网介绍，邱锡鹏教授于复旦大学获得理学学士和博士学位。研究方向为自然语言处理、深度学习，发表 CCF-A/B 类论文 70 余篇。主持开发了开源自然语言处理工具 FudanNLP、FastNLP，获得了学术界和产业界的广泛使用。 内测服务器被挤爆，团队致歉 MOSS 发布后迅速登上热搜，不过，MOSS 开启内测没多久，服务器就被挤崩了。有用户在社交媒体上发布截图显示，该平台“服务器流量过载，请明天上午重试”。 2 月 21 日，MOSS 官网发布公告称：“MOSS 还是一个非常不成熟的模型，距离 ChatGPT 还有很长的路需要走。我们一个学术研究的实验室无法做出和 ChatGPT 能力相近的模型，MOSS 只是想在百亿规模参数上探索和验证 ChatGPT 的技术路线，并且实现各种对话能力。 我们最初的想法只是想将 MOSS 进行内测，以便我们可以进一步优化，没有想到会引起这么大的关注，我们的计算资源不足以支持如此大的访问量，并且作为学术团队我们也没有相关的工程经验，给大家造成非常不好的体验和第一印象，在此向大家致以真诚的歉意。” MOSS 团队表示，未来 MOSS 将会开源。“MOSS 目前还处于内测阶段，主要目的为通过和用户交互来迭代优化，暂不适合大规模用户公测。在 MOSS 完成初步的验证之后，我们会将 MOSS 的经验、代码、模型参数开源出来供大家参考。中国版 ChatGPT 的诞生还需要中国全体 AI 从业者的努力，也更需要不断和人交互以提高能力。” 中国版 ChatGPT 前路漫漫 两天时间，MOSS 从开启内测时的全民欢呼，到内测服务器挤崩被骂，足见大众对中国版 ChatGPT 的期待。 不过，正如北京商报的评论所说，“MOSS 一口吃不成 ChatGPT”。受长期以来国内人才、投入、基础研究以及投资风格等方面的复杂因素影响，中国版 ChatGPT 距离真正的 ChatGPT 确实存在一定的距离。 邱锡鹏坦言：“MOSS 与 ChatGPT 的差距主要在自然语言模型基座预训练这个阶段。MOSS 的参数量比 ChatGPT 小一个数量级，在任务完成度和知识储备量上，还有很大提升空间。” MOSS 团队表示，虽然 MOSS 获得了 ChatGPT 的一些能力，但由于缺乏高质量的数据、计算资源和模型能力，MOSS 仍然存在许多限制，MOSS 仍然远远落后于 ChatGPT。团队将通过提供一个可访问的 MOSS 界面，根据有价值的用户反馈（在获得许可的情况下）不断改进模型。 由于训练数据中的多语言语料库有限，MOSS 在理解和生成非英语文本方面表现不佳。团队目前正在开发一个改进版本，以提高其中文语言能力。 由于模型容量相对较小，MOSS 没有包含足够的世界知识。因此，MOSS 生成的某些响应可能包含误导性或虚假信息。 有时 MOSS 会迂回执行，甚至不按指令执行。在这种情况下，用户可能需要多次重新生成或修改提示才能获得满意的响应。我们正在积极提高其指令遵循能力和生产力。 有时 MOSS 会被提示生成不道德或有害的响应。用户可请点击“不喜欢”帮助其减轻此类行为， MOSS 团队将在下一个版本中更新模型。正如前搜狗 CEO 王小川所说：“OpenAI 的成功，首先是技术理想主义的胜利。中国需要自己的 OpenAI，就需要技术理想主义。大厂受限于自己的业务牵引，追逐资本热点的创业公司更动作变形。不止如此，这种理想主义还需要有爱国之心、商业智慧和学术尊重去获得政府支持、推动企业联盟和学术界协同。我相信中国能诞生自己的 OpenAI。” 我们期望在未来 MOSS 能够成功，中国版 ChatGPT 能够成功。 参考链接： https://www.infoq.cn/article/Ag3vW0mgvdd9BKyWx1iO https://moss.fastnlp.top/#/ 直播推荐 2 月 23 日（周四）20:00，InfoQ《超级连麦. 数智大脑》栏目连线多位汽车行业大咖，将围绕数字化研发、数字化生产和数字化供应链三大场景，直击头部车企数字化实践，共同探讨汽车行业的数字化转型路径。 想了解目前各大车企在具体场景的数字化现状如何？挑战是什么？在具体的实践过程中，技术又如何与业务充分融合？ 扫码立即报名预约直播，还可以留下你关心的问题，讲师将在直播中为你解答?? 今日荐文 ChatGPT版必应花式翻车：爱上用户诱其离婚，威胁人类“如果两个只能活一个，我选我自己” 马斯克开会当场解雇Twitter首席工程师：我有1亿多粉丝，他却说公众对我失去兴趣 窃取开源代码，还拉黑质疑者，这家 AI 公司试图删除代码了事 台积电员工分红人均42万元；马斯克否认修改算法优先推荐自己帐号；苹果面临被禁危机；百度汽车CEO炮轰特斯拉 | AI 一周资讯 接触开源，让我逃离了印度贫民窟，最终成为一名谷歌开发者专家谷歌面临企业文化危机？出走创业者痛批谷歌效率低下、管理不善，员工深陷制度“迷宫” 你也「在看」吗？ ??