复旦MOSS大模型开源了！Github和Hugging Face同时上线 来源：量子位复旦大模型MOSS，正式开源了！ 作为国内首个开放测试的类ChatGPT产品，MOSS开源地址一放出，又冲上知乎热搜： 从官网介绍来看，MOSS是一个拥有160亿参数的开源对话语言模型。 它由约7000亿中英文及代码单词预训练得到，精度要求不那么高的话，甚至可以在单张3090显卡上运行。 MOSS支持中英双语，拥有多轮对话和使用多种插件双重能力，具备搜索引擎、文生图、计算器、方程求解的“技能点”。 目前，MOSS在GitHub上已有2.3k Star，热度还在持续上涨中。 那么，MOSS究竟开源了哪些项目，目前有哪些功能？一起来看看。 会解方程，也能生成图片据了解，这次MOSS开源的是第三轮迭代版本，名叫MOSS 003。 当然，MOSS 003也并非开源了全部模型，目前主要开放的是基座预训练模型，最终模型即将在近期开源： 此前，MOSS已经经历了两版迭代，一版是公开邀请内测的MOSS 002版本，另一版是内部测试版本OpenChat 001。 三月份大伙儿见证的“国内首个开放测试的ChatGPT”，正是MOSS 002版本。 最新这个版本展现的功能效果如何？ MOSS团队放出了它多轮对话、解方程、写代码、生成图片和回答道德伦理等示例。 这是多轮对话的展示效果，具备资料追根溯源的能力： 这是做数学题的示例，包括鸡兔同笼问题： 也包括生成图片功能： 还有近期网友热议的AI道德性问题： 当然，这波里面也不乏“砸场子”的网友。 例如官方GitHub问答中，有网友很想了解它的中文能力和chatglm6b相比谁更好，下面有网友调侃： 你是来砸场子的么？ 这也是因为此前团队在MOSS 002公开测试时曾经表示过，MOSS的中文能力不算太好，这也与训练数据有关。 除此之外，团队这次还开源了一部分训练数据。 至于完整数据，复旦MOSS团队表示“近期会全部开源”。 国内最先发布的ChatGPT产品MOSS取自于《流浪地球》里面那个拥有自我意识的AI。 它由复旦自然语言处理实验室邱锡鹏团队研发，2月20日正式发布。 当时国内一众大厂还在陆续高调官宣要造ChatGPT，谁都没想到它就这么一声不吭地杀了出来。 所以尽管MOSS的参数量比ChatGPT小了一个量级，大家还是蜂拥而上，把服务器都给挤爆了。 而发布没过一周，复旦大学教授邱锡鹏就在演讲中提出，如果优化顺利，计划在三月底开源MOSS。 因为在他看来： 人们之所以很容易有“卡脖子”问题，是因为缺乏一个好的行业生态。 就拿ChatGPT来说，OpenAI公司只需专注做好模型，算力、数据和系统则交给其他公司。反观国内，很多公司在做大型语言模型时所有环节都需要自己做，每家的数据和算力也有限，结果是每家都做不大。在发展过程中，大型语言模型训练与在线推理成本过高也是一个重大问题。 因此，他们一开始就考虑要把MOSS开源而不是商业化。 有了这样一个基座，大家就不用重复开发底层技术，可以在上面接不同的细分领域。 如今，虽晚了快一个月，MOSS也说到做到了。 你试用过复旦MOSS开源模型了吗？效果如何？ MOSS开源项目地址： [1]https://github.com/OpenLMLab/MOSS [2]https://huggingface.co/fnlp/moss-moon-003-base [3]https://huggingface.co/fnlp/moss-moon-003-sft [4]https://huggingface.co/fnlp/moss-moon-003-sft-plugin 参考链接： https://www.zhihu.com/question/596908242 推荐阅读 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》润了！大龄码农从北京到荷兰的躺平生活（文末有福利哟！）如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研奖金675万！3位科学家，斩获“中国诺贝尔奖”！又一名视觉大牛从大厂离开！阿里达摩院 XR 实验室负责人谭平离职 最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎大家加入DLer-计算机视觉技术交流群！ 大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。 进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明） ??长按识别，邀请您进群！