国产百亿大模型再增一员！400亿参数孟子GPT发布。。。。 来源：量子位刚刚，国产大模型明星选手孟子GPT上新！ 400亿参数通用大模型正式发布，已开启邀测。 数据显示，孟子GPT-40B版本全面领先7B版本，大约提升10-15个百分点。 并超越部分国内大模型，在多语言任务等方面接近ChatGPT-3.5。 孟子GPT来自澜舟科技，其创始人为NLP领域大牛周明。 自21年成立以来，澜舟科技先后发布孟子系列模型、MChat以及多个垂直领域模型，并拿下数亿元融资。 这次发布是孟子GPT上新。除了基础大模型以外，澜舟科技还同步上线了行业大模型，以及基于大模型的产品应用。 分别是： 基于孟子GPT打造的金融大模型 基于孟子GPT打造的会议内容分析平台“澜舟智会” 基于这三方面上新，澜舟科技也表示，未来将全面拥抱MaaS服务，提供基础模型、大模型训练框架/工具包等服务。 使用更成熟预训练技术据发布会介绍，孟子GPT-40B主要在中文及多语言能力、写作、多轮对话等方面做了提升。 通过网页、百科、社交媒体、新闻以及高质量开源数据集，孟子GPT-40中文能力更加突出。 并且基于万亿tokens多语言语料联合训练，更进一步提升了英语等语言能力。 在底层算法上，澜舟表示使用了更成熟的预训练技术，利用50万指令数据精调，基于70亿参数量的奖惩函数进行强化学习。 基于FlashAttention的高效注意力计算，训练速度提升8.5倍。基于TGI等加速框架，推理速度提升4.6倍。 在孟子GPT-40B基础上，还能更进一步训练出行业大模型。 同步发布的澜舟智会，能提取出会议录音/视频的核心内容，生成总结和摘要，并且能对要点进行问答。 就在最近，孟子大模型还登顶中文大语言模型测评榜单C-Eval。 澜舟已拿下数亿元融资澜舟科技是以NLP技术为基础的认知智能公司，由AI大牛周明创办，成立于2021年6月。 周明，当今NLP领域成就最高的华人之一，他不仅是中国第一个中英翻译系统的研制者，还在2019年成为AI语言领域最高级顶会ACL（国际计算语言协会）主席。 1991年在NLP重镇哈工大拿到博士学位后，周明进入清华任教；1999年被微软亚洲研究院创始院长李开复挖走，后来不久成为NLP研究组负责人。 2020年离开MSRA加盟创新工场担任首席科学家时，周明已担任MSRA副院长多年。 澜舟科技成立以来，主打加速AI落地，在轻量化大模型、垂直领域大模型上都做了颇多探索。 据介绍，除了孟子大模型外，目前澜舟科技已经开源了20个左右大模型。 今年3月，澜舟科技最新拿下Pre-A轮融资，由北京中关村科学城公司领投，斯道资本和创新工场跟投。这是澜舟科技收获的第2轮融资，2轮累计总额数亿元。 推荐阅读 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》润了！大龄码农从北京到荷兰的躺平生活（文末有福利哟！）如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研奖金675万！3位科学家，斩获“中国诺贝尔奖”！又一名视觉大牛从大厂离开！阿里达摩院 XR 实验室负责人谭平离职 最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎大家加入DLer-计算机视觉技术交流群！ 大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。 进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明） ??长按识别，邀请您进群！