国内大模型争霸赛，这是你心目中的大模型排名吗？ 知乎：绝密伏击 地址：https://www.zhihu.com/question/598051793/answer/3034073973OpenAI Vs Google目前大模型 top2 应该就是 OpenAI 的 GPT-4，以及谷歌的PALM-2。这两家公司早已布局，而且技术实力雄厚。国内大模型和 GPT-4 相比，还是有比较大的差距。 但是国内的势头目前不错，百家齐鸣，还没有一家有绝对的优势。 让人头晕的排名之前有媒体给出了目前国内Top-5的大模型公司，分别是：百度的文心一言、阿里的通义千问、腾讯的混元、华为的盘古以及360的智脑。 而最近，中文通用大模型基准（SuperCLUE）评测公布了最新结果，GPT-4 遥遥领先，而国内成绩最好的是科大讯飞的星火认知大模型。这里面文心一言居然排在了最后一名，甚至比ChatGLM-6B的得分还低，实在难以置信。 但是我又仔细看了一下这个评测。妈呀，评测集是SuperCLUE，而非SuperGLUE。 众所周知，在国际NLP领域，有大名鼎鼎的数据集 GLUE 和 SuperGLUE，非常权威，OpenAI、谷歌等的大模型都在上面评测，极大推动了 NLP 领域的发展。 这次这份 SuperCLUE 评测的发起方为 Chinese GLUE 组织 （简称 CLUE），CLUE 是仿照 GLUE由国内民间组织的评测，权威度和影响力与 GLUE 相比差很远，其微信账号主体属性为个人。但这也迷惑了不少圈内人，GLUE和 CLUE 分不清楚，堪称李逵和李鬼。 还有一点存疑，评测榜单发布当天5月9日，其官网显示信息，中文基准测评成员顾问中排名第一的是崔一鸣，身份为学术顾问委员会主任，哈工大讯飞联合实验室（HFL）资深级研究员。而5月10日，官网已删除此条顾问的信息。 而001号创始会员徐亮，是会长，相当于这个榜单的实际负责人。昵称 brightmart，中文任务基准测评发起人。多个预训练模型中文版、文本分类和数据集开源项目作者。 徐亮还有另一个身份，在5月9日官网中显示，他是杭州实在智能算法专家，也就是元语智能的创始人，曾在2月份发布自称“国内首个功能对话大模型ChatYuan”，不仅无法测试，发布几天即被监管叫停。4月，又被报道套壳推出开源组件。有分析人士认为，不排除创业公司有融资压力，蹭热度吸引投资人关注。 该 SpuerClue 榜单发起方，001号顾问是讯飞身份背景、001号基准发起人是创业公司创始人。在榜单发布后，担心行业质疑其公平、公正，相关信息还被删除。这就有点不言而喻了。 仅用100道评测题目就出来了一份“权威报告”最后来说下这个榜单本身，业内人士一眼就可以看出来，评测的很不合理，首先，没有公布评估数据，以及具体的评估方式。同时从它的公开表述，可推断总共题目就 100 道题目。这个题目量少到难以置信。专业人士可能有参与过，像国际权威 SuperGlue 榜单，题目一般都得有 2 万多道，离权威可是差了几万倍。况且，它的评测得分榜首都是人类，那这个评分的基准到底是什么？是否有很多主观性因素在里面？是否某些大模型提前在这个数据集上已经训练过？ 任务设计太武断，所谓“通用”基准，是用以测试通用的人工认知能力的，那么我们自然希望，评测任务是参考了模型想要模拟的认知能力及相关理论，系统化地选择出来的。而实际上，我们观察到的则是，基准的作者们在选择任务的时候，更像是图方便、省事。以往，CLUE 中存在着部分数据集，一味考虑任务的复杂性，却在最起码的分布边界划分上（如NER各个类别的边界，如场所、景点类，组织机构及其子类），模糊不清，且数据的一致性无法保证。 要么别比，要比就来点正规的比赛。自己出题自己考，说不准还抢跑，自己还是评委，那这是欺不负了解真相的吃瓜群众。投机取巧，终皆散去。苦练内功，才是王道。 国内大模型排名（仅供参考）抛开这些，从模型规模、模型效果、市场占有率等多个角度，百度的文心一言、华为的盘古、阿里的通义千问、腾讯的混元排在前四，应该是比较合理的，至于后面的排名，就不大能保证了。不过下面的排名也可以参考一下： 下面是一份完整的名单： 按发布时间排序： 百度：文心一言作为国内最早发布的大模型，百度的文心一言在今年3月16号就发布了，随后经过了多个版本的迭代。目前已经有上千家企业接入。文心一言支持图片、语音等多模态。 3月16日，百度在全球大厂中率先发布对标 ChatGPT 的大模型产品文心一言。据了解，文心一言内测一个多月，就完成了4次大的技术升级，大模型推理性能提升近10倍。 李彦宏在5月4日百度内部活动中表示，百度之所以能够在Google、Meta、Amazon等大厂之前率先发布生成式大模型产品，是因为百度在芯片、框架、模型、应用等四个层面做到全栈布局、层层领先。 360：360智脑百度是国内搜索市场排名第一公司，而排名第二就是360。 大模型依靠的算力、数据、算法、场景，这两家公司都具备，这也是搜索公司的优势，有业务和数据支撑大模型研发和落地。 5月16日，360集团和智谱AI宣布达成战略合作，双方共同研发的千亿级大模型“360GLM”已具备新一代认知智能通用模型水准。 而在今天的世界智能大会上，周鸿祎展示了“360智脑”的多轮对话和“360鸿图”的AI生图两个能力。 就像谷歌和微软，一个拥有谷歌搜索，一个拥有必应。国内的百度和360，一个拥有百度搜索，一个拥有360搜索。 推荐阅读 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》润了！大龄码农从北京到荷兰的躺平生活（文末有福利哟！）如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研奖金675万！3位科学家，斩获“中国诺贝尔奖”！又一名视觉大牛从大厂离开！阿里达摩院 XR 实验室负责人谭平离职 最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎大家加入DLer-计算机视觉技术交流群！ 大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。 进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明） ??长按识别，邀请您进群！ 阅读原文