梗图理解“天花板”！港中文终身教授贾佳亚团队推出多模态模型：GPT-4+DALL-E 3，王炸组合刷爆榜单 整理 | 傅宇琪 近日，港中文终身教授贾佳亚团队推出了一款名为 Mini-Gemini 的多模态模型，包括 2B 小杯到 34B 的超大杯，一经发布便登上了 PaperWithCode 热榜。凭借超强的图文理解力，Mini-Gemini 的最强模型版本在多个指标上，直接媲美 Gemini Pro，GPT-4V，网友称其效果堪称是开源社区的 GPT4+DALL-E 3 的王炸组合！ 目前，研究团队将 Mini-Gemini 的代码、模型、数据全部开源。更有意思的是，超会玩梗的 Mini-Gemini 线上 Demo 已经发布，人人皆可上手试玩。“浅尝”之后，有人认为：Mini-Gemini 跟商业模型差不了多少！ 最“懂”图的大模型？ 图像理解及推理当下，绝大多数多模态模型仅支持低分辨率图像输入和文字输出。而在实际场景中，许多任务都需要对高清图像进行解析，并用图像的形式进行展现。Mini-Gemini 在这一点上有着不错的表现： 给它一张做面包的九宫格漫画教程，Mini-Gemini 能看懂并进行手把手教学。 拍一张苹果店 Mac 电脑信息图，Mini-Gemini 能够将两种 Mac 的参数列表横向对比。 Mini-Gemini 还能理解输入曲线图的数学意义，并使用代码复现这张图。 高清复杂的多图表理解和归纳也是小菜一碟，Mini-Gemini 直接秒变打工人效率提升的超级外挂。 有网友对此表示：妈妈再也不用担心我的生活了。 图片生成更重要的是，除了图像理解和推理能力，Mini-Gemini 还解锁了图像的生成能力。通过一些抽象的多模态指令，Mini-Gemini 就可以给出推理，并生成合适的图片，这个操作像不像是 ChatGPT 和 DALL-E 3 的联动？！让我们看一些例子： 输入一张画着冰川中的仙人掌的图片，让 Mini-Gemini 解释图中的矛盾点并举一反三。它会说：“在沙漠环境中自然不会出现冰。这种矛盾的类似例子可能是一只北极熊出现在热带雨林中，因为北极熊适应于寒冷、覆盖着冰的环境，在炎热潮湿的气候中无法生存。”并生成一张热带雨林中北极熊的图片： Mini-Gemini 还可以在多轮对话中通过简单指令生成连环小故事。比方说，让它根据用户输入讲一个贵族小老鼠的故事。Mini-Gemini 会根据前文的文字生成结果和用户输入进行推理，在保持一致性的情况下对图片进行修改，使其更符合用户的要求。 梗图理解目前市面上的大模型们在对于 meme 图的理解方面总是不尽人意，不过 Mini-Gemini 不一样，通过其强大的 OCR 和推理能力，它能做到准确指出笑点。 输入一张周一上班心神俱疲“社畜”狗的梗图，Mini-Gemini 还能用它的生图功能还你一只周末下班的快乐小鸡毛！ 技术细节 大道至简，Mini-Gemini 的整体思路并不复杂。其中的 Gemini（双子座）表达的是使用视觉双分支的信息挖掘（Mining-Info in Gemini）解决高清图像理解问题。 核心在于三点： （1）用于高清图像的双编码器机制 （2）更高质量的数据 （3）训练阶段结合生成模型数据拓展 详细来说，Mini-Gemini 将传统所使用的 ViT 当做低分辨率的 Query，而使用卷积网络（ConvNet）将高分辨率的图像编码成 Key 和 Value。使用 Transformer 中常用的 Attention 机制，来挖掘每个低分辨率 Query 所对应的高分辨率区域。从而在保持最终视觉 Token 数目不变的情况下去提升对高清图像的响应，保证了在大语言（LLM）模型中对于高清图像的高效编码。值得一提的是，由于高分辨率分支卷积网络的使用，可以根据需要对图像所需的分辨率自适应调整，能够遇强则强。对于图像的生成部分，Mini-Gemini 借助了 SDXL，使用 LLM 推理后所生成的文本链接两个模型，类似于 DALLE3 的流程。 Mini-Gemini 进一步收集并优化了训练数据的质量，并加入了跟生成模型结合的文本数据进行训练。在仅使用 2-3M 数据的情况下，实现了对图像理解、推理、和生成的统一流程。可以说，Mini-Gemini 在各种 Zero-shot 的榜单上毫不逊色于各种大厂用大量数据训练出来的模型： 量化数据指标对比 最后提一嘴，Mini-Gemini 的 Demo 操作极其简单，直接输入图像或文字进行对话即可，读者朋友们可以试一试（网址附在文末咯）！ 参考链接： Github 地址：https://github.com/dvlab-research/MiniGemini Demo 地址: http://103.170.5.190:7860/ 论文地址：https://arxiv.org/pdf/2403.18814.pdf 模型地址：https://huggingface.co/collections/YanweiLi/mini-gemini-6603c50b9b43d044171d0854 数据地址：https://huggingface.co/collections/YanweiLi/mini-gemini-data-660463ea895a01d8f367624e 内容推荐跳进 AI 的奇妙世界，一起探索未来工作的新风貌！想要深入了解 AI 如何成为产业创新的新引擎？好奇哪些城市正成为 AI 人才的新磁场？《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造，为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者，还是对生成式 AI 充满好奇的新手，这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI 前线」公众号，回复「开发者洞察」领取。 活动推荐AICon 全球人工智能开发与应用大会 暨 大模型应用生态展将于 5 月 17 日正式开幕，本次大会主题为「智能未来，探索 AI 无限可能」。如您感兴趣，可点击「阅读原文」查看更多详情。 今天是会议 9 折购票阶段，购票或咨询其他问题请联系票务同学：13269078023，或扫描上方二维码添加大会福利官，可领取福利资料包。 今日荐文 逃离 Windows！德国又宣布迁移到 Linux，涉及数万系统、3 万余人，官员吐苦水：Windows 对硬件要求太高了 芯片反击，英特尔和AMD惨了！国内电信运营商逐步淘汰外国芯片，网友：这只是个开始 字节跳动成全球最大独角兽公司？官方回应；智己汽车三次致歉小米：我们被网络霸凌；苹果计划裁员超 600 人｜AI周报 OpenAI 创始成员用 1000 行 C 代码手搓了一个大模型，Mac 即可运行！网友：真男人就该用C编程 离开百度7年后，吴恩达终于大厂“再就业”：加入亚马逊董事会，帮其实现AI大志 OpenAI 重磅发布的GPT-4 Turbo with Vision，是编码的倒退你也「在看」吗？?? 阅读原文