JARVIS项目原作解读：连接ChatGPT和HuggingFace解决AI问题 机器之心最新一期线上分享邀请到了微软亚洲研究院研究员宋恺涛，为大家分享他们近期的开源项目JARVIS。 在最近一段时间内，以 ChatGPT 为代表的大语言模型（Large Language Models，LLMs）在工业界和学术界掀起了巨大的关注。然而，以处理文本为主的 LLMs，在解决许多复杂并且具有挑战的 AI 任务上，依然存在着许多瓶颈： 1、受限于语言模型的输入输出形式，当下的 LLMs（如 ChatGPT）缺少能够处理复杂模态信息的能力（如图像、语音、视频等）。 2、一些复杂的 AI 任务需要先进行规划，分解多个子任务，并协调不同模型的调度和协作执行。而这些要求也超出了 LLMs 本身的能力。 3、在针对一些特定任务上，LLMs 尽管在零资源或者低资源下展现非常好的效果，但依然要弱于一些专家模型（例如微调模型）。 因此，如何解决问题也成为 LLMs 走向通用人工智能的关键一步。为此，JARVIS 项目团队指出如果 LLMs 要实现这一目的，它们应当能够利用外部模型的力量。而关键点就在于如何寻找一个合适的关键件来连接大语言模型和 AI 模型。 JARVIS 项目团队注意到任何 AI 模型都可以通过总结其模型功能来获取一种文本表示，并因此提出一个概念：语言是 LLMs 用于连接 AI 模型的通用接口。基于这一理念推出 JARVIS，一种模型协作系统用于连接 LLMs（例如 ChatGPT）以及机器学习库（例如 Hugging Face）等。该系统将 LLMs 作为大脑，并利用语言的能力来管理不同 AI 社区中的不同模型，具体流程分为 4 步：任务规划、模型选择、任务执行、生成反馈。 在这一框架下，模型具备了分解和管理不同任务的能力，并且能够处理包括文本、语音、图像、视频等不同模态的复杂信息。这一框架也吸引了越来越多的人来探索 LLMs 与外部模型或者工具进行协作调度的应用前景。 分享主题：JARVIS – 连接 ChatGPT 和 HuggingFace 解决 AI 问题 分享嘉宾：宋恺涛，微软亚洲研究院研究员。本科和博士毕业于南京理工大学，其研究方向包括自然语言处理，语音识别等，包括预训练语言模型，内容生成等。其在 ICML，NeurIPS，ICCV，KDD，ACL，IJCAI，AAAI 等国际顶级会议上发表多篇论文。 分享摘要：尽管大语言模型表现出非常优异的性能，但在实际解决一些复杂的 AI 任务中依然存在许多瓶颈。因此，在本次分享中，我们会介绍如何构建大语言模型与 AI 社区的连接以及多模型协作以解决更具挑战的 AI 任务，并探讨对于未来的展望。 相关链接： 1）SOTA！模型平台项目主页链接： https://sota.jiqizhixin.com/project/hugginggpt 2）论文链接： https://arxiv.org/abs/2303.17580 3）代码仓库： https://github.com/microsoft/JARVIS 加群看直播直播间：关注机器之心机动组视频号，北京时间 4 月 25 日 19:00 开播。 交流群：本次直播设有 QA 环节，欢迎加入本次直播交流群探讨交流。 如群已超出人数限制，请添加机器之心小助手：syncedai2、syncedai3、syncedai4 或 syncedai5，备注「JARVIS」即可加入。 如果你也有最新工作希望分享或提交你感兴趣的内容方向，随时告诉我们吧：https://jiqizhixin.mikecrm.com/fFruVd3 机器之心 · 机动组机动组是机器之心发起的人工智能技术社区，聚焦于学术研究与技术实践主题内容，为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动，欢迎所有 AI 领域技术从业者加入。 阅读原文