百度文心 4.0 Turbo 来了！联合飞桨框架 3.0 推理性能跃升 30%，文心快码升级至 2.5 版 作者 | 华卫 6 月 28 日，百度推出了文心大模型 4.0 Turbo，并公布一系列技术、产品、生态最新成果，包括新一代的飞桨框架 3.0、文心快码 2.5。 “文心一言累计用户规模已达 3 亿，日调用次数也达到了 5 亿。”现场，百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰还披露了文心一言的最新数据。 王海峰认为，通用人工智能已经越来越近，而大模型技术为其带来了曙光：一是人工智能技术的通用性，大模型在面向不同任务、语言、模态、场景时的通用性越来越强；二是能力的全面性，人工智能的理解、生成、逻辑、记忆等四项基础能力越强，越接近通用人工智能。 文心 4.0 Turbo 开放上下文窗口提升至 128k大会现场，王海峰发布了文心大模型 4.0 Turbo，网页版、APP、API 陆续面向用户开放，开发者登录百度智能云千帆大模型平台即可使用文心大模型 4.0 Turbo API 服务。 据介绍，通过数据、基础模型、对齐技术、提示、知识增强、检索增强和对话增强等核心技术的持续创新以及飞桨文心的联合优化，文心大模型 4.0 Turbo 的速度更快、效果更好。 其在基础大模型的基础上，进一步创新智能体技术，包括理解、规划、反思和进化，能够做到可靠执行、自我进化，并一定程度上将思考过程白盒化，让机器像人一样思考和行动，能够调用工具自主完成复杂任务，在环境中持续学习实现自主进化。 王海峰表示，文心一言 4.0 Turbo 的上下文输入长度从 4.0 版的 2K tokens 升级到了 128K tokens，能够同时阅读 100 个文件或网址，AI 生图分辨率也从 512*512 提升至 1024*1024。 百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜表示，过去半年文心大模型取得了显著进展，用户日均提问量增加 78%，提问平均长度提升 89%。文心大模型为用户提供的帮助从简单需求延伸到更多元、复杂的任务。 截至目前，文心大模型已累计生成 70 亿行代码、创作 5.9 亿篇文章、编撰百万篇专业研报、解答了 1.7 亿学习问题，辅助 1.3 亿人次工作等。与此同时，文心大模型还支持了大量的应用创新。“在大模型应用落地过程中，选择合适的模型对应用效果至关重要。“吴甜介绍到。 具体能力表现上，文心轻量级模型适合解决确定场景的问题，同时具有成本更低、速度更快的优势；3.5 是一个强通用性模型，适用于日常信息处理和文本生成任务；4.0 规模更大、能力更强，具备更强的理解能力、逻辑推理能力与更丰富的知识，可以提供专业深度的帮助；4.0 工具版基于智能体技术，擅长综合运用多种工具和数据，按要求完成非常复杂的任务。 大会现场，百度还发布了与中国工程院朱有勇院士及团队共同打造的首个农业智能体“农民院士智能体”，以及和上海体育大学共同研发的国内首个面向体育行业的大模型上体体育大模型。 飞桨新一代框架 3.0提升模型推理性能 30%“文心一言的快速发展，包括整个文心大模型的快速发展，离不开飞桨平台的支撑。”王海峰表示。据介绍，文心大模型的持续快速进化，得益于百度在芯片、框架、模型和应用上的布局，尤其是飞桨深度学习平台和文心的联合优化，包括训练吞吐、分布式扩展、多模型结构混合并行和硬件通信层的联合优化。 现场，百度 AI 技术生态总经理马艳军主要详细解读了飞桨新一代框架 3.0 的设计理念和技术特点。“在 3.0 版本的设计中，我们充分考虑了目前大模型技术发展和异构多芯的趋势，并从三个方面做了综合考量，一是保障大模型训练和推理的性能，二是足够简化大模型本身的开发和调优过程，三是更好适配各种各样的芯片。” 据介绍，飞桨框架 3.0 面向大模型、异构多芯进行专属设计，向下适配异构多芯，向上一体化支撑大模型的训练、推理，同时具有动静统一自动并行、编译器自动优化、大模型训推一体、大模型多硬件适配四项能力。 其中，自动并行能力可以把代码开发做更好的封装，训推一体让训练与推理的能力相互复用，为大模型全流程提供统一的开发体验和极致的训练效率。而通过一系列的编译器自动优化过程，不管是对于语言模型还是扩散模型，整个推理性能都能提升到 30%。 飞桨框架 3.0 还为大模型硬件适配提供了功能完善、低成本的方案，建设了面向硬件厂商的代码合入、持续集成、模型回归测试等研发基础设施，为硬件适配提供了全套保障。马艳军表示，“在 3.0 版本中，硬件厂商只需要针对基础算子做适配，大幅减少了对应的开发工作量。” 此外，新一代框架也为文心大模型提供了压缩、推理、服务等支撑。在 AI for Science 领域，飞桨框架 3.0 为科学计算提供了高阶自动微分、编译优化、分布式训练能力支撑，还建设了面向通用数理问题求解的赛桨 PaddleScience 以及专注于生物计算的螺旋桨 PaddleHelix 工具包。飞桨框架 3.0 还原生支持复数技术体系，这对于如气象预报、汽车 / 飞行器气动分析等场景下的数据特征分析具有重要意义。 “文心快码” 升级至 2.5 版代码采纳率达 46%现场，百度副总裁陈洋宣布智能代码助手 Comate 的中文名为“文心快码”，并发布了最新升级的版本文心快码 2.5。据介绍，文心快码 2.5 在知识增强、企业研发全流程赋能、企业级安全等方面实现了能力提升。 在之前续写、解释代码、问答等能力的基础上，新版本可深度解读代码库、关联权威公域和私域知识生成新的代码，生成的代码更加安全，并且可以智能检测安全漏洞、一键修复漏洞，支持混合云部署等。 陈洋表示，文心快码的“快”主要体现在三大方面：开发速度快、业务迭代快、企业落地快，提供标准版、专业版、企业版、企业专有版 4 大版本。 目前，百度 80% 的工程师已经在深度使用文心快码，其中代码采纳率已达到 46%，新增代码生成占比 29%，百度单位时间提交代码数量增加 35%、研发单周交付占比达到了 57%，整体研发提效 14% 以上。 “原本需要 7 天才能完成的工程量，在 5 天就能够开发完成；百度内部一半以上的研发需求，可以在一周之内完成交付。”陈洋介绍，喜马拉雅一个季度落地文心快码的采纳率就可以达到了 44%。 与此同时，文心快码还已应用到包括上海三菱电梯、软通动力、吉利汽车、晶合集成电路和奈雪的茶等企业，覆盖金融、汽车、机械制造、软件服务等诸多领域。 结语 现场，百度文心大模型同甲骨文信息处理教育部重点实验室打造的“来自甲骨文的回答”互动程序也正式上线，通过调用文心一言的对话能力及对甲骨文文字的释义，古老的甲骨文“活起来”了。 同时，百度与国际爱护动物基金会联合发布“AI 守护官 2.0 版”，通过飞桨平台开发工具 PaddleX 定制打造的模型，提高了鉴别野生动物制品的准确度，缩短了耗费时间，用技术让野生动物保护更加高效。 如今，大模型为代表的人工智能正加速各行各业转型升级。正如王海峰所说，人工智能基于深度学习及大模型工程平台，包括算法、数据、模型、工具等，已经具备了非常强的通用性以及标准化、模块化和自动化的特征，进入到工业大生产阶段，通用人工智能将加速到来。 活动推荐AICon 全球人工智能开发与应用大会将于 8 月 18 日至 19 日在上海举办，汇聚顶尖企业专家，深入端侧AI、大模型训练、安全实践、RAG应用、多模态创新等前沿话题。现在大会已开始正式报名，6 月 30日前可以享受8折优惠，单张门票节省 960元（原价 4800元），详情可联系票务经理 13269078023 咨询。 内容推荐大模型正在推动历史性技术革命，知识触手可及。2024年6月14日至15日，ArchSummit全球架构师峰会在深圳成功举办，我们精选了峰会中聚焦AI大模型技术应用的相关PPT，内容涵盖了华为云AI原生应用引擎的架构与实践、微众银行大模型研发实践以及B站容量管理实践等。关注「AI前线」，回复关键词「大模型落地」免费获取PPT资料。 今日荐文 好消息：OpenAI 突然发了新模型！坏消息：只是纠错，没你想得逆天 从AI高管到犀利CEO，贾扬清创业这一年：我们的目标是做AI时代的“第一朵云” 没想到国内大模型厂商又一次high起来，是因为OpenAI 断供！ 一群顶尖搜索人才如何2个月出货，还把GPU利用率干到60%！揭秘百川智能研发大模型这一年 1个芯片顶英伟达3个？这个偏爱印度的创始人爆肝8年，终于等来抢英伟达泼天富贵的一天！ 揭秘大模型技术在快手搜索的应用你也「在看」吗？?? 阅读原文