超越GPT-4，手机可以跑大模型了 来源：机器之心在大模型落地应用的过程中，端侧 AI 是非常重要的一个方向。 近日，斯坦福大学研究人员推出的 Octopus v2 火了，受到了开发者社区的极大关注，模型一夜下载量超 2k。 20 亿参数的 Octopus v2 可以在智能手机、汽车、个人电脑等端侧运行，在准确性和延迟方面超越了 GPT-4，并将上下文长度减少了 95%。此外，Octopus v2 比 Llama7B + RAG 方案快 36 倍。 不少网友感叹：设备端 AI 智能体的时代到来了！ 论文：Octopus v2: On-device language model for super agent 论文地址：https://arxiv.org/abs/2404.01744 模型主页：https://huggingface.co/NexaAIDev/Octopus-v2 模型概述 Octopus-V2-2B 是一个拥有 20 亿参数的开源语言模型，专为 Android API 量身定制，旨在在 Android 设备上无缝运行，并将实用性扩展到从 Android 系统管理到多个设备的编排等各种应用程序。 通常，检索增强生成 (RAG) 方法需要对潜在函数参数进行详细描述（有时需要多达数万个输入 token）。基于此，Octopus-V2-2B 在训练和推理阶段引入了独特的函数 token 策略，不仅使其能够达到与 GPT-4 相当的性能水平，而且还显著提高了推理速度，超越了基于 RAG 的方法，这使得它对边缘计算设备特别有利。 Octopus-V2-2B 能够在各种复杂场景中生成单独的、嵌套的和并行的函数调用。 数据集 为了训练、验证和测试阶段采用高质量数据集，特别是实现高效训练，研究团队用三个关键阶段创建数据集： 生成相关的查询及其关联的函数调用参数； 由适当的函数组件生成不相关的查询； 通过 Google Gemini 实现二进制验证支持。 研究团队编写了 20 个 Android API 描述，用于训练模型。下面是一个 Android API 描述示例： def get_trending_news (category=None, region='US', language='en', max_results=5): """ Fetches trending news articles based on category, region, and language. Parameters: - category (str, optional): News category to filter by, by default use None for all categories. Optional to provide. - region (str, optional): ISO 3166-1 alpha-2 country code for region-specific news, by default, uses 'US'. Optional to provide. - language (str, optional): ISO 639-1 language code for article language, by default uses 'en'. Optional to provide. - max_results (int, optional): Maximum number of articles to return, by default, uses 5. Optional to provide. Returns: - list [str]: A list of strings, each representing an article. Each string contains the article's heading and URL. """ 模型开发与训练 该研究采用 Google Gemma-2B 模型作为框架中的预训练模型，并采用两种不同的训练方法：完整模型训练和 LoRA 模型训练。 在完整模型训练中，该研究使用 AdamW 优化器，学习率设置为 5e-5，warm-up 的 step 数设置为 10，采用线性学习率调度器。 LoRA 模型训练采用与完整模型训练相同的优化器和学习率配置，LoRA rank 设置为 16，并将 LoRA 应用于以下模块：q_proj、k_proj、v_proj、o_proj、up_proj、down_proj。其中，LoRA alpha 参数设置为 32。 对于两种训练方法，epoch 数均设置为 3。 使用以下代码，就可以在单个 GPU 上运行 Octopus-V2-2B 模型。 from transformers import AutoTokenizer, GemmaForCausalLMimport torchimport time def inference (input_text): start_time = time.time () input_ids = tokenizer (input_text, return_tensors="pt").to (model.device) input_length = input_ids ["input_ids"].shape [1] outputs = model.generate ( input_ids=input_ids ["input_ids"], max_length=1024, do_sample=False) generated_sequence = outputs [:, input_length:].tolist () res = tokenizer.decode (generated_sequence [0]) end_time = time.time () return {"output": res, "latency": end_time - start_time} model_id = "NexaAIDev/Octopus-v2" tokenizer = AutoTokenizer.from_pretrained (model_id) model = GemmaForCausalLM.from_pretrained ( model_id, torch_dtype=torch.bfloat16, device_map="auto" ) input_text = "Take a selfie for me with front camera" nexa_query = f"Below is the query from the users, please call the correct function and generate the parameters to call the function.\n\nQuery: {input_text} \n\nResponse:" start_time = time.time () print ("nexa model result:\n", inference (nexa_query)) print ("latency:", time.time () - start_time,"s") 评估 Octopus-V2-2B 在基准测试中表现出卓越的推理速度，在单个 A100 GPU 上比「Llama7B + RAG 解决方案」快 36 倍。此外，与依赖集群 A100/H100 GPU 的 GPT-4-turbo 相比，Octopus-V2-2B 速度提高了 168%。这种效率突破归功于 Octopus-V2-2B 的函数性 token 设计。 Octopus-V2-2B 不仅在速度上表现出色，在准确率上也表现出色，在函数调用准确率上超越「Llama7B + RAG 方案」31%。Octopus-V2-2B 实现了与 GPT-4 和 RAG + GPT-3.5 相当的函数调用准确率。 感兴趣的读者可以阅读论文原文，了解更多研究内容。 推荐阅读 MIT新晋副教授何恺明《计算机视觉进展》课程，附Slides与资料下载 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研奖金675万！3位科学家，斩获“中国诺贝尔奖”！最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎大家加入DLer-计算机视觉技术交流群！ 大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。 进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明） ??长按识别，邀请您进群！