超越Claude 3.5紧追o1！DeepSeek-V3-Base开源，编程能力暴增近31％ 机器之心报道 编辑：杜伟、小舟 在 2024 年底，探索通用人工智能（AGI）本质的 DeepSeek AI 公司开源了最新的混合专家（MoE）语言模型 DeepSeek-V3-Base。不过，目前没有放出详细的模型卡。 HuggingFace 下载地址：https://huggingface.co/DeepSeek-ai/DeepSeek-V3-Base/tree/main 具体来讲，DeepSeek-V3-Base 采用了 685B 参数的 MoE 架构，包含 256 个专家，使用了 sigmoid 路由方式，每次选取前 8 个专家（topk=8）。 图源：X@arankomatsuzaki 该模型利用了大量专家，但对于任何给定的输入，只有一小部分专家是活跃的，模型具有很高的稀疏性。 图源：X@Rohan Paul 从一些网友的反馈来看，API 显示已经是 DeepSeek-V3 模型。 图源：X@ruben_kostard 同样地，聊天（chat）界面也变成了 DeepSeek-v3。 图源：X@Micadep 那么，DeepSeek-V3-Base 性能怎么样呢？Aider 多语言编程测评结果给了我们答案。 先来了解一下 Aider 多语言基准，它要求大语言模型（LLM）编辑源文件来完成 225 道出自 Exercism 的编程题，覆盖了 C++、Go、Java、JavaScript、Python 和 Rust 等诸多编程语言。这 225 道精心挑选的最难的编程题给 LLM 带来了很大的编程能力挑战。 该基准衡量了 LLM 在流行编程语言中的编码能力，以及是否有能力编写可以集成到现有代码的全新代码。 从下表各模型比较结果来看，DeepSeek-V3-Base 仅次于 OpenAI o1-2024-12-17 (high)，一举超越了 claude-3.5-sonnet-20241022、Gemini-Exp-1206、o1-mini-2024-09-12、gemini-2.0-flash-exp 等竞品模型以及前代 DeepSeek Chat V2.5。 其中与 V2.5（17.8％）相比，V3 编程性能暴增到了 48.4％，整整提升了近 31％。 另外，DeepSeek-V3 的 LiveBench 基准测试结果也疑似流出。我们可以看到，该模型的整体、推理、编程、数学、数据分析、语言和 IF 评分都非常具有竞争力，整体性能超越 gemini-2.0-flash-exp 和 Claude 3.5 Sonnet 等模型。 图源：reddit@homeworkkun HuggingFace 负责 GPU Poor 数据科学家 Vaibhav (VB) Srivastav 总结了 DeepSeek v3 与 v2 版本的差异： 根据配置文件，v2 与 v3 的关键区别包括： vocab_size：v2: 102400 v3: 129280hidden_size：v2: 4096 v3: 7168intermediate_size：v2: 11008 v3: 18432隐藏层数量：v2：30 v3：61 注意力头数量：v2：32 v3：128 最大位置嵌入：v2：2048 v3：4096 v3 看起来像是 v2 的放大版本。 图源：X@reach_vb 值得注意的是，在模型评分函数方面，v3 采用 sigmoid 函数，而 v2 采用的是 softmax 函数。 网友热评：开源模型逼近 SOTA 众多纷纷网友表示，Claude 终于迎来了真正强劲的对手，甚至在一定程度上 DeepSeek-V3 可以取代 Claude 3.5。 还有人感叹道，开源模型继续以惊人的速度追赶 SOTA，没有放缓的迹象。2025 年将成为 AI 最重要的一年。 参考链接：https://aider.chat/docs/leaderboards/https://www.reddit.com/r/LocalLLaMA/comments/1hm4959/benchmark_results_deepseek_v3_on_livebench/ ?THE END转载请联系本公众号获得授权投稿或寻求报道：liyazhou@jiqizhixin.com