DeepSeek新模型上线!引入DSA新稀疏注意力
来源:量子位
刚发V3.1“最终版”,DeepSeek最新模型又来了!
DeepSeek-V3.2-Exp刚刚官宣上线,不仅引入了新的注意力机制——DeepSeek Sparse Attention。
还开源了更高效的TileLang版本GPU算子!
目前,官方App、网页端、小程序均已同步更新,同时还有API大减价:5折起。
这波DeepSeek国庆大礼包,属实有点惊喜了。
新注意力机制DeepSeek-V3.2-Exp基于上周刚更新的DeepSeek-V3.1-Terminus打造,核心创新是引入了DeepSeek Sparse Attention(DSA)稀疏注意力机制。
DSA首次实现了细粒度注意力机制,能在几乎不影响模型输出效果的前提下,实现长文本和推理效率大幅提升。
与前不久更新的DeepSeek-V3.1-Terminus对比,在各领域公开测评集上,DeepSeek-V3.2-Exp和V3.1-Terminus基本持平。
V3.1-Terminus是在 DeepSeek-V3.1基础上的一个强化版本,在稳定性、工具调用能力、语言一致性、错误修正等方面进行迭代改进。
另外,论文提到,使用DSA的模型在处理128K长上下文时,推理成本显著低于DeepSeek-V3.1-Terminus,尤其在解码阶段。
TileLang & CUDA双版本算子开源DeepSeek还表示,在新模型研发过程中,需要设计和实现很多新的GPU算子。
他们使用高级语言TileLang进行快速原型开发,并在最后阶段,以TileLang作为精度基线,逐步使用底层语言实现更高效的版本。
因此,V3.2开源的主要算子包括TileLang和CUDA两种版本。
官方还附上一句:
我们建议社区在进行研究性实验时,使用基于TileLang的版本以方便调试和快速迭代。
官方API的价格也顺势来了个5折起,新价格即刻生效。
这还等什么…朋友们国庆整起来吧。
指路↓
HuggingFace:
https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp
ModelScope:
https://modelscope.cn/models/deepseek-ai/DeepSeek-V3.2-Exp
论文:
https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf
推荐阅读
MIT新晋副教授何恺明《计算机视觉进展》课程,附Slides与资料下载
西电IEEE Fellow团队出品!最新《Transformer视觉表征学习全面综述》如何做好科研?这份《科研阅读、写作与报告》PPT,手把手教你做科研奖金675万!3位科学家,斩获“中国诺贝尔奖”!最新 2022「深度学习视觉注意力 」研究概述,包括50种注意力机制和方法!【重磅】斯坦福李飞飞《注意力与Transformer》总结,84页ppt开放下载!2021李宏毅老师最新40节机器学习课程!附课件+视频资料
欢迎大家加入DLer-大模型技术交流群!
??长按识别,邀请您进群!
网站开发网络凭借多年的网站建设经验,坚持以“帮助中小企业实现网络营销化”为宗旨,累计为4000多家客户提供品质建站服务,得到了客户的一致好评。如果您有网站建设、网站改版、域名注册、主机空间、手机网站建设、网站备案等方面的需求...
请立即点击咨询我们或拨打咨询热线:13245491521 13245491521 ,我们会详细为你一一解答你心中的疑难。 项目经理在线