一款高性能跨平台的深度学习推理框架宣布开源，真正实现“人人可用” ｜ 直播推荐 作者 | 徐瑛随着国家支持“新基建”相关政策出台，人工智能在社会中的作用越来越大，在这其中，开源理念的发展对于人工智能技术的普及起到了至关重要的作用。同样，在人工智能领域得到快速发展后，为了能够实现人才、智慧的聚合，促进 AI 技术的落地，许多 AI 企业也纷纷选择开源自身的能力，这就进一步促进了开源市场的繁荣。 但在开源之后，大家逐渐发现一个问题，纵然现阶段人工智能领域下的开源框架种类和质量都在不断完善，但却很难形成统一的格局。因此在 AI 产品研发体系下产生开源代码难以全平台共用的的问题，而这个问题的根源就在于全球人工智能领域的开发资源并未实现模块化和标准化。 如果不实现 AI 开发资源的模块化和标准化，对于开发者来说会增加大量成本。首先当一个业务涉及到不同平台时，需要使用不同的框架，整合时又需要不断的进行模型转换，耗费过多的精力，严重阻碍了产品研发进度；其次缺乏模块化，会导致 AI 能力即便得到了开源，对于存在不同场景需求的开发者而言，也没有实现真正的“开箱即用”。 而在 6 月 10 日，腾讯优图宣布其研发的推理组件 TNN 正式对外开源，直面能力分散、多平台不兼容等问题，该框架可开发注册包括 ARM、METAL、OPENCL、NPU、CUDA 等主流平台在内的多种推理平台，为开发人员提供统一的模型描述文件和调用接口，让企业一套流程就能部署到位，简单易用、省时省力。 这会引起 AI 开源框架的新一轮革命吗？ 答案是显而易见的，在新的突破出现后，其对业内的影响是不可估量的。那在实现了跨平台统一之后，其在业务中实际产生的效果是怎么样的呢？ 腾讯这款自研的推理组件 TNN 源自内部 16 年就开始研发的 Rapidnet 框架，后续借鉴了 ncnn、MNN、MACE 等开源框架高性能和易扩展的优点，并进一步提升。TNN 的优秀已在手 Q、微视、天天 P 图等 APP 中的美颜、美妆、魔法天空、光感染发、手势红包等功能的处理速度上得到了证实，其处理速度比当前业界开源框架平均快 20% 以上；同时，在腾讯云 GPU 服务器落地中，能够实现性能较业界主流框架提升 50% 以上。 外部开源必先内部开源，TNN 也不例外。早在今年 3 月，这款推理组件就已经在腾讯内部进行了开源，主要支持移动端平台开展 CV 相关的 AI 推理。在手 Q 的变脸特效中，通过其性能优化，使速度显著提升了 4 倍以上。以下是 MNN, ncnn, TNN 框架在多款主流平台的实测性能： 注：纵轴单位：ms 测试分支：MNN:1.0.0(2020.05.07),ncnn:20200413, TNN: master(2020.06.10) 测试模型：https://github.com/alohali/benchmark-models 如果这款推理组件正好能解决你目前遇到的问题，或者你对它有着极大的兴趣，那么 InfoQ 强烈推荐你参加此次由腾讯优图主办的 6 月 15 日的线上直播，届时腾讯优图实验室资深研究员 Darren 将为大家解读【多场景适配：深度学习模型部署优化之道】的主题分享。将帮助大家全面了解这个深度学习推断框架的前世今生，辅助大家快速上手在不同场景下的模型部署优化能力。 扫描上图二维码即可免费报名参加 扫描上图二维码添加小助手文文酱，回复关键字“优图”，入直播群 点击阅读原文即可免费预约观看直播，6 月 15 日晚 7 点-8 点，我们不见不散～ 你也「在看」吗？?? 阅读原文