报名 ｜ 整图下沉，一课学习MindSpore图引擎 4 月 23 日，机器之心联合华为昇腾学院开设的线上公开课《轻松上手开源框架 MindSpore》第一课正式开讲，MindSpore 前端开发工程师龚子妍为大家带来了主题分享《MindSpore 分布式自动并行训练》，第一课回顾视频如下： 第一课精选问答与PPT详见文末。 公开课第2讲 课程主题：MindSpore中GraphEngine浅析 课程时间：4月26日（周日）20:00 课程讲师：王俊 讲师简介：浙江大学博士，GraphEngine 高级工程师，拥有丰富的基于 MindSpore 的深度学习模型端到端调试、部署经验，熟悉 GE 实现逻辑与细节。 课程摘要：本次课程将为大家简介昇腾芯片的特性、MindSpore 中 GraphEngine 如何适配昇腾做整图下沉以及 GraphEngine 提供的底层 debug 工具是如何帮助开发者便捷使用的。 如何加入 《轻松上手开源框架 MindSpore》系列课程全程免费，添加机器之心小助手（syncedai6），备注「开源」，即可加入学习交流群，一起看直播学理论、做作业动手实践。 第一课精彩回顾 在第一课《MindSpore分布式自动并行训练》中，我们主要介绍了几种相关的并行模式，包括数据并行，通过分发数据集的方式来提升训练效率；模型并行，通过拆分模型参数来突破单卡的内存瓶颈；混合并行是融合了数据并行和模型并行的一种并行模式。 这以上的并行模式在 MindSpore中 都是依赖集合通信来完成多卡间数据同步的。而自动并行特性主要的特点有：通过算子自动切分，推导张量的排布模型；利用构建代价模型的方式，自动搜索了切分策略；并将自动微分扩展到了分布式的领域，可以自动求导通信算子的反向梯度。MindSpore的分布式训练，支持数字并行、模型并行、自动并行的多层次接口，其中，自动并行更加易用，可以有效的帮助网络提升性能。 在第一课的 QA 环节中，有一些问题被大家广泛提到，龚子妍讲师再次做了精选与编辑，供大家参考。 Q1：切分是平均切分吗? 如果是 5 个分四份会怎样？ 首先就是在切分方式这里，其实是有并行切分的约束的，比如说它的维度的数据和计算资源其实是需要均匀切分，是以 2 为基，也就是说指定的切分策略中的数字必须都是 2 的倍数。另外像刚刚提到的，如果无法均分的问题，其实在框架中我们是会做校验的，如果是出现了没有办法均分的张量排布模型，我们会在校验中直接报错。 Q2：需要什么硬件支持呢？自己的笔记本电脑是否可以来执行网络？ 目前来说的话笔记本电脑或者有 GPU 的环境都可以通过 docker 镜像来简单试用，至于自动并行的特性，对 CPU 和 GPU 的支持还在完善中。我们推荐用户在昇腾芯片上使用自动并行，作为普通用户的话，可以关注我们的开源社区，可以去申请 MindSpore 开发者体验环境进行试用。 Q3：效率具体上有多大提升？有对照数据吗 在开源社区我们公布了 Cifar10 数据集的训练性能数据。对于自动并行特性的话，和业界横向对比的数据还在测试收集中，目前公布的性能数据，是基于 mindspore+昇腾芯片，和其他的并行模式做的比较。从刚刚展示的表格中其实可以看到，自动并行在大分类数的情况下相比数据并行模式性能有比较大的提升。 Q4：讲一下 pipeline 并行？ 在我们的框架规划图上是可以看到是有提到 pipeline 并行这个概念的，是自动并行特性其中的一个规划方向。pipeline 并行，也就是我们刚刚提到的层间模型并行的概念，需要把模型按层切分到多个卡上，如果让用户手动实现对开发者来说难度非常大，需要考虑性能、内存、通信、训练效果等问题，我们期望通过框架完成模型按层自动切分到卡上的目标。 Q5：请问数据并行是 allreduce 实现吗？ 数据并行，在 MindSpore 中是用集合通信这个方式来实现的。利用到了 AllReduce 操作完成的梯度聚合部分，BroadCast 完成的是参数初始化的广播操作。 大家后续如有更多问题，欢迎关注MindSpore的gitee和github，随时提 issue，官方人员将及时为大家解答：Gitee：https://gitee.com/mindsporeGitHub：https://github.com/mindspore-ai PPT下载方式：关注公众号「MindSpore」，回复关键词「分布式」，即可下载。