语音识别训练时间由7天降至11.5小时，IBM提出分布式深度学习技术 选自venturebeat 作者：KYLEWIGGERS 机器之心编译 参与：淑婷、杜伟 语音识别系统构建过程通常由两部分组成：训练和识别，而训练需要对预先收集的语音、文本等数据进行处理，获取语音识别系统所需的模型。因而，训练时间和模型大小至关重要。IBM在其新发布的论文中提出一种异步分散并行随机梯度下降的分布式处理架构，将语音识别训练时间缩短到了11.5小时。 可靠、稳健、可泛化的语音识别是机器学习领域一个持续的挑战。通常，训练自然语言理解模型需要包含数千小时语音和数百万（甚至数十亿）单词文本的语料库，以及能够在合理时间内处理这些数据的强大硬件。 为了减轻计算负担，IBM在其新发布的论文《DistributedDeepLearningStrategiesforAutomaticSpeechRecognition》中提出了一种分布式处理架构，该架构在流行的开源基准Switchboard上实现了以往15倍的训练速度，而没有损失准确率。论文作者表示，在包含多个显卡的系统上部署该架构，它能够将总的训练时间从几周缩短为几天。 该论文计划在下个月的IEEE国际声学、语音与信号处理会议（ICASSP）上发表。 论文作者WeiZhang、XiaodongCui和BrianKingsbury在即将发表的博客中解释称：训练类似苹果的Siri、谷歌助手、亚马逊的Alexa这样的自动语音识别系统需要复杂的编码系统来将语音转化为深度学习系统能够理解的特征，以及相应的解码系统来将输出转化为人类可读的文本。而模型也往往更大，导致大规模训练变得更加困难。 该团队的并行解决方案需要增加批量或可以一次性处理的样本数量，但需要加以区分，这将会对准确率产生负面影响。相反，他们使用「原则性方法」将批量增加至2560，同时应用了称为异步分散并行随机梯度下降（ADPSGD）的分布式深度学习技术。 据研究人员解释，大多数深度学习模型要么采用同步方法（受慢系统影响较大），要么采用基于参数服务器（PS）的异步方法（往往生成不太准确的模型）进行优化。相比之下，IBM在去年一篇论文中首次详细说明的ADPSGD是异步和分散的，保证模型准确率处于基线水平，并为某些类型的模型优化提供加速。 在测试中，论文作者称ADPSGD将ASR工作运行时间从单个V100GPU上的一周缩短至32-GPU系统上的11.5小时。他们希望未来的工作算法和系统可以处理更大的批量以及优化更强大的硬件。 Zhang、Cui和Kingsbury写道：「在半天内完成一项训练是比较理想的，因为这样能让研究人员快速迭代开发新的算法。同时还使得开发人员可以快速周转时间，让现有模型适应他们的应用程序，尤其适用于那些需要大量语音来实现鲁棒性和可用性所需的高准确率的定制用例。」 原文链接：https://venturebeat.com/2019/04/10/new-ibm-technique-cuts-ai-speech-recognition-training-time-from-a-week-to-11-hours/ 本文为机器之心编译，转载请联系本公众号获得授权。 ?------------------------------------------------ 加入机器之心（全职记者/实习生）：hr@jiqizhixin.com 投稿或寻求报道：content@jiqizhixin.com 广告商务合作：bd@jiqizhixin.com