7 Papers & Radios ｜ 解决量子卷积网络贫瘠高原现象；全批量GD媲美SGD 机器之心& ArXiv Weekly Radiostation参与：杜伟、楚航、罗若天本周论文主要包括克服量子 AI 一大难题——量子卷积网络中的「贫瘠高原」现象，以及全批量的梯度下降算法（GD）可以达到与 SGD 不相上下的测试准确率的研究。 目录： Absence of Barren Plateaus in Quantum Convolutional Neural Networks Look and Listen: From Semantic to Spatial Audio-Visual Perception Stochastic Training is Not Necessary for Generalization Scalable Rule-Based Representation Learning for Interpretable Classification Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations Explainable Diabetic Retinopathy Detection and Retinal Image Generation Structured Attention Graphs for Understanding Deep Image Classifications ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频） 论文 1：Absence of Barren Plateaus in Quantum Convolutional Neural Networks 作者：Arthur Pesah、 Arthur Pesah、Samson Wang 等 论文链接：https://journals.aps.org/prx/pdf/10.1103/PhysRevX.11.041011 摘要：随着量子计算机的出现给计算机领域带来了许多突破性进展。在量子计算机上运行的卷积神经网络也因其比经典计算机更好地分析量子数据的潜力而引起诸多关注。量子神经网络（QNN）被认为是最有前途的架构之一，其应用包括物理模拟、优化等。尽管 QNN 具有巨大的潜力，但许多 QNN 架构已被证明会出现「贫瘠高原」现象，其中代价函数的梯度随系统大小呈指数级消失，使得 QNN 架构无法针对大型问题进行训练。 近日，来自美国洛斯阿拉莫斯国家实验室（LANL）和伦敦大学的研究人员构建了一个不存在贫瘠高原的特定 QNN 架构。该研究发现梯度的方差消失的速度并没有比多项式更快，这意味着 QCNN 没有出现贫瘠高原现象。该结果为随机初始化的 QCNN 的可训练性提供了分析保证，这突出了 QCNN 与许多其他 QNN 架构的不同，即在随机初始化下可训练。 QCNN 架构示意图。 QCNN 的张量网络表征。 推荐：量子卷积网络中的「贫瘠高原」现象被解决，新研究克服了量子 AI 一大难题。 论文 2：Look and Listen: From Semantic to Spatial Audio-Visual Perception 作者：Ruohan Gao 论文链接：https://ai.stanford.edu/~rhgao/Ruohan_Gao_dissertation.pdf 摘要：今年 5 月，德克萨斯大学奥斯汀分校（UT-Austin）研究生院公布了 2021 年度各个专业和学生奖项的获奖者。这些奖项旨在表彰研究生院成员在学术、教学和专业服务方面的卓越表现。在本年度的评选中，华人学者 Ruohan Gao 的博士学位论文《Look and Listen: From Semantic to Spatial Audio-Visual Perception》获得了 Michael H. Granof 奖。作者表示，受到人类利用所有感官对世界进行感知的启发，自己的长期研究目标是建立一个系统，通过结合所有的多感官输入，能够像人类一样感知世界。在论文的最后一章，作者概述了在此博士论文之外希望追求的未来研究方向。 当前大多数计算机视觉系统的现状是从大量「无声」数据集的标记图像中学习，而该论文研究目标是既要会倾听，又要了解视觉世界。 音频本身是一个监督信号，用于语义和空间理解。 推荐：引入多感官数据学习，华人学者 Ruohan Gao 摘得 2021 UT-Austin 最佳博士论文奖。 论文 3：Stochastic Training is Not Necessary for Generalization 作者：Jonas Geiping、 Micah Goldblum、 Phillip E. Pope 等 论文链接：https://arxiv.org/pdf/2109.14119.pdf 摘要：近来机器学习模型呈现出一种向大模型发展的趋势，模型参数越来越多，但依然具有很好的泛化性能。一些研究者认为泛化性能得益于随机梯度下降算法（SGD）所带来的随机噪声。但最近一篇 ICLR 2022 的投稿《Stochastic Training is Not Necessary for Generalization》通过大量实验证实全批量的梯度下降算法（GD）可以达到与 SGD 不相上下的测试准确率，且随机噪声所带来的隐式正则化效应可以由显式的正则化替代。 该研究注意到，通过注入简单形式的梯度噪声不容易弥补 SGD 和 GD 之间的准确率差距。 验证分数总结。 推荐：模型泛化不必随机训练，全批量 GD 媲美 SGD，网友：计算成本负担不起。 论文 4：Scalable Rule-Based Representation Learning for Interpretable Classification 作者：Zhuo Wang、Wei Zhang、Ning Liu 等 论文链接：https://arxiv.org/abs/2109.15103 摘要：现有的机器学习分类模型从性能和可解释性两个维度大致分为两类：以深度学习和集成学习（如随机森林、XGBoost）为代表的分类模型具有良好的分类性能，但模型复杂度高、可解释性差，而以决策树和逻辑回归为代表的模型可解释性强，但分类性能不理想。清华大学（第一作者为王建勇教授的在读博士生王焯）联合华东师范大学（张伟，2016 年博士毕业于清华大学）和山东大学（刘宁，2021 年博士毕业于清华大学）提出了一种基于规则表征学习的分类模型 RRL。RRL 同时具备类似决策树模型的高可解释性和类似随机森林和 XGBoost 等集成学习器的分类性能。相关论文已入选 NeurIPS2021。 规则表征学习器举例。虚线框中展示了一个离散逻辑层及其对应的规则。 (a) 植物嫁接示例（Chen et al., 2019）。(b) 梯度嫁接法的简化计算图。 推荐：鱼和熊掌不可兼得？清华团队提出高准确率的可解释分类模型。 论文 5：Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations 作者：Winnie Xu、Ricky T.Q. Chen、David Duvenaud 等 论文链接：https://arxiv.org/pdf/2102.06559.pdf 摘要：把神经网络的限制视为无限多个残差层的组合，这种观点提供了一种将其输出隐式定义为常微分方程 ODE 的解的方法。连续深度参数化将模型的规范与其计算分离。虽然范式的复杂性增加了，但这种方法有几个好处：（1）通过指定自适应计算的容错，可以以细粒度的方式用计算成本换取精度；（2）通过及时运行动态 backward 来重建反向传播所需中间状态的激活函数，可以使训练的内存成本显著降低。另一方面，对神经网络的贝叶斯处理改动了典型的训练 pipeline，不再执行点估计，而是推断参数的分布。虽然这种方法增加了复杂性，但它会自动考虑模型的不确定性——可以通过模型平均来对抗过拟合和改进模型校准，尤其是对于分布外数据。 近日，来自多伦多大学和斯坦福大学的一项研究表明贝叶斯连续深度神经网络的替代构造具有一些额外的好处，开发了一种在连续深度贝叶斯神经网络中进行近似推理的实用方法。该论文的一作是多伦多大学 Vector Institute 的本科学生 Winnie Xu，二作是 NeurIPS 2018 最佳论文的一作陈天琦，他们的导师 David Duvenaud 也是论文作者之一。 三种梯度估计量的方差比较。当匹配指数布朗运动时，STL 获得的方差比其他方案低。 训练性能的改进。 推荐：结合随机微分方程，多大 Duvenaud 团队提出无限深度贝叶斯神经网络。 论文 6：Explainable Diabetic Retinopathy Detection and Retinal Image Generation 作者：Yuhao Niu、Lin Gu、Yitian Zhao 等 论文链接：https://arxiv.org/abs/2107.00296 摘要：本文首先提出了一种方法用来在神经网络中定位少量关键神经元。因为这些神经元直接和疾病的分类相关，我们可以从他们的编码信息里提取出病理描述符。接着遵循循证医学（Evidence based medicine）的金标准， 科赫法则（Koch's postulates），我们发现自动提取的病理描述直接对应着图像上的病灶信息。 本工作由北航，理研，东京大学，中科院宁波材料所合作完成并发表于 IEEE JHBI，通信作者为北京航空航天大学的陆峰教授。本论文以糖尿病视网膜病变（Diabetic Retinopathy，简称 DR）为例进行论述，而这一策略也可以直接用于解释其他疾病并生成对应的医学图像。 受柯赫准则启发，本论文对病变证据进行发掘、提取、重现 。 病理描述符的提取 。 推荐：IEEE JHBI 新作：轻量级医学可解释性＋真实病灶数据增强，代码已开源。 论文 7：Structured Attention Graphs for Understanding Deep Image Classifications 作者：Vivswan Shitole、Li Fuxin、Minsuk Kahng 等 论文链接：https://arxiv.org/abs/2011.06733 摘要：深度网络在社会中的应用已越来越普遍，其安全性就变得尤为重要。尤其是近年来，所谓的长尾问题（long-tail problem）越来越普遍，工业应用中经常需要搞清楚深度网络每个错误的来源。因此，用人类能看懂的方式解释 CNN 的分类，一直是领域内的一个热点。研究者们提出了很多方法，其中最常见的一大类方法是 Saliency Map 或者叫热点图 (heatmap)，一般通过某种算法在图像上优化出一个热点图，来显示哪些区域在 CNN 的分类中是重要的。 近年来，各种热点图算法五花八门，基于梯度的、基于优化的，有数百种不同的热点图算法。然而，热点图真的能解释 CNN 是怎么分类的么？NeurIPS 2021 的这篇论文表明了使用单张热点图解释 CNN 的局限性。 (a) 取自 ImageNet，其分类为「美洲金翅雀」；(b)、 (c) 展示了两种热点图算法的结果。 (d), (e), (f) 的三种完全不同的遮挡方式，CNN 都能以很高的置信度对遮挡后的图片给出正确的分类。 推荐：看见鸟头认识鸟，看见鸟尾巴就不认识鸟了？热点图你不懂 CNN。 ArXiv Weekly Radiostation 机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下： 本周 10篇 NLP 精选论文是： 1. Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis. (from Dacheng Tao)2. SCICAP: Generating Captions for Scientific Figures. (from C. Lee Giles)3. Task-Specific Dependency-based Word Embedding Methods. (from C.-C. Jay Kuo)4. Syllabic Quantity Patterns as Rhythmic Features for Latin Authorship Attribution. (from Fabrizio Sebastiani)5. Generalized Funnelling: Ensemble Learning and Heterogeneous Document Embeddings for Cross-Lingual Text Classification. (from Fabrizio Sebastiani)6. WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing. (from Jian Wu, Jian Wu)7. SYNERGY: Building Task Bots at Scale Using Symbolic Knowledge and Machine Teaching. (from Jianfeng Gao)8. Anomaly-Injected Deep Support Vector Data Description for Text Outlier Detection. (from Wei Fan)9. Diversity-Driven Combination for Grammatical Error Correction. (from Hwee Tou Ng)10. How Much Coffee Was Consumed During EMNLP 2019? Fermi Problems: A New Reasoning Challenge for AI. (from Peter Clark) 本周 10篇 CV 精选论文是： 1. Image Quality Assessment using Contrastive Learning. (from Alan C. Bovik)2. History Aware Multimodal Transformer for Vision-and-Language Navigation. (from Cordelia Schmid, Ivan Laptev)3. Self-Denoising Neural Networks for Few Shot Learning. (from Rama Chellappa)4. Projective Manifold Gradient Layer for Deep Rotation Regression. (from Leonidas Guibas)5. Dynamic Visual Reasoning by Learning Differentiable Physics Models from Video and Language. (from Joshua B. Tenenbaum)6. Pseudo Supervised Monocular Depth Estimation with Teacher-Student Network. (from Huan Liu, Junsong Yuan)7. A Light-weight Interpretable CompositionalNetwork for Nuclei Detection and Weakly-supervised Segmentation. (from Alan Yuille)8. Neural View Synthesis and Matching for Semi-Supervised Few-Shot Learning of 3D Pose. (from Alan Yuille)9. Circle Representation for Medical Object Detection. (from Agnes B. Fogo)10. Digital and Physical-World Attacks on Remote Pulse Detection. (from Kevin W. Bowyer) 本周 10篇 ML 精选论文是： 1. Cluster-and-Conquer: A Framework For Time-Series Forecasting. (from Michael I. Jordan, Inderjit S. Dhillon)2. Iterative Teaching by Label Synthesis. (from Bernhard Sch?lkopf)3. Average-Reward Learning and Planning with Options. (from Richard S. Sutton)4. C-Planning: An Automatic Curriculum for Learning Goal-Reaching Tasks. (from Ruslan Salakhutdinov, Sergey Levine)5. Accelerating Robotic Reinforcement Learning via Parameterized Action Primitives. (from Ruslan Salakhutdinov)6. Modeling Heterogeneous Hierarchies with Relation-specific Hyperbolic Cones. (from Jure Leskovec)7. SMORE: Knowledge Graph Completion and Multi-hop Reasoning in Massive Knowledge Graphs. (from Jure Leskovec)8. Distance-wise Prototypical Graph Neural Network in Node Imbalance Classification. (from Charu Aggarwal)9. Learning Domain Invariant Representations in Goal-conditioned Block MDPs. (from Jimmy Ba)10. Tensor Network Kalman Filtering for Large-Scale LS-SVMs. (from Johan A.K. Suykens) ?THE END 转载请联系本公众号获得授权 投稿或寻求报道：content@jiqizhixin.com