清华光电计算新突破：芯片性能提升万倍，研究登顶Nature 来源：机器之心随着各类大模型和深度神经网络的涌现，如何制造出满足人工智能发展、兼具大算力和高能效的下一代 AI 芯片，已成为国际前沿热点。 中国科协发布的 2023 重大科学问题中「如何实现低能耗人工智能」 被排在首位。 近日，清华大学团队在超高性能计算芯片领域取得新突破。相关成果以《面向高速视觉任务的纯模拟光电计算芯片》（All-analog photo-electronic chip for high-speed vision tasks）为题发表在 Nature 上。 这枚芯片基于纯模拟光电融合计算架构，在包括 ImageNet 等智能视觉任务实测中，相同准确率下，比现有高性能 GPU 算力提升三千倍，能效提升四百万倍。 图1 相关论文（来源：《Nature》） 论文地址：Chen, Y. et al.All-analog photoelectronic chip for high-speed vision tasks. Naturehttps://doi.org/10.1038/s41586-023-06558-8(2023). 未来已来？光为载体的计算芯片 实现算力飞跃并非易事，特别是当前传统的芯片架构，受限于电子晶体管大小逼近物理极限。全新计算架构成为破局的关键。光计算以其超高的并行度和速度，被认为是未来颠覆性计算架构的最有力竞争方案之一。 光计算，顾名思义是将计算载体从电变为光，利用光在芯片中的传播进行计算。面对以光速计算的诱人前景，数年来海内外知名科研团队相继提出多种设计，但要替代现有电子器件实现系统级应用，仍面临重大瓶颈： 一是如何在一枚芯片上集成大规模的计算单元（可控神经元），且约束误差累计程度；二是实现高速高效的片上非线性；三是为兼容目前以电子信号为主体的信息社会，如何提供光计算与电子信号计算的高效接口。当前常见的模数转换功耗，较光计算每步乘加运算高出多个数量级，掩盖了光计算本身的性能优势，导致光芯片难以在实际应用中体现出优越性。 系统级算力和能效，超现有芯片万倍 为解决这一国际难题，清华大学团队创造性地提出了模拟电融合模拟光的计算框架，构建可见光下的大规模多层衍射神经网络实现视觉特征提取，利用光电流直接进行基于基尔霍夫定律的纯模拟电子计算，两者集成在同一枚芯片框架内，完成了 “传感前 + 传感中 + 近传感” 的新型计算系统。极大地降低了对于高精度 ADC 的需求，消除传统计算机视觉处理范式在模数转换过程中速度、精度与功耗相互制约的物理瓶颈，在一枚芯片上突破大规模集成、高效非线性、高速光电接口三个关键瓶颈。 图 2. 光电计算芯片 ACCEL 的计算原理和芯片架构（来源：《Nature》） 实测表现下，ACCEL 芯片的系统级算力达到现有高性能芯片的数千倍。同时系统级能效达 74.8 Peta-OPS/W，较现有的高性能 GPU、TPU、光计算和模拟电计算架构，提升了两千到数百万倍。 在超低功耗下运行的 ACCEL 将有助于大幅度改善发热问题，对于芯片的未来设计带来全方位突破，并为超高速物理观测提供算力基础。同时对无人系统、自动驾驶等续航能力要求高的场景带来重大利好。 表 1. ACCEL 和现有高性能芯片的系统级实测性能指标对比（来源：《Nature》） 非相干光直接计算 更进一步，ACCEL 芯片还支持非相干光视觉场景的直接计算，如论文中演示的交通场景实验。显著拓展了 ACCEL 的应用领域，有望颠覆目前自动驾驶、机器人视觉、移动设备等领域先将图片拍摄并保存在内存中后进行计算的思路，避免传输和 ADC 带宽限制，在传感过程中完成计算。 图 3. ACCEL 可用于电子设备超低功耗人脸唤醒示意动图（来源：清华大学） 开辟新路径：颠覆性架构有望真正落地 清华团队提出的新型计算架构不仅对于光计算技术的应用部署意义重大，对未来其他高效能计算技术与当前电子信息系统的融合，亦深有启发。 论文通讯作者之一，清华大学戴琼海院士介绍道，“采用全新原理研发出计算系统是一座大山，而将新一代计算架构真正落地到现实生活，解决国计民生的重大需求，是攀过高峰后更重要的攻关。” Nature 杂志特邀在 Research Briefing 发表的该研究专题评述也指出，“或许这项工作的出现，会让新一代计算架构，比预想中早得多地进入日常生活（ACCEL might enable these architectures to play a part in our daily life much sooner than expected.）”。 清华大学戴琼海院士、方璐副教授、乔飞副研究员、吴嘉敏助理教授为本文的共同通讯作者；博士生陈一彤、博士生麦麦提?那扎买提、许晗博士为共同一作；孟瑶博士、周天贶助理研究员、博士生李广普、范静涛研究员、魏琦副研究员共同参与了这项研究。推荐阅读 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》润了！大龄码农从北京到荷兰的躺平生活（文末有福利哟！）如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研奖金675万！3位科学家，斩获“中国诺贝尔奖”！又一名视觉大牛从大厂离开！阿里达摩院 XR 实验室负责人谭平离职 最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎大家加入DLer-计算机视觉技术交流群！ 大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。 进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明） ??长按识别，邀请您进群！