惠普实验室：大规模节能张量化光学神经网络

美国惠普实验室的研究工作人员提出了一种大规模、节能、高通量、紧凑的张量化光学神经网络（TON），该网络利用了集成的III–V硅上金属–氧化物–半导体电容器（MOSCAP）平台上的张量序列分解结构。相关报道发表在《APL Photonics》上。

人工神经网络（ANN）已在各种任务中证明了其卓越的能力，包括计算机视觉、语音识别、机器翻译、医学诊断等。对于特定的神经网络任务，与传统的中央处理器（CPU）相比，IBM TrueNorth2和Intel Loihi 3等神经形态计算加速器表现出显著优越的性能。电子ANN硬件的大部分能耗来自突触互连中的数据移动。光学神经网络（ONN），也称为光子神经网络，由于能够以光速传输数据同时不具有与长度相关的阻抗，因此与电神经网络相比，有望显著提高能量效率和吞吐量。然而，主要有两个挑战阻碍ONN实现与电气ANN的竞争性能。

第一个挑战是它有限的可扩展性，虽然电子ANN硬件能够实现每个神经元4096个突触连接，但最先进的ONN的规模仅限于64×647或更小。这是因为传统ONN中的突触互连通常依赖于马赫-曾德尔干涉仪（MZI）网格。扩展到高基数N×N网格需要O(N ^2) MZI和O(N) 级联级，这会导致很大的占地面积、光损耗预算和控制的复杂性，例如，Lightmatter的“火星”设备将64×64的微机电系统（MEMS）MZI网格集成在一个150 mm^2的芯片上，在相同的架构和设备平台下，1024×1024的预计芯片尺寸将大于8英寸。同时，MEMS MZI的1024个级联级的光插入损耗将大于675dB，这很难用光放大器进行补偿。有限的可扩展性使得传统的ONN通常依赖预处理和卷积层来处理有意义的机器学习（ML）数据集（例如ImageNet数据集）。然而，卷积神经网络（CNN）仅对特定任务（例如，图像分类和时间序列）有效，并且需要许多层。另一方面，一些研究人员建议追求规模相当的大规模ONN作为电气ANN硬件。然而，这项工作需要保留传统的ONN架构，或者通过在时域中编码输入数据来降低吞吐量，或者需要大量的自由空间设备。

图 1. (a) 具有输入层、隐藏层、输出层和突触互连的 ONN 架构示意图。 每个突触互连都是由任意权重矩阵 W 表示的线性操作。 (b) 用于参数压缩的权重矩阵 TT 分解。

第二个挑战是缺乏一个能够将光学神经元与硅上的光电探测器（PDs）、神经元电路、光发射器和突触互连进行单片集成的设备平台。硅光子学（SiPh）与硅互补金属-氧化物-半导体（CMOS）工艺在大多数零件上采用相同的制造工艺步骤，已被证明是商业化大容量廉价电子和光子集成电路（EPIC）制造的理想平台。然而，由于硅是一种间接带隙材料，硅光发射器效率低下。将III–V二极管激光芯片与SiPh芯片对齐将导致额外的耦合损耗和封装复杂性，从而限制能量效率和集成密度。

为了缓解这两个挑战，在体系结构方面，张量序列（TT）分解的突触互连能够减少硬件资源实现大规模ONN。作为显著压缩ANN中过度参数化全连接层的有效方法， TT分解已被证明在各种任务（包括马尔可夫随机场、图像识别和视频分类）上实现了与深度CNNs集合几乎相同的精度。在设备平台方面，尽管张力化ONN（TON）可以在各种光子平台中实现，但异质III–V硅集成是最佳选择。量子点（QD）梳状激光器和雪崩光电二极管（APD）与其他晶圆级SiPh器件的集成进一步提高了TON的能量效率。

图2. (a) 1024×1024 TON多波长设备结构示意图。(b) 具有MOSCAP TEM图像的量子点梳状激光器和MOSCAP微环调制器的示意图。(c) 量子点梳状激光器的光谱。(d) 硅锗波导雪崩光电探测器（APD）示意图。(e) MOSCAP微环调制器光谱和28 Gb/s眼图。(f) MOSCAP中不同HfO2栅极厚度的等离子体色散效应仿真结果。(g) Si–Ge APD灵敏度与增益。

为此，研究人员提出了一种大规模、节能、高通量、紧凑的张量化光学神经网络（TON），该网络利用了集成的III–V硅金属氧化物半导体电容器（MOSCAP）平台上的张量序列分解结构。拟议的TON架构可扩展到1024×1024个突触及以上，这对于使用级联多波长小基（例如8×8）张量核的传统集成ONN架构来说是极其困难的。仿真实验表明，与传统ONN相比，所提出的TON使用的马赫-曾德尔干涉仪（MZI）减少了79倍，MZI级联级减少了5.2倍，同时保持了修改后的美国国家标准技术研究院手写数字分类的 > 95% 的训练精度任务。此外，利用经验证的硅上异质III–V MOSCAP平台，以占地面积-能源效率作为品质因数，TON分别是数字电子人工神经网络（ANN）硬件和其他光子技术的1.4×104和2.9×102倍，与电子ANN相比，ONN具有相似数量的突触和更高的能量效率。

所提出的体系结构为未来将ONN扩展到 1024 或更多指明了路线图，显着降低了硬件要求和超高能效。