基于神经超材料的动态识别和海市蜃楼

       物体识别是一种涉及计算机视觉和图像处理的计算机技术，用于检测、分类和标记数字照片中某类语义对象的实例。在现代社会，它已经渗透到我们生活的每一个角落，例如通过视频监控、目标跟踪、图像注释和分割。为了实现目标识别，传统的方法通常需要两个步骤：图像序列由摄像头捕获，然后使用数字计算机进行处理，并结合深度学习或其他模式识别算法。然而，随着大数据和物联网的指数增长，传统的两步程序可能被认为是不够的，并行信息收集和数据处理的光速要求很高。从本世纪初开始，超材料和光子学的出现促使科学家们从全新的光学角度重新审视已建立的物体识别技术。与传统的基于电子的实现相比，基于光子的计算被认为是很有前景的，尤其是在高通量、特定站点、实时任务中，并且提供了光速操作、低功耗和并行能力等竞争优势。迄今为止，取得的成果包括数学运算符、逻辑运算符等。关于光学成像，也有许多相关的发展，如计算成像、边缘检测和非视线成像。这些开创性的方法有效地完成了目标识别图像捕获的第一步——取代甚至改进了数码相机技术。然而，如果要继续进行目标识别任务的图像处理步骤，数字计算对于所需的操作（包括降维和特征提取）仍然是必不可少的，研究人员正致力于提高算法在复杂应用场景中的效率。另一方面，尽管物体识别（例如手写数字）经常被用作示例来演示各种光学神经网络架构，例如纳米光子深度学习电路和光电卷积混合神经网络，这些体系结构本质上完成了第二步图像处理，通过利用一系列预先准备好的数据集来取代甚至改进数字计算。因此，为了适应现场应用，应采用光到电子/电子到光的转换，以允许电子图像感知器和光学处理组件之间的实时通信。整个识别系统的速度最终受限于电子处理器的掩蔽率。由于处理器的能量消耗，处理速度很难提高，在摩尔定律的背景下变得越来越具有挑战性。考虑到所有这些因素，促进真实世界三维（3D）应用中的完全光学对象识别，从而充分利用光学技术的潜力，尽管具有挑战性，但至关重要。

       近日，来自浙江大学现代光学仪器国家重点实验室量子信息跨学科中心ZJU-UIUC研究所、浙江大学杭州全球科技创新中心先进微纳电子器件重点实验室、浙江大学智能系统和浙江大学金华学院的Chao Qian等人从完全光学的角度介绍了可用于实现动态物体识别系统的神经超材料的概念。神经超材料由非均匀超材料或传输超表面制成，并使用拓扑优化和深度学习等方法进行优化。他们在实验中证明了这一概念，活体兔子在神经超材料前自由玩耍，从而能够在光速下感知兔子的代表性姿势。此外，他们还展示了这种能力如何为创造动态光学海市蜃楼提供一种新的物理机制，通过这种机制，兔子的一系列动作被转换成不同动物的全息视频。他们的工作提供了对超材料如何促进无数原位应用的深刻见解，例如虚幻的隐形和光速信息显示、处理和加密，可能会迎来“光学物联网”时代。相关研究工作发表在《Nature Communications》上。（詹若男）

      文章链接：Chao Qian et al. Dynamic recognition and mirage using neuro-metamaterials. Nature Communications (2022) 13:2694 https://doi.org/10.1038/s41467-022-30377-6