基于单目超构表面相机的深度偏振四维成像

01导读

清华大学精仪系光电工程研究所杨原牧副教授课题组，提出利用一种基于半导体工艺制造的新型平面衍射光学元件“超构表面”。近日以“单目超构表面相机快照式被动四维成像”（Monocular metasurface camera for passive single-shot 4D imaging）为题发表在《自然·通讯》（Nature Communications）上。

02研究背景

普通相机只能拍摄物体的二维平面图像。近年来，三维立体视觉在消费电子、机器人、汽车智能化和工业自动化等新兴领域中开始扮演愈发重要的角色。三维空间维度之外，光场提供的额外信息维度，例如偏振、光谱等，可以揭示场景更加丰富的特征，对于目标识别与追踪、特征分析、图像增强等任务有着重要的作用。为获取额外维度光场信息，光学系统通常需要更大的体积、重量和功耗。例如，获取物体深度信息需要主动激光照明或采用多视角拍摄；获取物体偏振信息需要通过分振幅、分焦面等方式。通常单一光学系统难以同时记录多个维度的光场信息。

针对以上难题，清华大学精仪系光电工程研究所杨原牧副教授课题组提出利用一种基于半导体工艺制造的新型平面衍射光学元件“超构表面”（metasurface）替代传统相机镜头组，通过在亚波长尺度灵活设计超构表面结构单元，构造对场景深度、偏振敏感的成像系统点扩散函数，将多维光场信息编码在相机传感器上，结合相应计算成像算法，实现了一种新体制小型化多维光场相机，能够在无需主动激光照明的情况下，通过单次拍摄同时获取目标场景包含二维强度、深度、偏振在内的四维光场信息。该成果近日以“单目超构表面相机快照式被动四维成像”（Monocular metasurface camera for passive single-shot 4D imaging）为题发表在《自然·通讯》（Nature Communications）上。

03研究创新点

图1 单目超构表面相机被动快照式四维成像框架

该相机工作原理如图1所示。超构表面由半导体工艺加工的各向异性硅基纳米天线阵列构成，总口径为2毫米。通过对其点扩散函数进行精心设计与优化，目标场景会在像面上形成一对空间分离的正交偏振孪生图像。场景的深度信息与这对孪生图像与其几何像点的局部平移矢量一一对应，由此关系可以通过算法重建出场景的扩展景深二维图像、深度图像与偏振信息。该设计解决了以往单目三维成像工作中存在的重建精度差、重建耗时长及深度范围小等问题，并进一步实现了对目标场景偏振信息的获取。

图2 室内静态场景四维成像实验

本工作中的超构表面芯片和由其构成的相机系统实物如图2a-c所示。室内静态场景四维成像实验部分结果如图2d-f所示。利用该相机同时拍摄放置在不同深度的纸张、铁片和陶瓷物体，可以同时获取场景的四维光场信息，深度图误差仅为0.37%，并且通过偏振信息可以清晰区分金属与非金属材质。

图3 室外动态场景四维成像实验

室外动态场景四维成像实验部分结果如图3所示。在自然光照明下，对移动的玩具小车进行拍摄，可以获得场景的扩展景深偏振图像以及高精度的深度信息，从而揭示出动态三维场景的准确时空关系。

通过进一步利用超构表面的偏振及光谱响应，当前的单目四维成像技术框架有望进一步拓展至三维空间、偏振、光谱五维成像。当前单帧多维图像计算恢复时间约需0.3秒。通过优化算法框架，有望进一步提升恢复速度，实现对更复杂场景的多维光场重建。

04总结与展望

本工作的完成单位为清华大学精密仪器系、精密测试技术与仪器国家重点实验室，第一作者为精仪系2021级博士研究生沈子程，通讯作者为杨原牧副教授。精仪系曹良才教授、博士后赵峰、靳淳淇、王帅为论文工作出了重要贡献。本研究得到了国家自然科学基金和清华大学国强研究院的资助。

图4 单目三维相机集成模组及其实拍高精度手势深度图

在发表前沿学术研究成果的同时，课题团队将相关成果通过清华大学技术转移体系进行产业化落地，孵化成立维悟光子（北京）科技有限公司，获得真格基金超千万元的天使轮融资。所开发的快照式单目三维成像技术被知名行业媒体“光电汇”评为“2022中国十大光学产业技术”。2023年9月，维悟光子发布「单目红外3D成像模组」产品，现已提供多家下游用户进行测试导入。该产品采用单颗摄像头，通过单帧拍摄，可同时获取像素级配准的3D点云和红外图像信息，可被应用于机器人、生物识别等广阔领域。