AI辅助实时3D全息图的成像

一种生成全息图的方法，即使用消费级笔记本电脑能够运行的人工智能程序，能够应用于VR和3D打印。麻省理工学院的一个团队介绍了这种方法，它几乎可以立即生成全息图。通常，通过计算机生成全息图的过程需要超级计算机来运行必要的物理模拟。即使在超级计算机上，这个过程也是非常缓慢的，而且经常输出一些不理想的结果。相比之下，新方法使消费级计算机能够在毫秒内生成实时3D全息图像。

此图显示了2D和3D全息投影的实验演示。左侧照片聚焦在一个靠近相机的鼠标玩具（黄色盒子），右侧照片聚焦在一个桌面日历（蓝色框中）。Liang Shi, Wojciech Matusik等人供图。

麻省理工学院电子工程和计算机科学系博士生Liang Shi表示："以前人们认为，有了现有的消费级硬件，就不可能进行实时3D的全息计算。"人们常说，商业上可用的全息显示器将在10年内出现，但这种说法已经存在了几十年。Shi认为，新方法即"张量全息技术"将实现这一目标。2D照片和全息图的根本区别在于全息图是对每个光波的亮度和相位进行编码。这使得全息图能够描绘场景视差和深度的表现更加逼真。为了光学捕捉全息图，激光束被分割，一半用于照亮物体，另一半用于光波相的参考。参考产生深度感。然而，这些全息图是在20世纪中叶发展起来的，是静态的，因此无法捕捉运动。而这个方法只产生了一个硬拷贝。

计算机生成的全息图旨在通过模拟光学设置来绕过这些挑战。由于场景中的每个点的深度不同，因此不能对每个点应用相同的操作。"这大大增加了复杂性，"Shi说。运行这些模拟的超级计算机可能需要几分钟才能生成单个全息图像。现有的算法也不能够以真实的图像精度呈现。麻省理工学院的研究小组利用深度学习，设计了一个卷积网络，使用一系列张力来模拟人类处理视觉信息的方式。培训神经网络通常需要一个大型的高质量数据集，团队必须自行搜集这些数据集。自定义数据库包含4000对通过计算机生成的图像。每个图像与相应的全息图匹配一张图片，包括每个像素的颜色和深度信息。研究人员创建了数据库全息图，其场景包括复杂的以及不同的形状和颜色，从背景到前方的像素深度分布均匀。

为了解决光遮挡的问题，他们还提供了一套新的基于物理的计算方法。该算法使用真实的图像训练数据集，优化了自身的计算程序，成功增强了生成全息图的能力。整个网络的运行速度比基于物理的计算快一个数量级。这个方法能够从具有深度信息的图像中生成毫秒全息图-由典型的计算机生成的图像提供，并且可以通过多相机设置或激光雷达传感器进行计算。紧凑型张力网络需要不到1 MB的内存。研究人员Wojciech Matusik说："考虑到最新手机上可用的数十和数百千兆字节的内存容量，这基本上微不足道。在VR中，该团队相信该技术可以提供更逼真的场景，并消除长期VR使用的眼睛疲劳和其它副作用。该技术还可用于能够调节光波相位的显示器上。Matusik说："这是一个相当大的飞跃，可以完全改变人们对全息学的态度。"我们觉得神经网络就是是为这项任务而诞生的。

这项研究发表在《Nature》（www.doi.org/10.1038/s41586-020-03152-0）杂志上。