研究人员用单个图像创建视频

华盛顿大学（University of Washington）的一个研究小组开发出一种能够将流体运动的静态图像转化为动画视频的方法。这种方法使水、云和烟雾等流动物体转成动画，使其产生一个无缝循环的简短视频，给人一种无休止的运动印象。"一张图片捕捉到了凝聚在时间中的瞬间。但是，大量信息在静态图像中丢失了。比如是什么导致了这一刻，事情是如何变化的？想想你最后一次发现自己专注于一些真正有趣的事，它很可能不是完全静态的，"主要作者、保罗?艾伦计算机科学与工程学院(Paul G. Allen School of Computer Science and Engineering)的博士生Aleksander Holynski说。"我们方法的特别之处在于，它不需要任何用户输入或额外信息。你只需要一张照片。它可以输出高分辨率、无缝循环的视频，它通常看起来像一个真正的视频。

开发一种将单张照片转换为可信视频的方法一直是该领域的一个挑战。"它有效地要求你预测未来，" Holynski说。"在现实世界中，接下来可能发生的情况有无限可能性。为了估计运动，研究小组训练了一个神经网络，其中有数千个瀑布、河流、海洋和其他具有流体运动的材料的视频。培训过程要求网络仅用第一帧猜测视频的运动。在将预测与实际视频进行比较后，网络学会了识别线索（例如溪流中的波纹）以帮助它预测接下来会发生什么。然后，系统使用这些信息来确定每个像素是否以及如何移动。

最初，研究小组试图使用一种叫做"飞溅"的技术来使图片动起来。这个方法预测每个像素点的运动轨迹，但是也有一定的问题。"想想流动的瀑布，" Holynski说。"如果你把像素移到瀑布上，在视频的几帧之后，顶部就没有像素了！为了解决这个问题，团队创建了"对称飞溅（symmetric splatting）"。该方法预测图像的过去和未来，并将它们组合成一个动画。"回顾瀑布的例子，如果我们回到过去，瀑布的像素点将向上移动。因此，我们将看到瀑布底部出现了一个洞，" Holynski说。"我们集成了这两个动画中的信息，因此我们弯曲的图像中永远不会有任何明显的大孔。研究人员希望他们的动画无缝循环，以创建连续运动的图像。动画网络遵循一些技巧来保持物体清晰，包括在不同的时间转换帧的不同部分，并根据周围环境决定混合每个像素的速度。

该方法最适合用于具有可预测流体运动的对象。目前的研究是反射应该如何移动以及水如何扭曲其下方的物体。"当我们看到瀑布时，我们知道水应该如何运动。火或烟也是如此。这些类型的动作遵循同样的物理定律，图像中通常有提示告诉我们事情应该如何发展，" Holynski说。"我们很乐意扩展我们的工作来操作更广泛的物体，比如人的头发在风中吹。我希望最终我们与朋友和家人分享的照片不会是静态图像。而是都是动态动画，就像用我们的方法所制作的那些动画一样。研究人员将于6月22日在计算机视觉和模式识别会议（Conference on Computer Vision and Pattern Recognition）上报告这项工作。