SCAMP 使计算机视觉更接近自然感知

来自University of Bristol和University of Manchester的研究人员从大自然中寻找启发，他们正在开发一种越来越智能的拍照方法以应用于人工智能系统。相机的应用包括自动驾驶车辆和其它智能视觉器件。

数码相机和计算机设备等构成的传感器组合是当前视觉系统的主要组成部分。这种系统的问题在于，只有在记录和传输视觉信息之后，它们才能感知环境。发送的信息也往往包含大量的数据，这些数据与用户（无论是计算机还是人类）无关;在自动驾驶车辆中，这个系统可以捕获路边树上的叶子等详细信息。但是此类细节增加了功耗和处理时间，从而降低了系统的效率。

SCAMP-5D视觉系统上的卷积神经网络 （CNN）以每秒8，200 帧的速度对手势进行分类。University of Bristol供图。

"我们可以从自然界的系统处理视觉的方式汲取灵感，我们并不感知一切信息，我们的眼睛和大脑协同工作来理解这个世界。在某些情况下，眼睛本身会进行处理，以帮助大脑减少处理不相关的信息，" University of Bristol机器人、计算机视觉和移动系统教授、该项目的主要研究者Waldiio Mayol Cuevas说。

此次合作发表了两篇有关该主题的论文，一篇由Laurie Bose主导，另一篇由Yanan Liu主导，以朝着更高效的智能拍照系统前进。研究人员直接在图像平面上执行了CNNs（卷积神经网络）。该团队开发的 CNNs 以每秒数千次的速度对帧进行分类，无需记录帧或将其发送到处理线程。研究人员通过对手写数字、手势甚至木板进行分类来展示这项技术。这项工作是基于SCAMP架构，由University of Manchester电路和系统教授Piotr Dudek和他的团队开发的。SCAMP是一种团队描述为 PPA（像素处理器阵列）的图像处理芯片。PPA在每个像素中嵌入了一个处理器，允许它们以真正平行的方式进行通信和处理，是CNN和视觉算法的理想之选。

SCAMP-5d 视觉系统。University of Manchester 供图。

Dudek 说："在像素级别的传感器、处理器和内存的集成不仅可实现高性能、低延迟的系统，还有望实现低功耗、高效率的硬件。SCAMP器件实现的轨迹与当前的相机传感器类似，但能够在图像捕获时使用通用的大规模并行处理器处理数据。"University of Bristol飞行动力学高级讲师Tom Richardson表示："令人激动的是，这些相机不仅具有新兴的机器学习能力，它们还有运行速度快和轻型配置等优点。Richardson一直在努力将这项技术整合到轻型无人机中。这项研究下一步的研究方向是，人工智能专用相机，视觉系统可以发送高级信息到系统的其他部分，如对象的类型或者是发生在相机前面的事件。这种方法可以使系统更加高效和安全，因为不需要记录任何图像。

研究论文在2020年欧洲计算机展望会议（European Conference on Computer Vision）上发表。