研究表明人工智能如何帮助创建全彩色夜视摄像机

夜视摄像头技术在数字时代取得了长足的进步。随着传感器的不断改进，低光图像质量也在不断提高。然而，与红外夜视摄像机一样好，它们是单色的。加州大学欧文分校的研究人员希望通过将红外相机技术与人工智能相结合来改变这种状况，开发出一种夜视相机，即使在人眼完全黑暗的情况下也能产生全彩色图像。

我们的眼睛在可见光谱中看到。可见光的波长范围为 400 至 700 nm。专门的夜视摄像系统在红外光中“看到”，然后将其数字转换为可见光谱中的单色图像。这种在黑暗中“看”的方法有局限性，包括产生单色图像。加州大学欧文分校的研究人员试图开发一种由优化的深度学习架构提供支持的成像算法，其中场景的红外光谱照明可以用来预测场景的可见光谱渲染，就好像它被人类用可见光谱光感知一样。当人类处于完全“黑暗”状态并且仅用红外光照射时，这将可以以数字方式向人类呈现可见光谱场景。

为了实现彩色夜视图像的这一目标，团队需要使用合适的图像集充分训练深度学习模型。使用在多光谱照明下显示的打印图像，对卷积神经网络进行了优化，以预测在红外光下看到的不同图像在可见光谱中的样子。“这项研究是从难以察觉的近红外照明预测人类可见光谱场景的第一步。” 截至目前，该团队仅使用打印照片测试了该方法。但是，结果应该转化为现实世界的主题和视频应用程序。

这不是研究人员第一次尝试教夜视摄像机看颜色。先前的尝试包括使用典型的相机和红外相机拍摄相同的场景，以教机器学习模型从红外图像中预测颜色。加州大学欧文分校的科学家们改为使用多种波长的红外光来改进颜色预测算法。结果表明，与实际彩色图像相比，该团队的红外光和深度学习方法表现出色。随着团队增加红外通道的数量，该模型做出了更好的预测。无需依赖单个红外图像，跨多个红外通道进行成像可以实现更准确的全色预测。

需要进一步的工作，但到目前为止，该团队的深度学习模型仅使用三个输入红外图像就产生了一致的 RGB 重建。此外，所提出的 U-Net 架构每秒可以处理三个图像。因此，它还没有准备好充当实时全彩色夜视摄像机。然而，它正在到达那里。该团队认为，可以使用不同的加速度来提高速度。此外，由于改进的架构、多线程或更快的硬件，起点是改进的一个很好的基准。

“原理证明”研究显示出希望。可能的实际应用包括可用于监视、安全、动物观察和军事行动的全彩色夜视摄像机。该技术还可用于处理、处理和研究对可见光敏感的生物样本，例如研究视网膜组织时。还有可能的医疗应用，例如能够在完全黑暗中进行敏感的眼科手术。该团队总结说：“简而言之，这项研究表明，CNN 能够从红外照明图像开始产生颜色重建，这些图像是在人类不可见的不同红外波长下拍摄的。因此，