BlockNeRF人工智能使用280万张照片重建了一个虚拟的旧金山社区

在神经辐射领域的专业领域(也称为NeRF)已经完成了许多令人印象深刻的工作。该技术使用人工智能从 2D 输入图像创建 3D 场景，填充可能的空白以创建场景其他部分的合成视图。我们最近看到了来自 NVIDIA Research 的新技术Instant NeRF 。Instant NeRF 是迄今为止最快的 NeRF 技术。如果 NVIDIA 的工作因其速度而令人印象深刻，那么来自 Waymo 的一种名为Block-NeRF的新 NeRF 方法同样令人印象深刻，这要归功于它的可扩展性。

Block-NeRF 是神经辐射场的一种变体，可以“代表大规模环境”。该团队写道，“具体来说，我们证明了在缩放 NeRF 以渲染跨越多个街区的城市规模场景时，将场景分解为单独训练的 NeRF 至关重要。这种分解将渲染时间与场景大小分离，使渲染能够扩展到任意大的环境，并允许对环境进行逐块更新。我们采用了几项架构更改，以使 NeRF 对在不同环境条件下数月捕获的数据具有鲁棒性。我们为每个单独的 NeRF 添加了外观嵌入、学习姿势细化和可控曝光，并引入了一种用于对齐相邻 NeRF 之间外观的程序，以便它们可以无缝组合。

为了展示 Block-NeRF，该团队使用 280 万张图像构建了一个 Block-NeRF 网格，以创建有史以来最大的神经场景表示。Block-NeRF 渲染了旧金山的整个街区。在下面的视频中，来自 YouTube 频道“两分钟论文”的Károly Zsolnai-Fehér分解了 Block-NeRF 和团队令人难以置信的成就。

即使有 280 万张图像，在附近飞越中看到的大部分信息都是合成的，由 Waymo 的 Block-NeRF AI 模型创建。为了捕捉其最初的图像，Waymo 使用了三个月内多次旅行拍摄的自动驾驶汽车图像。然而，这些汽车并没有覆盖附近所有可能的路径。尽管如此，使用 Block-NeRF，您可以摆脱人迹罕至的道路，并且 AI 会合成新信息以填充不同的路径和城市景观。结果非常令人印象深刻。

Waymo 的 Block-NeRF 虽然非常好，并且比我们在大规模 AI 生成的环境中看到的一些更好，但并不完美。但是，很容易考虑这种人工智能技术的可能应用。正如DIY Photography指出的那样，“即使在今天，这项技术也可以很容易地以目前的形式用于在工作室中为虚拟布景再现大型户外场景——就像《曼达洛人》中的场景。例如，作为通过车窗的外部视图，您可能会认出建筑物，但您不会发现 AI 工件，因为它们以 50 英里/小时的模拟速度在窗户旁呼啸而过。当他们在现场演员身后充当静态场景的背景时，你也不会发现它们，用大光圈镜头稍微模糊不清，