基于人工智能的框架在虚拟世界中创建逼真的纹理

许多虚拟世界设计师发现有效设计令人信服的复杂纹理或图案是一项挑战。的确，所谓的“纹理合成”是一种精确的纹理设计，比如河流中的水波纹、混凝土墙壁或树叶图案，这对于艺术家来说仍然是一项艰巨的任务。“现实世界”中的大量非静止纹理可以在游戏或虚拟世界中重新创建，但是现有技术繁琐且耗时。

为了应对这一挑战，全球计算机科学家团队开发了一种基于人工智能的独特技术，可以训练网络学会将小纹理扩展成大纹理。研究人员的数据驱动方法使用名为生成对抗网络(GAN)的AI技术来训练计算机将纹理从样本补丁扩展到与原始样本最相似的更大实例。

该论文的主要作者、深圳大学和华中科技大学的助理教授周扬说：“我们的方法成功地处理了非平稳纹理，而没有对高层结构进行任何高级或语义描述。”“它可以处理非常具有挑战性的纹理，据我们所知，它无法通过任何其他现有方法来处理。其结果是一个现实的设计，可以产生高分辨率，高效率和大规模生产。”

基于示例的纹理合成的基本目标是生成一个大小通常大于输入大小的纹理，它可以紧密地捕捉样本输入的视觉特征(但不完全相同)，并保持逼真的外观。非静态纹理的示例包括具有大尺度不规则结构的纹理，或者在某些属性(例如颜色、局部方向和局部尺度)中显示空间差异的纹理。在这篇论文中，研究人员在复杂的例子中测试了他们的方法，比如孔雀羽毛和树干波纹，它们似乎有无尽的重复模式。

周和他的合作者，包括华中大学的和，耶路撒冷希伯来大学的Dani Lischinski，深圳大学和特拉维夫大学的-Or，以及深圳大学的将与他们合作。8月12日至16日在不列颠哥伦比亚省温哥华举办的SIGGRAPH 2018工作。这一年一度的聚会展示了计算机图形和交互技术前沿的世界领先的专业人士、学者和创造力。

他们的方法包括训练一个称为生成器的生成网络来学习扩展从一个示例中剪切的任何纹理块(即，将其空间范围加倍)，以便扩展后的结果在视觉上类似于包含适当大小(两倍大)的示例块。使用判别网络(判别式)来评估自动扩展的块和实际包含的块之间的视觉相似性。作为GAN的典型代表，鉴别器与生成器并行训练，以区分示例中的实际块和生成器生成的块。

周说：“令人惊讶的是，我们发现，通过使用这种概念简单、自我监控的对抗训练策略，训练后的网络几乎可以完美地处理各种纹理，包括固定和高度不固定的纹理。”

该工具旨在帮助纹理艺术家进行视频游戏设计、虚拟现实和动画制作。一旦对每个给定的纹理样本进行了自监督对抗训练，该框架就可以用于自动生成扩展纹理，该扩展纹理的大小可以是原始样本的两倍。未来，研究人员希望他们的系统能够以无监督的方式实际提取高级纹理信息。

此外，在未来的工作中，该团队打算在大规模纹理数据集上训练“通用”模型，并增强用户控制能力。对于纹理艺术家来说，因为艺术家倾向于为他们自己的设计操纵纹理，所以带有用户交互的受控合成可能更有用。