遇见城市梦想家：一种用于无限制三维城市的组合生成模型

城市梦想家：无限制三维城市组合生成模型

近年来，3D自然场景的创建一直是研究的热点。在创建多种类型的3D物体（包括3D城市、3D场景和3D化身）方面已经取得了重大进展。城市在城市规划、环境模拟和游戏创建等领域具有许多应用，是3D组件的关键类型。

像GANCraft和SceneDreamer这样的模型使用体积神经渲染算法、3D坐标和语义标签在3D场景中生成图像。这些技术在使用SPADE的伪造真实照片创建3D自然场景方面显示出了潜力。尽管3D自然场景的开发变得越来越受欢迎，但它也存在一些限制。与创建3D自然场景相比，创建3D城市基本上更加复杂。这是因为尽管建筑物属于同一类对象，但它们的外观范围要比树等自然场景元素的统一外观要大得多。

为了克服这些挑战，引入了一种名为CityDreamer的独特方法。它为更易于访问和更逼真的3D城市开发打开了道路。CityDreamer基本上是一种专门用于无界限3D城市生成的组合生成模型。它通过将建筑实例的创建与城市中常见的其他背景元素（如街道、公园和水体）分离来使其与众不同。通过模型内的几个模块，已经实现了这种区分。

• 了解算法偏见：类型、原因和案例研究
• 见到YaRN：一种计算高效的方法，可以扩展基于Transformer的语言模型的上下文窗口，其所需的标记数量比之前的方法少10倍，并且训练步骤少2.5倍
• 用Python对顶级科技YouTube频道进行分析

还创建了两个名为OSM和GoogleEarth的大型数据集，以提高生成的3D城市在布局和美学外观上的真实性。这些数据库中有大量实际城市影像。通过添加来自现实世界的特征和差异，这些数据的添加旨在增加所建立的3D城市的真实感。通过深入试验和审查，CityDreamer已经证明了在3D城市开发领域中超越尖端技术的优越性。它展示了创建各种逼真的3D城市的能力，克服了城市环境复杂性和准确、高质量结果的要求所带来的困难。

CityDreamer项目的主要贡献可以总结如下：

1. CityDreamer模型：本工作的核心贡献是引入了CityDreamer模型，该模型专门用于生成无界限的3D城市。它采用了一种独特的方法，将建筑实例的生成与其他背景对象（如道路、绿地和水体）分离开来，通过模型内的不同模块实现了这一目标，从而实现了对生成的城市景观的更精确控制和增强现实感。

1. 数据集的构建：第一个数据集OSM通过从OpenStreetMap获取数据提供了更真实的城市布局。它包括语义地图和高度场，提供了有关道路、建筑物、绿地和水体位置的有价值信息。第二个数据集GoogleEarth侧重于提高城市的视觉外观，它包括使用Google Earth Studio拍摄的图像，并包含多视图一致性，可以更全面、更真实地表示城市环境。

1. 定量和定性评估：通过定量和定性评估，评估了CityDreamer的性能。它与现有的最先进的3D生成模型进行了比较，展示了其在生成大规模和多样化3D城市方面的能力。