中科院发布空间智能新框架,3D场景2分钟生成

发布时间:01-13

「空间智能」和「世界模型」是最近学术界和产业界非常火热的研究方向,走向虚实结合、模拟世界机理的关键一步,就是创造出一个生动的虚拟世界。

然而,想要打造丰富多样、充满细节,同时具备高度可编辑性和物理真实性的3D虚拟世界,仍然困难重重。

为了解决这些难题,来自中国科学院自动化研究所和北京科技大学的联合团队,首次提出了一种全新的3D场景生成框架SceneX,只需简单的文字描述,就能快速生成高质量的3D虚拟场景。

不论是辽阔的自然风景,还是充满活力的城市街道,模型都能轻松应对。

更重要的是,SceneX还能根据需求灵活调整,让场景更贴合用户设想。

有了SceneX,虚拟世界的构建也会更轻松,简单且高效。

SceneX开启高效、逼真场景生成新时代

SceneX以创新的方式打破传统局限,全面提升效率与真实感,主要包括两个核心模块:

PCGHub:通过集成多种程序化生成模块并封装为标准化API,PCGHub提供了一个灵活的平台,解决单一生成模块因固有算法和规则受限而导致的局限性,大幅扩展了资源生成的多样性和灵活性。

PCGPlanner:作为智能规划器,PCGPlanner高效协调PCGHub的资源完成场景生成。其全自动化流程包括场景分解、地形生成、资产生成与检索、资产放置等阶段。通过模块化设计,确保生成结果的连贯性与几何一致性。

相比传统方法需要数周完成的大规模场景建模,SceneX将时间压缩至数小时,同时支持通过简单的文字指令精确控制场景的细节。SceneX的跨模态协同能力,赋予场景生成前所未有的灵活性与可控性。

PCGHub:多样化程序化资产与布局生成平台

场景的多样性离不开资产的多样性。

为此,PCGHub提供了一个集成丰富程序化生成模块和3D资产的平台,旨在解决传统方法的局限性并提升内容真实感。

PCGHub提供了172个涵盖自然环境、建筑等多领域的程序化资产,并配备了散射、网格、线性等多种灵活的布局生成器,使开发者能够轻松创建丰富多样的3D场景。

PCGPlanner:智能场景生成与布局规划

PCGPlanner利用PCGHub提供的资源,实现高效的自动化场景生成。整个生成过程包括四个关键阶段:

(1)场景分解:根据用户需求分析场景并列出所需资产;

(2)地形生成:构建基础地形并应用适当的材质;

(3)物体生成与检索:根据需求生成或导入场景所需的资产;

(4)资产放置:根据不同的布局类型和程序化生成器,在场景中安排资产。

效率无与伦比

时间就是一切,而SceneX让场景生成变得又快又准。

实验结果显示,生成一片壮丽的自然景观只需要短短几分钟,打造一座大型城市也快得令人惊讶。

结语

SceneX框架展示了程序化内容生成与多Agent工作流结合的巨大潜力,为大规模场景生成提供了全新的解决方案。

通过其强大的可控性和高质量的生成能力,SceneX为虚拟世界构建、游戏开发、影视制作等领域开辟了新的可能性。

未来,SceneX将进一步优化生成过程,为用户提供更加高效便捷的场景生成体验。

好文章,赞一下
4789
采购咨询
供应咨询
18222705963