
昨日,斯坦福大学教授李飞飞的创业公司 World Labs 正式上线了空间智能最新研究成果:Marble。
❗ 上线了,但没有完全上线:目前 Marble 是一个限量访问的 Beta 测试版平台,用户可以在官网地址( marble.worldlabs.ai)浏览和创建 3D 世界。
成果公布后,李飞飞本人发文表示「这是使用我们的 3D 世界生成模型创建的一个极其庞大的世界。这让我惊叹不已!」
从技术层面看,World Labs 的 Marble 要实现的是:
给 AI 一张照片,让它「脑补」出整个场景的几何结构——哪些面是平的、哪些是凸凹的、物体间的空间关系、深度、光照、材质、纹理等。这包括估计场景中隐含的深度地图和几何边界,然后生成一个可以随时探索的 3D 世界。
关键是这个世界是永久持续的,不会变形,也不会出现不一致的情况。相比之前的技术成果,现在的生成世界更大、风格更多样,三维几何结构也更清晰。
更贴心的是,在 Marble 里,创作者还可以将生成的世界导出为 Gaussian splats,并应用在后续项目中。
World Labs 提供的开源渲染库 Spark 可以无缝整合 Gaussian splats 到 Three.js 中,用于搭建基于网页的 3D 体验,并且能在台式机、笔记本、移动设备和 VR 头显上高效运行。
比较遗憾的是Marble 目前专注于生成 3D 环境,还搞不定人物或动物,所以「自拍爱好者和萌宠主人」暂时要失望了。而且虽然能生成「房间大小」的世界,但要构建真正的大型游戏场景,可能还需要更多技术突破。
|