编辑：|
编辑| 陈晨
智动智7月3日报道，今天凌晨，Meta发布了Vincent 3D模型Meta 3D Gen（以下简称3DGen），并在Vincent 3D卡车上投下了重磅炸弹。
3DGen 可以在一分钟内根据文本提示快速生成3D 资源（用于创建3D 动画的数字资源，例如3D 模型、纹理贴图和材质），速度比其他现有系统快3 至10 倍。它还允许创作者通过基于相同3D 形状快速调整纹理贴图来快速迭代。
基于物理的渲染技术（PBR）是3DGen最重要的特性。之前的很多3D生成模型都缺乏这个功能，导致AI生成的3D资产很难投入实际使用。
PBR将3D模型的物理属性集成到3D资产中，允许3D模型和模拟物理世界之间更自然的交互，创建逼真的图像和自然、逼真的环境，是一项重要技术。借助PBR 支持，3DGen 可以很好地集成到游戏开发人员和电影后期制作人员的工作流程中。
Meta 还在其技术文档中详细介绍了3DGen 背后的技术方法。他们采用了两步方法来实现3D 资产生成。一个名为AssetGen的模型用于生成基本的3D形状和纹理，另一个名为TextureGen的模型用于生成特别高质量的纹理并优化AssetGen生成结果。
3DGen演示视频（来源：Meta）
走这条技术路线，3DGen在Meta进行的测试中得到了专业创作者和普通大众的高度评价，在提示文字保真度、纹理质量、几何属性、图像质量等方面表现优于3D生成。模型。 高分。
一、1分钟生成高质量3D资产，速度比现有其它系统快3-10倍
3D资产的创建一直是视频游戏、VR/AR应用和电影特效行业的设计和开发中最耗时且最具挑战性的挑战之一。 Meta现在推出了3DGen来为这个问题提供一个可能的解决方案。
Meta在一份技术报告中表示，生成3D资产比生成图像或视频要困难得多。现实应用中对3D 资产的要求非常高，目前可供训练的现成3D 资产并不多。虽然有数十亿数据可用于训练图像和视频模型，但可用于训练的3D 资产数量要少三到四个数量级。因此，3D 生成需要从非3D 图像和视频中学习，并学习如何从2D 观察中推断3D 信息。
3DGen 支持复杂的文本提示，并为文本提示提供比其他Vincent 3D 方法更高的保真度。 Meta声称3DGen只需不到一分钟即可生成3D资产，比其他现有系统快3到10倍。
初始生成完成后，3DGen 还可以根据新提示词指定的要求在20 秒内对原始3D 资源进行重新纹理化。
尽管Meta目前尚未公开测试该系统，但它已在社交媒体X上发布了一段三分钟的视频，展示了该模型的生成效果和能力。
下面的结果提示是“Pug made of metal”。生成的结果与提示的单词内容完全匹配。照片中金属哈巴狗的3D 网格（3D 模型的框架）与现实世界中哈巴狗的物理外观相匹配，纹理的清晰度和分辨率也是如此。理想的。
3DGen可以生成更高纹理质量的3D资源（来源：Meta）
Meta 在X 上分享的一段视频也展示了3DGen 的纹理调整功能。此功能允许3DGen 以指定的样式更改整个场景的纹理。在下面的演示视频中，测试人员输入提示词，例如恐怖电影或像素风格，3DGen 立即生成指定风格的3D 纹理。这些纹理统一应用于场景中的所有3D 图像，从而提高生产质量。
3DGen可以根据提示词为同一个3D网格分配不同的纹理（来源：Meta）
二、支持基于物理的渲染和人工3D网格输入，更易融入创作者工作流
到目前为止，AI 生成的3D 资源通常缺乏真实的光照和材质属性，限制了它们在专业工作流程中的实用性。 3DGen 系统支持基于物理的渲染(PBR) 和人类艺术家3D 网格输入，使创作者可以轻松地将3D Gen 生成的3D 资产集成到自己的工作流程中。
PBR 技术将多种基于物理的属性信息集成到3D 地图中，例如给定材质的反照率、粗糙度、金属度、不透明度、折射效果和自发光。
这项技术不仅使计算机能够理解3D 资产的形状，还能了解它们如何与物理世界的元素（例如光）交互。这对于创建逼真的图像和自然、逼真的环境至关重要。它还保证了其一致性。创作过程。
该技术广泛应用于建筑可视化、游戏、VR/AR、电影特效制作等行业，是创建高质量3D资产的重要途径。支持PBR技术的3DGen生成的3D图像不仅在静止时保持高图像质量，而且在移动时也具有极高的保真度。
在Meta的宣传视频中，他们输入了“未来机器人”的提示词，并要求3D计算机图形技术公司Mixamo完成这款3D资产的角色动作自动绑定和动画制作。照片中，随着机器人跳舞，表面的金属光泽变化得非常逼真。这是PBR技术的结果。
动态3DGen生成结果（来源：Meta）
3DGen 支持输入人类艺术家创建的3D 网格，非常实用。艺术家和公司在漫长的创作过程中积累了大量手动创建的3D 网格。这些网格的质量通常高于人工智能生成的网格。 3DGen 可以使用AI 根据人类艺术家创建的3D 网格赋予网格不同的纹理，从而实现快速生成，同时保持生成结果的相对一致的质量。
下图是由人类艺术家创建的无纹理3D 网格。
无纹理3D网格（来源：Meta）
输入“雄伟的帝王蝶”和“神奇的蝴蝶，翅膀上闪烁着深奥的符号”，您会立即说出这些词，然后让3DGen 将这只无纹理的蝴蝶变为现实。
基于无纹理3D网格生成的3D资源（来源：Meta）
三、两大关键组件实现高质量3D生成，忠实度和纹理质量远超其他模型
Meta介绍3DGen的技术原理。他们将3D 生成分为两个步骤，每个步骤都有两个组件。一个用于从文本生成3D，另一个用于从文本生成纹理。该方法显着提高了3D生成的效率。
用于文本转3D生成的模型称为Meta 3D AssetGen（简称AssetGen）。这主要用于创建初始3D 资源，即具有较粗糙纹理和PBR 材质贴图的3D 网格（类似于上面的无纹理贴图）。蝴蝶）。这个过程只需要30秒。
用于文本到纹理生成的模型称为Meta 3D TextureGen（简称TextureGen），可以为该3D 资源生成高质量的纹理和PBR 贴图，还可以创建不同风格的纹理。此过程仅需20 秒即可完成。
3DGen技术原理（来源：Meta）
AssetGen 和TextureGen 允许3DGen 融合三种表示形式：图像、3D 形状和外观以及UV 纹理贴图。 AssetGen 已经为TextureGen 完成了更复杂的3D 形状生成工作，TextureGen 是一个针对UV 纹理映射优化的模型。
TextureGen 的训练数据是人类艺术家的UV 纹理图，这些高质量的训练数据显着提高了模型性能，使其能够生成比AssetGen 更真实的纹理。 AssetGen 和TextureGen 是两种优势互补的模型。此外，Meta表示生成该3D资产的整个过程是基于Meta Vincentian图模型Emu。
为了评估3DGen 的有效性，Meta 邀请专业创作者和公众参与研究，对即时文字保真度和视觉质量进行评分。
Meta选择了几种目前可用的3D生成模型进行比较。 3DGen 在3D 形状生成和纹理生成阶段的提示词保真度得分均高于其他模型。根据生成对象类型的评分结果，3DGen 在对象和组合场景的保真度方面排名第一，但在角色保真度方面它的表现略差于其他模型。
3DGen提示词保真度得分（来源：Meta）
从生成质量的角度来看，Meta 选择了三个性能较好的第三方模型，以便专业创作者和普通人可以评估模型生成的有效性。结果表明，3DGen 在保真度、图像质量、纹理质量和几何属性方面具有压倒性优势。
3DGen生成质量与其他模型的比较（来源：Meta）
Meta正式公布3DGen后，网友立刻想到了很多可能的应用场景。很多网友认为将生成的3D资产进行3D打印是一个很好的尝试，也有网友认为这将彻底改变游戏开发行业的规则。
网友评论（来源：X）
结语：3D生成技术再进化，常规3D建模人员首当其冲
AI 3D生成技术的快速发展对于3D建模行业的技术进步具有重要意义。手动3D建模耗时耗力，到目前为止，在游戏、电影和电视制作中使用3D图像可以通过AI 3D生成技术简化3D建模过程并减少3D建模时间。
现在许多行业都使用3D生成技术。 Meshed是美国3D生成初创公司Meshey AI发布的免费3D模型，被许多独立游戏开发者使用，甚至可以让几个人的小团队开发高度逼真的游戏。
然而，这项技术的出现也引发了人们对3D 建模行业未来的疑问。虽然3DGen 有可能提高3D 艺术家的工作效率，但它也可能减少对某些类型的传统3D 资产创建的需求。也许未来创作者需要更加关注人工智能难以复制的创作方向，或者从事更复杂的定制任务。
资料来源：Meta、VentureBeat
版权声明：本文由今日头条转载，如有侵犯您的版权，请联系本站编辑删除。