对话式生成网格
在同一轮对话里同时给出文字建议和对应的 3D 网格,官网示例中用户要储物家具,模型回答柜子、架子并附上柜子的网格数据。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
让语言模型直接生成 3D 网格的对话式建模研究
官网地址 https://research.nvidia.com/labs/toronto-ai/LLaMA-Mesh/
LLaMA-Mesh 是 NVIDIA Research 与清华大学合作的研究项目,目标是让语言模型用文本表达 3D 网格,从而在同一段对话里既解答问题又生成模型。官网给出了代码、模型权重、在线演示、Blender 插件和 .OBJ 微调数据集等资源。它的亮点是把 3D 建模能力接进了通用对话模型,用户可以用一句话要一个柜子之类的物体,模型会连同网格文本一起返回。短板也很明显:官网只提供了研究资源入口,没有公开价格、服务等级或商用授权说明,普通用户不投入技术配置难以直接上手。
LLaMA-Mesh 是 NVIDIA Research 与清华大学合作完成的研究项目,作者包括 Zhengyi Wang、Jonathan Lorraine、Yikai Wang、Hang Su、Jun Zhu、Sanja Fidler 和 Xiaohui Zeng,其中 Zhengyi Wang 的工作是在 NVIDIA 实习期间完成。项目的核心主张是把 3D 网格生成能力统一到语言模型中,让模型既能用自然语言对话,也能直接输出网格结构。
从官网公开的内容看,项目提供了代码、模型权重、在线演示、Blender 插件以及 .OBJ 微调数据集等资源。官网通过一组对话示例展示这种能力:用户问有哪些储物家具可以选,模型用文字回答柜子、架子一类建议,并同时给出一个柜子的 3D 模型和对应的顶点与面数据。
不同角色的用法差别较大。普通用户可以先去在线演示看效果,再决定是否深入;开发者可以取代码和模型权重做二次开发,或直接使用 .OBJ 微调数据集;日常在 Blender 里工作的人则可以装 Blender 插件,在熟悉的环境里试用这套建模方式。
在同一轮对话里同时给出文字建议和对应的 3D 网格,官网示例中用户要储物家具,模型回答柜子、架子并附上柜子的网格数据。
官网在 2024 年 11 月 17 日开放模型权重与在线演示,研究者可以直接取权重做复现、评测或二次训练。
2024 年 11 月 27 日发布的 Blender 插件,让用户在 Blender 环境里调用这套建模流程,由 Dylan Ebert 提供。
2025 年 3 月 4 日发布的 .OBJ 3D 模型文本微调数据集,同样由 Dylan Ebert 提供,可用于训练文本与网格配对的模型。
官网提供在线演示入口,用户无需本地配置即可先看模型生成网格的效果,再决定是否下载权重或插件。
项目在 2024 年 11 月 14 日发布论文至 arXiv,并公开代码,方便研究社区核对方法细节并在此基础上继续工作。
论文、代码、模型权重、微调数据集都开放,适合做文本与网格统一表示的实验和复现。
提供 Blender 插件,习惯在 Blender 里工作的人可以直接在原有环境中试用这套建模流程。
可以先用在线演示看它能不能生成你要的物体,不必先装环境或下载权重。
未说明商用授权范围与使用限制,直接用于商业项目前需先确认许可条件。
除在线演示和 Blender 插件外,其余入口涉及代码和模型权重,不熟悉配置流程时上手成本较高。
它把 3D 网格生成接进语言模型,让模型在回答问题的同时直接输出网格。示例里,用户问有哪些储物家具可选,模型用文字推荐柜子、架子,并附上一个柜子的 3D 模型和对应的顶点与面数据。
包括代码、模型权重、在线演示、Blender 插件和 .OBJ 微调数据集。想先看效果可以走在线演示,习惯 Blender 的可以装插件,做研究或二次开发的可以取代码与模型权重。
按官网时间线,2024 年 11 月 14 日发布项目页与 arXiv 论文,11 月 17 日放出模型权重和在线演示,11 月 27 日发布 Blender 插件,2025 年 3 月 4 日发布 .OBJ 3D 模型文本微调数据集。
提供了 Blender 插件,可以在 Blender 环境里调用这套建模流程。插件由 Dylan Ebert 提供,发布于 2024 年 11 月 27 日。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| LLaMA-Mesh本工具 | 4.3 | 未标价 | 对话式生成网格;模型权重公开;Blender 插件;.OBJ 微调数据集 | Web / Blender 插件 |
| Secret Sauce 3D | — | 未标价 | 用于专业 3D 网格生成、重拓扑和 UV 映射的 AI 助手 | — |
| MeshUP | — | 未标价 | 多目标3D 网格变形技术 | — |
| Unique3D | — | 未标价 | 个创新的单图像 3D 网格生成工具,以其高保真度、高效训练和优化以及强泛化能力脱颖而出 | — |
| MeshPad | — | 未标价 | MeshPad 是一款基于草图输入的交互式艺术化网格生成与编辑工具 | — |
| Vaibie | — | 未标价 | 一款能将提示词直接转化为可玩 3D 和 2D 网页游戏的人工智能平台 | — |
.OBJ 3D 模型文本微调数据集发布,由 Dylan Ebert 提供。
Blender 插件发布,由 Dylan Ebert 提供。
模型权重和在线演示同时放出,用户可以直接体验或下载权重。
项目页上线,论文同步发布到 arXiv。