NVIDIA的LLAMA-MESH：带有示例的指南

Nvidia的开创性Llama-Mesh模型弥合了文本和3D网格生成之间的差距。 这种创新模型允许用户从简单的文本描述中创建3D网格，并相反，从其3D网格数据中识别对象。这代表了机器学习的重大飞跃，通过增强3D空间理解，使我们更接近实现人工通用智能（AGI）。 专业人士和业余爱好者都会发现骆驼 - 网格是一项宝贵的资产，简化了诸如Blender之类的应用程序中的3D建模工作流程。

。

本指南通过实践示例探讨了骆驼 - 网格的能力，既强调其潜力和局限性。

>什么是Llama-mesh？

由NVIDIA开发的 Llama-Mesh将大语言模型（LLMS）的力量扩展到3D领域。 与以前的模型不同，它无缝地集成了文本和3D数据，从而可以使用自然语言提示来创建3D网格。 基于微调的Llama-3.1-8b-Instruct基础，它使用基于文本的OBJ文件格式编码3D网格数据。

>访问Llama-Mesh

llama-mesh可以通过三种方式访问​​：

>

本地执行（拥抱面）：

>通过拥抱的面孔存储库本地运行模型。
1. 搅拌器附加组件：
将模型用作搅拌器附加组件，以直接集成在软件中。> 在线演示（拥抱面）：
2. >> 在拥抱面平台上访问方便的在线演示。
3. 在线演示的4096 toke限制与完整模型的8K令牌能力形成鲜明对比，强调了当地执行以利用其全部潜力。 演示的界面如下所示：>

设置Llama-mesh

本指南使用Google COLAB的A100 GPU运行时演示了运行Llama-Mesh。 相同的原则适用于具有足够的计算资源的本地执行。 拥抱面积存储库提供了必要的代码。 关键步骤包括导入库，下载模型和令牌，设置

以及使用标准的拥抱面部工作流进行推理。 下面的代码片段说明了该过程：

默认的超参数用于与在线演示的公平比较。

pad_token> llama-mesh示例

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Zhengyi/LLaMA-Mesh"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto").cuda()

if tokenizer.pad_token_id is None:
    tokenizer.pad_token_id = tokenizer.eos_token_id

prompt = "Create a 3D model of an original designer chair."
inputs = tokenizer(prompt, return_tensors="pt", padding=True)
input_ids = inputs.input_ids.cuda()
output = model.generate(
    input_ids,
    attention_mask=inputs['attention_mask'],
    max_length=8000,
)

>增加复杂性的三个示例说明了Llama-Mesh的表现：>

>>示例1：椅子：

在线演示和Colab-run模型生成的椅子网格，但细节和现实主义的水平都不同。

>

• 在线演示输出：
• colab输出：

>>示例2：一个圆环：该模型即使有增加的上下文也很难准确地表示圆环的中心孔。

在线演示输出：
• 
colab输出：
• 
正确的圆环：
• 

>

>示例3：klein瓶：> colab输出：

• 正确的klein瓶：
• 

这些示例显示了Llama-Mesh在创意，简单的设计中的力量，但其局限性以精确的几何形状和复杂的形状。

结论

尽管处于早期阶段，

以上是NVIDIA的LLAMA-MESH：带有示例的指南的详细内容。更多信息请关注PHP中文网其他相关文章！