Nvidia ' s llama-mesh: panduan dengan contoh

Model Llama-mesh Nvidia yang melambangkan jurang antara teks dan penjanaan mesh 3D. Model inovatif ini membolehkan pengguna membuat jejaring 3D dari deskripsi teks mudah dan sebaliknya, mengenal pasti objek dari data mesh 3D mereka. Ini mewakili lonjakan penting dalam pembelajaran mesin, membawa kita lebih dekat untuk mencapai kecerdasan umum buatan (AGI) dengan meningkatkan pemahaman spatial 3D. Profesional dan penggemar sama-sama akan mendapati llama-mesh aset berharga, menyelaraskan aliran kerja pemodelan 3D dalam aplikasi seperti Blender.

Panduan ini meneroka keupayaan Llama-mesh melalui contoh praktikal, menonjolkan kedua-dua potensi dan batasannya.

Apa itu llama-mesh?

llama-mesh, yang dibangunkan oleh NVIDIA, memanjangkan kuasa model bahasa besar (LLM) ke dalam dunia 3D. Tidak seperti model terdahulu, ia dengan lancar mengintegrasikan teks dan data 3D, yang membolehkan penciptaan mesh 3D menggunakan arahan semula jadi. Dibina di atas asas Llama-3.1-8B-Instruct yang disesuaikan, ia mengkodekan data mesh 3D menggunakan format fail OBJ berasaskan teks.

Mengakses llama-mesh

llama-mesh boleh diakses dalam tiga cara:

1. Pelaksanaan Tempatan (Pakaian muka): Jalankan model secara tempatan melalui repositori muka yang memeluk.
2. Blender Add-on: Gunakan model sebagai pengisar tambahan untuk integrasi langsung dalam perisian.
3. Demo dalam talian (memeluk muka): mengakses demo dalam talian yang mudah di platform muka yang memeluk.

had demo dalam talian 4096-token berbeza dengan kapasiti token 8K model penuh, menekankan perlunya pelaksanaan tempatan untuk memanfaatkan potensi penuhnya. Antara muka demo ditunjukkan di bawah:

Menyediakan llama-mesh

Panduan ini menunjukkan llama-mesh menggunakan runtime GPU A100 Google Colab. Prinsip yang sama berlaku untuk pelaksanaan tempatan dengan sumber pengiraan yang mencukupi. Repositori muka yang memeluk menyediakan kod yang diperlukan. Langkah -langkah utama termasuk mengimport perpustakaan, memuat turun model dan tokenizer, menetapkan

, dan menggunakan aliran kerja muka pelukan standard untuk kesimpulan. Coretan kod di bawah menggambarkan proses: pad_token

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Zhengyi/LLaMA-Mesh"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto").cuda()

if tokenizer.pad_token_id is None:
    tokenizer.pad_token_id = tokenizer.eos_token_id

prompt = "Create a 3D model of an original designer chair."
inputs = tokenizer(prompt, return_tensors="pt", padding=True)
input_ids = inputs.input_ids.cuda()
output = model.generate(
    input_ids,
    attention_mask=inputs['attention_mask'],
    max_length=8000,
)

hyperparameters lalai digunakan untuk perbandingan yang saksama dengan demo dalam talian.

Contoh-contoh Llama-mesh

Tiga contoh peningkatan kerumitan menggambarkan prestasi Llama-mesh:

Contoh 1: Kerusi:

kedua-dua demo dalam talian dan model yang dikendalikan oleh COLAB menjana pengerusi, tetapi dengan tahap terperinci dan realisme yang berbeza-beza.
• Output Demo Dalam Talian:
• output colab:

• Contoh 2: Torus: Model berjuang untuk mewakili lubang pusat torus dengan tepat, walaupun dengan konteks yang meningkat.

  • Output Demo Dalam Talian:
  • output colab:
  • betul torus:

• Contoh 3: Klein Botol: Demo dalam talian gagal menghasilkan mesh, sementara versi Colab menghasilkan hasil yang jauh dari geometri yang betul.

  • output colab:
  • Botol Klein yang betul:

Contoh-contoh ini menunjukkan kekuatan llama-mesh dalam reka bentuk yang kreatif, mudah tetapi batasannya dengan bentuk geometri dan kompleks yang tepat.

Kesimpulan

llama-mesh, walaupun berada di peringkat awal, menunjukkan potensi yang besar untuk penjanaan mesh 3D yang cepat. Penambahbaikan masa depan dapat menangani batasan dalam mengendalikan geometri kompleks dan mengembangkan keserasian dengan teknologi percetakan 3D.

Atas ialah kandungan terperinci Nvidia ' s llama-mesh: panduan dengan contoh. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!