nvidia＆＃x27; s llama-mesh：例のあるガイド

Nvidiaの画期的なLlama-Meshモデルは、テキストと3Dメッシュ生成のギャップを橋渡しします。 この革新的なモデルにより、ユーザーは単純なテキストの説明から3Dメッシュを作成し、逆に3Dメッシュデータからオブジェクトを識別できます。これは、機械学習における大きな前進を表しており、3D空間的理解を高めることにより、人工的な一般情報（AGI）の達成に近づきます。 専門家も愛好家も同様に、Llama-Meshが貴重な資産であることを発見し、Blenderなどのアプリケーションで3Dモデリングワークフローを合理化します。

このガイドでは、実用的な例を通じてラマメッシュの機能を調査し、その可能性と制限の両方を強調しています。

llama-meshとは何ですか？ Nvidiaによって開発された

llama-meshは、大規模な言語モデル（LLM）の力を3D領域に拡張します。 以前のモデルとは異なり、テキストと3Dデータをシームレスに統合し、自然言語プロンプトを使用して3Dメッシュ作成を可能にします。 微調整されたllama-3.1-8b-instructベースの上に構築され、テキストベースのOBJファイル形式を使用して3Dメッシュデータをエンコードします。 llama-meshへのアクセス

llama-meshには、次の3つの方法でアクセスできます

ローカル実行（顔を抱き締める）：

ハグのフェイスリポジトリを介してローカルにモデルを実行します。

Blenderアドオン：

ソフトウェア内での直接統合のためのブレンダーアドオンとしてモデルを使用します。
1. オンラインデモ（顔を抱き締める）：ハグする顔のプラットフォームで便利なオンラインデモにアクセスしてください。
2. オンラインデモの4096トークンの制限は、完全なモデルの8Kトークン容量とは対照的であり、ローカルの実行が最大限の可能性を活用する必要性を強調しています。 デモのインターフェイスを以下に示します：
llama-mesh

の設定 このガイドは、Google ColabのA100 GPUランタイムを使用してLlama-Meshを実行していることを示しています。 同じ原則が、十分な計算リソースを使用してローカル実行に適用されます。 抱きしめるフェイスリポジトリは、必要なコードを提供します。 重要な手順には、ライブラリのインポート、モデルとトークンザーのダウンロード、

の設定、推論のための標準的なハグの顔のワークフローの使用が含まれます。 以下のコードスニペットは、プロセスを示しています

デフォルトのハイパーパラメーターは、オンラインデモとの公正な比較に使用されます。

llama-meshの例

複雑さの増加の3つの例は、Llama-Meshのパフォーマンスを示しています：

pad_token

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Zhengyi/LLaMA-Mesh"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto").cuda()

if tokenizer.pad_token_id is None:
    tokenizer.pad_token_id = tokenizer.eos_token_id

prompt = "Create a 3D model of an original designer chair."
inputs = tokenizer(prompt, return_tensors="pt", padding=True)
input_ids = inputs.input_ids.cuda()
output = model.generate(
    input_ids,
    attention_mask=inputs['attention_mask'],
    max_length=8000,
)

例1：椅子：

オンラインデモとコラブランモデルの両方が椅子メッシュを生成しましたが、詳細とリアリズムのレベルはさまざまです。

• オンラインデモ出力：
• colab出力：

例2：トーラス：モデルは、コンテキストが増加しても、トーラスの中心穴を正確に表現するのに苦労しました。

オンラインデモ出力：
• 
colab出力：
• 
正しいトーラス：
• 

例3：Klein Bottle：オンラインデモはメッシュの生成に失敗しましたが、Colabバージョンは正しいジオメトリとはかけ離れた結果​​を生成しました。

colab出力：

• 正しいクラインボトル：
• 

これらの例は、クリエイティブでシンプルなデザインにおけるラマメッシュの強さを示していますが、正確な幾何学的で複雑な形状の制限。

結論

llama-meshは、初期段階にあるにもかかわらず、迅速な3Dメッシュ生成の重要な可能性を示しています。 将来の改善により、複雑な幾何学の処理における制限に対処し、3D印刷技術との互換性を拡大する可能性があります。

以上がnvidia＆＃x27; s llama-mesh：例のあるガイドの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。