検索
ホームページテクノロジー周辺機器AI学際的な理解とマルチスケールモデリングが可能な MIT LAMM が、微調整された大規模言語モデル MechGPT をリリース

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

編集者 | Radish Skin

過去数世紀にわたり、研究者はさまざまな知識分野を結び付ける方法を模索してきました。人工知能の出現により、私たちは分野間 (例: 力学と生物学)、または異なる分野 (例: 故障力学と芸術) 間の関係を探索する機会を得ることができました。

この目標を達成するために、MIT の研究者はMIT の原子分子力学研究所 (LAMM) は、微調整された大規模言語モデル (LLM) を使用して、マルチスケール材料の破損に関する関連知識のサブセットを取得します。

この方法の手順は、まず一般的なLLM を使用して、元のソースから質問と回答のペアを抽出し、LLM を微調整します。この微調整された MechGPT LLM 基本モデルを使用して一連の計算実験が行われ、知識の検索、さまざまな言語タスク、仮説生成、さまざまなドメイン間の知識の接続における機能を調査しました。

このモデルには、次のような一定の機能があります。トレーニングから知識を思い出すことはできませんが、研究者らは、LLM はオントロジー知識グラフを通じて構造的洞察を抽出するのにより意味があることを発見しました。これらの解釈可能なグラフ構造は、解釈的な洞察、新しい研究課題のフレームワーク、検索強化生成にも使用できる知識の視覚的表現を提供します。

この研究のタイトルは「MechGPT、スケール、専門分野、モダリティを越えて知識を結び付ける力学および材料モデリングのための言語ベースの戦略」で、2023 年 10 月 19 日に公開されました。 ##応用力学のレビュー"。

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

物理的、生物学的、形而上学的な概念のモデル化は、多くの分野の研究者の焦点となっています。初期の科学者や技術者は、科学から哲学、物理学から数学、芸術に至るまでの分野に深く根ざしていたことがよくありましたが(例:ガリレオ・ガリレイ、レオナルド・ダ・ヴィンチ、ヨハン・ヴォルフガング・フォン・ゲーテ)、科学の発展とともに専門分野が細分化されてきました。今日は優勢。その理由の 1 つは、分野を超えて大量の知識が蓄積されており、人間が研究と実践に多大なエネルギーを費やしていることが挙げられます。

現在、大規模言語モデル (LLM) の出現により、科学研究のパラダイムに挑戦が生じています。人工知能/機械学習に基づいた新しいモデリング戦略をもたらすだけでなく、領域を超えて知識、アイデア、概念を結び付ける機会も提供します。これらのモデルは、層状材料の解析と設計、および力学における他の多くのアプリケーションのための従来のマルチスケール モデリングを補完できます。

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT#図: 概略ワークフロー。 (出典: 論文)

ここで、LAMM 研究者は、力学および材料の研究開発で最近提案された LLM の使用を基礎にしており、Llama-2 ベースの OpenOrca-Platypus2-13B に基づく一般的な LLM を開発しました。 -材料破損のモデリング、マルチスケール モデリング、および関連分野に焦点を当てた調整された MechGPT モデル。

OpenOrca-Platypus2-13B モデルが選択されたのは、推論、論理、数学/科学、その他の分野などの主要なタスクで優れたパフォーマンスを発揮し、豊富で適用可能な主題の知識と一般概念、および効率的なコンピューティング機能を提供するためです。

LLM は科学分野で強力なアプリケーションを提供します。 LLM は、大量のデータと複雑なシステムを分析できることに加えて、力学や材料科学の分野で、機械的応力、温度、化学相互作用などのさまざまな条件下での材料の挙動をシミュレーションおよび予測するために使用されます。以前の研究で示されているように、分子動力学シミュレーションからの大規模なデータセットで LLM をトレーニングすることにより、研究者は新しい状況での材料の挙動を予測できるモデルを開発できるため、発見プロセスが加速され、実験的テストの必要性が減ります。

このようなモデルは、書籍や出版物などの科学文書の分析にも非常に効果的で、研究者が大量のデータから重要な情報や洞察を迅速に抽出できるようになります。これは、科学者がさまざまな概念やアイデア間の傾向、パターン、関係を特定し、さらなる研究のための新しい仮説やアイデアを生成するのに役立ちます。

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT 以下の図をご覧ください。これは、MechGPT の構築に使用される自己回帰デコーダー トランスフォーマー アーキテクチャの概要です。 (出典: 論文)

ここでは、チームは後者の開発に焦点を当て、特に材料破損と関連するマルチスケール手法を対象とした、Transformer ベースの LLM ファミリの生成人工知能ツールである MechGPT の使用を検討しています。これらの戦略の可能性。

この研究で提案された戦略には、いくつかのステップが含まれています。 1 つ目は蒸留ステップです。このステップでは、研究者が LLM を使用して、生のデータ チャンク (1 つ以上の PDF ファイルなど) から抽出されたテキストから質問と回答のペアを生成します。次に、このデータを使用して、2 番目のステップでモデルを微調整します。この研究では、初期の MechGPT モデルも特別にトレーニングされ、材料破損の原子論的モデリングの分野における知識の検索、一般的な言語タスク、および仮説生成におけるその有用性が実証されました。

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

図:使用されたモデリング戦略の概要。 (出典: 論文)

この論文では、研究者が特定の言語モデリング戦略を採用してデータセットを生成し、ソースから知識を抽出し、新しいメカニズムとマテリアル データセットを活用してモデルをトレーニングする、包括的なモデリング戦略を紹介します。研究者らは、パラメータサイズが130億から700億の範囲で、コンテキストの長さが10,000トークンを超えるMechGPTの3つのバージョンを分析および議論し、一般論に続いて、研究者らはモデルを適用し、LLMの使用を含むさまざまな設定でそのパフォーマンスをテストしたオントロジー グラフの生成と、複数の分野にわたる複雑なトピックに関する洞察の開発、および複数の LLM が協力または相互に作用するエージェント モデリングのために、トピック領域または質問への回答に対するより深い洞察を生成する方法で対話します。

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPTグラフ: 超音速破壊とタンパク質のアンフォールディング機構に関連した超弾性を関連付けるオントロジー知識グラフ表現の開発。 (出典: 論文)

同時に、チームはさらに、さまざまな抽象化レベルでの言語モデルと多粒子システムの間の概念的な比較を提供し、新しいフレームワークが普遍的な関係を抽出するものとしてどのようにみなされるかを説明しています。複雑なシステムを支配するメソッド。

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT書き直された内容: 上の画像は、LLM と複数粒子シミュレーションの間の概念的な類似性を示しています。 (出典: 論文)

全体として、この研究で発表された研究は、科学研究を進歩させ、特定の応用分野における複雑な問題を解決するのに役立つ、より強力で一般的な人工知能モデルの開発に貢献し、 -モデルのパフォーマンスの詳細な評価。すべてのモデルと同様に、それらは慎重に検証される必要があり、その有用性は、尋ねられる質問のコンテキスト、その長所と短所、および科学者が科学と工学を進歩させるのに役立つ広範なツールに依存します。

さらに、人工知能ツールは、科学的調査のツールとして、私たちの周囲の世界を理解し、モデル化し、設計するためのツールの集合として見なされなければなりません。人工知能ツールが急速に発展するにつれて、科学的文脈でのその応用は新たな機会をもたらし始めたばかりです。

論文リンク:

https://arxiv.org/ftp/arxiv/papers/ 2310/2310.10445.pdf

関連レポート:

https://twitter.com/llama_index/status/1723379654550245719

以上が学際的な理解とマルチスケールモデリングが可能な MIT LAMM が、微調整された大規模言語モデル MechGPT をリリースの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は机器之心で複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
AIのスキルギャップは、サプライチェーンのダウンを遅くしていますAIのスキルギャップは、サプライチェーンのダウンを遅くしていますApr 26, 2025 am 11:13 AM

「AI-Ready労働力」という用語は頻繁に使用されますが、サプライチェーン業界ではどういう意味ですか? サプライチェーン管理協会(ASCM)のCEOであるAbe Eshkenaziによると、批評家ができる専門家を意味します

1つの会社がAIを永遠に変えるために静かに取り組んでいる方法1つの会社がAIを永遠に変えるために静かに取り組んでいる方法Apr 26, 2025 am 11:12 AM

分散型AI革命は静かに勢いを増しています。 今週の金曜日、テキサス州オースティンでは、ビテンサーのエンドゲームサミットは極めて重要な瞬間を示し、理論から実用的な応用に分散したAI(DEAI)を移行します。 派手なコマーシャルとは異なり

Nvidiaは、AIエージェント開発を合理化するためにNEMOマイクロサービスをリリースしますNvidiaは、AIエージェント開発を合理化するためにNEMOマイクロサービスをリリースしますApr 26, 2025 am 11:11 AM

エンタープライズAIはデータ統合の課題に直面しています エンタープライズAIの適用は、ビジネスデータを継続的に学習することで正確性と実用性を維持できるシステムを構築する大きな課題に直面しています。 NEMOマイクロサービスは、NVIDIAが「データフライホイール」と呼んでいるものを作成することにより、この問題を解決し、AIシステムがエンタープライズ情報とユーザーインタラクションへの継続的な露出を通じて関連性を維持できるようにします。 この新しく発売されたツールキットには、5つの重要なマイクロサービスが含まれています。 NEMOカスタマイザーは、より高いトレーニングスループットを備えた大規模な言語モデルの微調整を処理します。 NEMO評価者は、カスタムベンチマークのAIモデルの簡素化された評価を提供します。 Nemo Guardrailsは、コンプライアンスと適切性を維持するためにセキュリティ管理を実装しています

aiは芸術とデザインの未来のために新しい絵を描きますaiは芸術とデザインの未来のために新しい絵を描きますApr 26, 2025 am 11:10 AM

AI:芸術とデザインの未来 人工知能(AI)は、前例のない方法で芸術とデザインの分野を変えており、その影響はもはやアマチュアに限定されませんが、より深く影響を与えています。 AIによって生成されたアートワークとデザインスキームは、広告、ソーシャルメディアの画像生成、Webデザインなど、多くのトランザクションデザインアクティビティで従来の素材画像とデザイナーに迅速に置き換えられています。 ただし、プロのアーティストやデザイナーもAIの実用的な価値を見つけています。 AIを補助ツールとして使用して、新しい美的可能性を探求し、さまざまなスタイルをブレンドし、新しい視覚効果を作成します。 AIは、アーティストやデザイナーが繰り返しタスクを自動化し、さまざまなデザイン要素を提案し、創造的な入力を提供するのを支援します。 AIはスタイル転送をサポートします。これは、画像のスタイルを適用することです

エージェントAIとのズームがどのように革命を起こしているか:会議からマイルストーンまでエージェントAIとのズームがどのように革命を起こしているか:会議からマイルストーンまでApr 26, 2025 am 11:09 AM

最初はビデオ会議プラットフォームで知られていたZoomは、エージェントAIの革新的な使用で職場革命をリードしています。 ZoomのCTOであるXD Huangとの最近の会話は、同社の野心的なビジョンを明らかにしました。 エージェントAIの定義 huang d

大学に対する実存的な脅威大学に対する実存的な脅威Apr 26, 2025 am 11:08 AM

AIは教育に革命をもたらしますか? この質問は、教育者と利害関係者の間で深刻な反省を促しています。 AIの教育への統合は、機会と課題の両方をもたらします。 Tech Edvocate NotesのMatthew Lynch、Universitとして

プロトタイプ:アメリカの科学者は海外の仕事を探していますプロトタイプ:アメリカの科学者は海外の仕事を探していますApr 26, 2025 am 11:07 AM

米国における科学的研究と技術の開発は、おそらく予算削減のために課題に直面する可能性があります。 Natureによると、海外の雇用を申請するアメリカの科学者の数は、2024年の同じ期間と比較して、2025年1月から3月まで32%増加しました。以前の世論調査では、調査した研究者の75%がヨーロッパとカナダでの仕事の検索を検討していることが示されました。 NIHとNSFの助成金は過去数か月で終了し、NIHの新しい助成金は今年約23億ドル減少し、3分の1近く減少しました。リークされた予算の提案は、トランプ政権が科学機関の予算を急激に削減していることを検討しており、最大50%の削減の可能性があることを示しています。 基礎研究の分野での混乱は、米国の主要な利点の1つである海外の才能を引き付けることにも影響を与えています。 35

オープンAIの最新のGPT 4.1ファミリ - 分析VidhyaオープンAIの最新のGPT 4.1ファミリ - 分析VidhyaApr 26, 2025 am 10:19 AM

Openaiは、強力なGPT-4.1シリーズを発表しました。実際のアプリケーション向けに設計された3つの高度な言語モデルのファミリー。 この大幅な飛躍は、より速い応答時間、理解の強化、およびTと比較した大幅に削減されたコストを提供します

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

Video Face Swap

Video Face Swap

完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

ホットツール

mPDF

mPDF

mPDF は、UTF-8 でエンコードされた HTML から PDF ファイルを生成できる PHP ライブラリです。オリジナルの作者である Ian Back は、Web サイトから「オンザフライ」で PDF ファイルを出力し、さまざまな言語を処理するために mPDF を作成しました。 HTML2FPDF などのオリジナルのスクリプトよりも遅く、Unicode フォントを使用すると生成されるファイルが大きくなりますが、CSS スタイルなどをサポートし、多くの機能強化が施されています。 RTL (アラビア語とヘブライ語) や CJK (中国語、日本語、韓国語) を含むほぼすべての言語をサポートします。ネストされたブロックレベル要素 (P、DIV など) をサポートします。

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

VSCode Windows 64 ビットのダウンロード

VSCode Windows 64 ビットのダウンロード

Microsoft によって発売された無料で強力な IDE エディター

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

Eclipse を SAP NetWeaver アプリケーション サーバーと統合します。