recherche
MaisonPériphériques technologiquesIACapable de compréhension interdisciplinaire et de modélisation multi-échelle, le MIT LAMM publie un grand modèle de langage affiné MechGPT

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

Éditeur | Radis Skin

Au cours des derniers siècles, les chercheurs ont cherché des moyens de relier différents domaines de connaissances. Avec l'avènement de l'intelligence artificielle, nous avons désormais la possibilité d'explorer les relations entre domaines (comme la mécanique et la biologie) ou entre différents domaines (comme la mécanique des défaillances et l'art)

Pour atteindre cet objectif, le Massachusetts Institute of Technology (MIT ) Des chercheurs du Laboratoire de mécanique atomique et moléculaire (LAMM) ont utilisé un grand modèle de langage (LLM) affiné pour obtenir un sous-ensemble pertinent de connaissances sur la défaillance des matériaux à plusieurs échelles

Les étapes de cette approche consistent d'abord à utiliser une approche générale -Purpose LLM extrait les paires question-réponse de la source d'origine, puis affine le LLM. Une série d'expériences informatiques ont été menées à l'aide de ce modèle de base MechGPT LLM affiné pour explorer ses capacités en matière de récupération de connaissances, de diverses tâches linguistiques, de génération d'hypothèses et de connexion des connaissances dans différents domaines.

Bien que le modèle ait une certaine capacité à rappeler les connaissances de formation dans le domaine, mais les chercheurs ont découvert que le LLM est plus utile pour extraire des informations structurelles via des graphiques de connaissances d'ontologie. Ces structures graphiques interprétables fournissent des informations interprétatives, des cadres pour de nouvelles questions de recherche et des représentations visuelles des connaissances qui peuvent également être utilisées pour une génération améliorée par la récupération.

La recherche s'intitule « MechGPT, a Language-Based Strategy for Mechanics and Materials Modeling That Connects Knowledge Across Scales, Disciplines and Modalities » et a été publiée dans « Applied Mechanics Reviews » le 19 octobre 2023.

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

La modélisation de concepts physiques, biologiques et métaphysiques a été une préoccupation des chercheurs dans de nombreuses disciplines. Les premiers scientifiques et ingénieurs étaient souvent profondément enracinés dans des domaines allant de la science à la philosophie, de la physique aux mathématiques et aux arts (par exemple, Galileo Galilei, Leonardo da Vinci, Johann Wolfgang von ·Goethe), mais avec le développement de la science, la spécialisation est devenue dominante aujourd'hui. Cela s’explique en partie par le fait qu’une grande quantité de connaissances a été accumulée dans tous les domaines, ce qui oblige les humains à consacrer beaucoup d’énergie à la recherche et à la pratique.

De nos jours, l'émergence des grands modèles de langage (LLM) remet en question le paradigme de la recherche scientifique. Il apporte non seulement de nouvelles stratégies de modélisation basées sur l'intelligence artificielle/l'apprentissage automatique, mais offre également des opportunités de connecter les connaissances, les idées et les concepts entre les domaines. Ces modèles peuvent compléter la modélisation multi-échelle traditionnelle pour l'analyse et la conception de matériaux en couches et de nombreuses autres applications en mécanique

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

Figure : Flux de travail schématique. (Source : article)

Ici, les chercheurs du LAMM ont développé un LLM général basé sur OpenOrca-Platypus2-13B basé sur Llama-2, basé sur l'utilisation récemment proposée du LLM dans la recherche et le développement en mécanique et en matériaux. Un modèle MechGPT affiné et ciblé. sur la modélisation des défaillances matérielles, la modélisation multi-échelle et les disciplines connexes.

La raison du choix du modèle OpenOrca-Platypus2-13B est qu'il fonctionne bien sur des tâches clés telles que le raisonnement, la logique, les mathématiques/sciences et d'autres disciplines, et peut fournir des connaissances riches et multidisciplinaires avec une taille de modèle modérée. . Concepts généraux et capacités informatiques efficaces

LLM a des applications puissantes dans le domaine scientifique. En plus de pouvoir analyser de grandes quantités de données et des systèmes complexes, dans les domaines de la mécanique et de la science des matériaux, le LLM est utilisé pour simuler et prédire le comportement des matériaux dans différentes conditions, telles que les contraintes mécaniques, la température et les interactions chimiques. Comme le montrent des travaux antérieurs, en formant les LLM sur de vastes ensembles de données issues de simulations de dynamique moléculaire, les chercheurs peuvent développer des modèles capables de prédire le comportement des matériaux dans de nouvelles situations, accélérant ainsi le processus de découverte et réduisant le besoin de tests expérimentaux.

Ces modèles sont également très efficaces pour analyser des textes scientifiques tels que des livres et des publications, permettant aux chercheurs d'extraire rapidement des informations et des idées clés à partir de grandes quantités de données. Cela peut aider les scientifiques à identifier les tendances, les modèles et les relations entre différents concepts et idées, et à générer de nouvelles hypothèses et idées pour des recherches ultérieures.

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

Veuillez jeter un œil à la figure ci-dessous, qui est un aperçu de l'architecture du transformateur de décodeur autorégressif utilisée pour construire MechGPT. (Source : papier)

Ici, l'équipe se concentre sur le développement de ce dernier et explore l'utilisation de MechGPT, un outil d'intelligence artificielle générative de la famille LLM basée sur Transformer spécifiquement ciblé sur les défaillances matérielles et la formation aux méthodes multi-échelles associées pour évaluer le potentiel de ces stratégies. .

La stratégie proposée dans cette étude comprend plusieurs étapes. La première est l’étape de distillation, où les chercheurs utilisent LLM pour générer des paires question-réponse à partir de texte extrait de morceaux de données brutes (tels qu’un ou plusieurs fichiers PDF). Ensuite, utilisez ces données pour affiner le modèle dans la deuxième étape. Cette étude a également entraîné spécifiquement le modèle MechGPT initial, démontrant son utilité pour la récupération de connaissances, les tâches de langage général et la génération d'hypothèses dans le domaine de la modélisation atomistique de la défaillance matérielle

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

Figure : Modélisation utilisée Aperçu de la stratégie. (Source : article)

Cet article présente une stratégie de modélisation globale dans laquelle les chercheurs utilisent des stratégies de modélisation de langage spécifiques pour générer des ensembles de données afin d'extraire des connaissances à partir de sources et d'exploiter de nouveaux ensembles de données sur la mécanique et les matériaux pour le modèle est formé. Les chercheurs ont analysé et discuté trois versions de MechGPT avec des tailles de paramètres allant de 13 milliards à 70 milliards et des longueurs de contexte dépassant 10 000 jetons

Après quelques commentaires généraux sur les modèles, astuces et méthodes de formation, les chercheurs ont appliqué le modèle et testé ses performances. dans une variété de contextes, y compris l'utilisation de LLM pour la génération de graphiques d'ontologie et le développement d'informations sur des sujets complexes dans plusieurs disciplines, ainsi que la modélisation d'agents, où plusieurs LLM interagissent de manière collaborative ou contradictoire pour générer des informations plus approfondies sur un sujet ou une réponse à une question. une question.

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

Graphique : Développement d'une représentation de graphe de connaissances ontologiques pour relier l'hyperélasticité dans le contexte de la fracture supersonique et des mécanismes de déploiement des protéines. (Source : article)

Dans le même temps, l'équipe propose en outre une comparaison conceptuelle entre les modèles de langage et les systèmes multiparticules à différents niveaux d'abstraction, et explique comment le nouveau cadre peut être considéré comme un moyen d'extraire des relations universelles qui gouverner des systèmes complexes.

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

Contenu réécrit : L'image ci-dessus montre l'analogie conceptuelle entre le LLM et la simulation multiparticules. (Source : article)

Dans l'ensemble, les travaux présentés dans cette étude contribuent au développement de modèles d'intelligence artificielle plus puissants et plus généraux qui peuvent aider à faire progresser la recherche scientifique et à résoudre des problèmes complexes dans des domaines d'application spécifiques, permettant une évaluation approfondie des performances du modèle. . Comme tous les modèles, ils doivent être soigneusement validés, et leur utilité réside dans le contexte des questions posées, de leurs forces et faiblesses, ainsi que des outils plus larges qui aident les scientifiques à faire progresser la science et l’ingénierie.

De plus, les outils d’IA, en tant qu’outils de recherche scientifique, doivent être considérés comme un ensemble d’outils permettant de comprendre, de modéliser et de concevoir le monde qui nous entoure. Alors que les outils d’IA se développent rapidement, leur application dans des contextes scientifiques commence seulement à apporter de nouvelles opportunités

Lien papier : https://arxiv.org/ftp/arxiv/papers/2310/2310.10445.pdf

Rapports associés : https://twitter.com/llama_index/status/1723379654550245719

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration
Cet article est reproduit dans:. en cas de violation, veuillez contacter admin@php.cn Supprimer
Les dangers cachés du déploiement interne de l'IA: lacunes de gouvernance et risques catastrophiquesLes dangers cachés du déploiement interne de l'IA: lacunes de gouvernance et risques catastrophiquesApr 28, 2025 am 11:12 AM

Le déploiement interne non contrôlé des systèmes d'IA avancés présente des risques importants, selon un nouveau rapport d'Apollo Research. Ce manque de surveillance, répandu parmi les grandes entreprises d'IA, permet des résultats catastrophiques potentiels, allant de peu

Construire le polygraphe AIConstruire le polygraphe AIApr 28, 2025 am 11:11 AM

Les détecteurs de mensonges traditionnels sont dépassés. S'appuyant sur le pointeur connecté par le bracelet, un détecteur de mensonge qui imprime les signes vitaux et les réactions physiques du sujet n'est pas précis pour identifier les mensonges. C'est pourquoi les résultats de détection de mensonge ne sont généralement pas adoptés par le tribunal, bien que cela ait conduit à de nombreuses personnes innocentes emprisonnées. En revanche, l'intelligence artificielle est un puissant moteur de données, et son principe de travail est d'observer tous les aspects. Cela signifie que les scientifiques peuvent appliquer l'intelligence artificielle aux applications qui recherchent la vérité de diverses manières. Une approche consiste à analyser les réponses des signes vitaux de la personne interrogée comme un détecteur de mensonge, mais avec une analyse comparative plus détaillée et précise. Une autre approche consiste à utiliser le balisage linguistique pour analyser ce que les gens disent réellement et utiliser la logique et le raisonnement. Comme le dit le dicton, un mensonge engendre un autre mensonge, et finalement

L'IA est-elle autorisée pour le décollage dans l'industrie aérospatiale?L'IA est-elle autorisée pour le décollage dans l'industrie aérospatiale?Apr 28, 2025 am 11:10 AM

L'industrie aérospatiale, pionnière de l'innovation, tire parti de l'IA pour relever ses défis les plus complexes. La complexité croissante de l'Aviation moderne nécessite l'automatisation de l'IA et les capacités d'intelligence en temps réel pour une sécurité améliorée, un fonctionnement réduit

Regarder la course de robot de printemps de PékinRegarder la course de robot de printemps de PékinApr 28, 2025 am 11:09 AM

Le développement rapide de la robotique nous a apporté une étude de cas fascinante. Le robot N2 de Noetix pèse plus de 40 livres et mesure 3 pieds de haut et pourrait être en mesure de se retourner. Le robot G1 de Uniree pèse environ deux fois la taille du N2 et mesure environ 4 pieds de haut. Il existe également de nombreux petits robots humanoïdes qui participent à la compétition, et il y a même un robot qui est poussé par un fan. Interprétation des données Le demi-marathon a attiré plus de 12 000 spectateurs, mais seulement 21 robots humanoïdes ont participé. Bien que le gouvernement ait souligné que les robots participants ont mené une "formation intensive" avant le concours, tous les robots n'ont pas terminé l'ensemble de la compétition. Champion - Tiangong Ult développé par Pékin Humanoid Robot Innovation Center

Le piège miroir: l'éthique de l'IA et l'effondrement de l'imagination humaineLe piège miroir: l'éthique de l'IA et l'effondrement de l'imagination humaineApr 28, 2025 am 11:08 AM

L'intelligence artificielle, dans sa forme actuelle, n'est pas vraiment intelligente; Il est apte à imiter et à affiner les données existantes. Nous ne créons pas de l'intelligence artificielle, mais plutôt une inférence artificielle - qui traite qui traitent les informations, tandis que les humains

La nouvelle fuite Google révèle la mise à jour des fonctionnalités de Google PhotosLa nouvelle fuite Google révèle la mise à jour des fonctionnalités de Google PhotosApr 28, 2025 am 11:07 AM

Un rapport a révélé qu'une interface mise à jour était masquée dans le code de Google Photos Android version 7.26, et chaque fois que vous visualisez une photo, une rangée de miniatures de visage nouvellement détectées s'affiche en bas de l'écran. Les nouvelles miniatures faciales manquent de balises de nom, donc je soupçonne que vous devez cliquer sur eux individuellement pour voir plus d'informations sur chaque personne détectée. Pour l'instant, cette fonctionnalité ne fournit aucune information autre que les personnes que Google Photos a trouvées dans vos images. Cette fonctionnalité n'est pas encore disponible, nous ne savons donc pas comment Google l'utilisera avec précision. Google peut utiliser des miniatures pour accélérer la recherche de plus de photos de personnes sélectionnées, ou peut être utilisée à d'autres fins, comme la sélection de l'individu à modifier. Attendons et voyons. Pour l'instant

Guide du renforcement Finetuning - Analytics VidhyaGuide du renforcement Finetuning - Analytics VidhyaApr 28, 2025 am 09:30 AM

Le renforcement de la fintuning a secoué le développement de l'IA en enseignant les modèles à s'ajuster en fonction de la rétroaction humaine. Il mélange des fondations d'apprentissage supervisées avec des mises à jour basées sur la récompense pour les rendre plus sûres, plus précises et vraiment aider

Dançon: mouvement structuré pour affiner nos filets neuronaux humainsDançon: mouvement structuré pour affiner nos filets neuronaux humainsApr 27, 2025 am 11:09 AM

Les scientifiques ont largement étudié les réseaux de neurones humains et plus simples (comme ceux de C. elegans) pour comprendre leur fonctionnalité. Cependant, une question cruciale se pose: comment adapter nos propres réseaux de neurones pour travailler efficacement aux côtés de nouvelles IA

See all articles

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

Video Face Swap

Video Face Swap

Échangez les visages dans n'importe quelle vidéo sans effort grâce à notre outil d'échange de visage AI entièrement gratuit !

Outils chauds

Version crackée d'EditPlus en chinois

Version crackée d'EditPlus en chinois

Petite taille, coloration syntaxique, ne prend pas en charge la fonction d'invite de code

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

MinGW - GNU minimaliste pour Windows

MinGW - GNU minimaliste pour Windows

Ce projet est en cours de migration vers osdn.net/projects/mingw, vous pouvez continuer à nous suivre là-bas. MinGW : un port Windows natif de GNU Compiler Collection (GCC), des bibliothèques d'importation et des fichiers d'en-tête librement distribuables pour la création d'applications Windows natives ; inclut des extensions du runtime MSVC pour prendre en charge la fonctionnalité C99. Tous les logiciels MinGW peuvent fonctionner sur les plates-formes Windows 64 bits.

mPDF

mPDF

mPDF est une bibliothèque PHP qui peut générer des fichiers PDF à partir de HTML encodé en UTF-8. L'auteur original, Ian Back, a écrit mPDF pour générer des fichiers PDF « à la volée » depuis son site Web et gérer différentes langues. Il est plus lent et produit des fichiers plus volumineux lors de l'utilisation de polices Unicode que les scripts originaux comme HTML2FPDF, mais prend en charge les styles CSS, etc. et présente de nombreuses améliorations. Prend en charge presque toutes les langues, y compris RTL (arabe et hébreu) ​​et CJK (chinois, japonais et coréen). Prend en charge les éléments imbriqués au niveau du bloc (tels que P, DIV),

DVWA

DVWA

Damn Vulnerable Web App (DVWA) est une application Web PHP/MySQL très vulnérable. Ses principaux objectifs sont d'aider les professionnels de la sécurité à tester leurs compétences et leurs outils dans un environnement juridique, d'aider les développeurs Web à mieux comprendre le processus de sécurisation des applications Web et d'aider les enseignants/étudiants à enseigner/apprendre dans un environnement de classe. Application Web sécurité. L'objectif de DVWA est de mettre en pratique certaines des vulnérabilités Web les plus courantes via une interface simple et directe, avec différents degrés de difficulté. Veuillez noter que ce logiciel