찾다
기술 주변기기일체 포함학제 간 이해와 다중 규모 모델링이 가능한 MIT LAMM, 미세 조정된 대형 언어 모델 MechGPT 출시

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

Editor | Radish Skin

지난 몇 세기 동안 연구자들은 다양한 지식 분야를 연결하는 방법을 모색해 왔습니다. 인공지능의 출현으로 우리는 이제 여러 분야(예: 역학 및 생물학) 또는 다른 분야(예: 고장 역학 및 예술) 간의 관계를 탐색할 수 있는 기회를 갖게 되었습니다.

이 목표를 달성하기 위해 MIT(매사추세츠 공과대학) 연구원 LAMM(원자 및 분자 역학 연구소)에서는 미세 조정된 LLM(대형 언어 모델)을 사용하여 다중 규모 재료 파손에 대한 관련 지식 하위 집합을 얻었습니다.

이 접근 방식의 단계는 먼저 범용 A를 사용하는 것입니다. LLM은 원본 소스에서 질문-답변 쌍을 추출한 다음 LLM을 미세 조정합니다. 이 미세 조정된 MechGPT LLM 기본 모델을 사용하여 일련의 계산 실험을 수행하여 지식 검색, 다양한 언어 작업, 가설 생성 및 다양한 도메인 간의 지식 연결 기능을 탐색했습니다.

모델에는 훈련 지식을 회상하는 능력이 있지만 하지만 연구자들은 LLM이 온톨로지 지식 그래프를 통해 구조적 통찰력을 추출하는 데 더 의미가 있다는 것을 발견했습니다. 이러한 해석 가능한 그래프 구조는 해석적 통찰력, 새로운 연구 질문에 대한 프레임워크, 검색 강화 생성에도 사용할 수 있는 지식의 시각적 표현을 제공합니다.

이 연구의 제목은 "MechGPT, 규모, 분야 및 양식에 걸쳐 지식을 연결하는 역학 및 재료 모델링을 위한 언어 기반 전략"이며 2023년 10월 19일 "Applied Mechanics Reviews"에 게재되었습니다.

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

물리적, 생물학적, 형이상학적 개념을 모델링하는 것은 여러 분야의 연구자들의 초점이었습니다. 초기 과학자와 엔지니어는 종종 과학에서 철학, 물리학에서 수학, 예술(예: 갈릴레오 갈릴레이, 레오나르도 다 빈치, 요한 볼프강 폰 괴테)에 이르는 분야에 깊이 뿌리박혀 있었지만 과학이 발전하면서 전문화가 이루어졌습니다. 오늘은 지배적이다. 그 이유 중 하나는 여러 분야에 걸쳐 많은 양의 지식이 축적되어 있기 때문에 인간은 연구와 실천에 많은 에너지를 소비해야 하기 때문입니다.

요즘 LLM(대형 언어 모델)의 등장은 과학 연구의 패러다임에 도전하고 있습니다. 인공지능/머신러닝을 기반으로 한 새로운 모델링 전략을 제시할 뿐만 아니라 도메인 전반에 걸쳐 지식, 아이디어, 개념을 연결할 수 있는 기회를 제공합니다. 이러한 모델은 적층 재료의 분석 및 설계와 역학의 기타 여러 응용 분야를 위한 기존의 다중 규모 모델링을 보완할 수 있습니다.

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

그림: 회로도 작업 흐름. (출처: 논문)

여기서 LAMM 연구원들은 최근 제안된 기계 및 재료 연구 및 개발에서 LLM의 사용을 기반으로 Llama-2 기반 OpenOrca-Platypus2-13B 기반의 범용 LLM을 개발했으며 미세 조정된 MechGPT 모델에 중점을 두었습니다. 재료 고장 모델링, 다중 규모 모델링 및 관련 분야에 대해 다룹니다.

OpenOrca-Platypus2-13B 모델을 선택한 이유는 추론, 논리, 수학/과학 및 기타 학문과 같은 핵심 작업을 잘 수행하고, 적당한 모델 크기에서 풍부하고 다학제적인 지식과 지식을 제공할 수 있기 때문입니다. . 일반적인 개념과 효율적인 컴퓨팅 기능

LLM은 과학 분야에서 강력한 응용 프로그램을 보유하고 있습니다. 기계 및 재료 과학 분야에서 대량의 데이터와 복잡한 시스템을 분석할 수 있는 것 외에도 LLM은 기계적 응력, 온도 및 화학적 상호 작용과 같은 다양한 조건에서 재료의 동작을 시뮬레이션하고 예측하는 데 사용됩니다. 이전 연구에서 볼 수 있듯이, 분자 역학 시뮬레이션의 대규모 데이터 세트에 대해 LLM을 교육함으로써 연구원은 새로운 상황에서 재료 거동을 예측할 수 있는 모델을 개발할 수 있으므로 발견 프로세스를 가속화하고 실험 테스트의 필요성을 줄일 수 있습니다.

이러한 모델은 서적, 출판물 등 과학 텍스트를 분석하는 데에도 매우 효과적이므로 연구자는 대량의 데이터에서 핵심 정보와 통찰력을 빠르게 추출할 수 있습니다. 이는 과학자들이 추세, 패턴, 다양한 개념과 아이디어 간의 관계를 식별하고 추가 연구를 위한 새로운 가설과 아이디어를 생성하는 데 도움이 될 수 있습니다.

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

MechGPT를 구축하는 데 사용되는 자동 회귀 디코더 변환기 아키텍처의 개요인 아래 그림을 살펴보세요. (출처: 종이)

여기서 팀은 후자의 개발에 중점을 두고 특히 재료 고장을 목표로 하는 Transformer 기반 LLM 제품군의 생성 인공 지능 도구인 MechGPT의 사용과 관련 다중 규모 방법 교육을 탐색하여 이러한 전략의 잠재력을 평가합니다. .

본 연구에서 제안한 전략은 여러 단계로 구성됩니다. 첫 번째는 연구자들이 LLM을 사용하여 원시 데이터 청크(예: 하나 이상의 PDF 파일)에서 추출한 텍스트에서 질문-답변 쌍을 생성하는 증류 단계입니다. 다음으로, 이 데이터를 사용하여 두 번째 단계에서 모델을 미세 조정합니다. 이 연구에서는 또한 초기 MechGPT 모델을 구체적으로 훈련하여 물질적 결함의 원자론적 모델링 분야에서 지식 검색, 일반 언어 작업 및 가설 생성에 대한 유용성을 입증했습니다.

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

그림: 사용된 모델링 전략 개요. (출처: 논문)

이 논문에서는 연구원들이 특정 언어 모델링 전략을 사용하여 데이터 세트를 생성하여 소스에서 지식을 추출하고 새로운 역학 및 재료 데이터 세트를 활용하여 모델을 훈련시키는 중요한 모델링 전략을 소개합니다. 연구원들은 130억에서 700억에 이르는 매개변수 크기와 10,000개 토큰을 초과하는 컨텍스트 길이를 갖춘 세 가지 버전의 MechGPT를 분석하고 논의했습니다.

모델, 팁 및 훈련 방법에 대한 몇 가지 일반적인 의견을 제시한 후 연구원들은 모델을 적용하고 성능을 테스트했습니다. 온톨로지 그래프 생성을 위해 LLM을 사용하고 여러 분야의 복잡한 주제에 대한 통찰력을 개발하는 것은 물론 여러 LLM이 협력적 또는 적대적 방식으로 상호 작용하는 에이전트 모델링을 포함하여 주제 영역에 대한 더 깊은 통찰력을 생성하거나 이에 대한 답변을 제공합니다. 질문.

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

그래프: 초음속 파괴 및 단백질 전개 메커니즘의 맥락에서 초탄성을 연관시키기 위한 존재론적 지식 그래프 표현 개발. (출처: 논문)

동시에 팀은 다양한 추상화 수준에서 언어 모델과 다중 입자 시스템 간의 개념적 비교를 추가로 제공하고, 새로운 프레임워크가 보편적인 관계를 추출하는 수단으로 어떻게 볼 수 있는지 설명합니다. 복잡한 시스템을 관리합니다.

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

재작성된 내용: 위 이미지는 LLM과 다중 입자 시뮬레이션 간의 개념적 비유를 보여줍니다. (출처: 논문)

전반적으로, 이 연구에서 제시된 작업은 과학적 연구를 발전시키고 특정 응용 분야의 복잡한 문제를 해결하는 데 도움이 될 수 있는 보다 강력하고 일반적인 인공 지능 모델의 개발에 기여하여 모델 성능을 심층적으로 평가할 수 있습니다. . 모든 모델과 마찬가지로 모델도 신중하게 검증되어야 하며, 모델의 유용성은 질문의 맥락, 모델의 강점과 약점, 과학자가 과학과 공학을 발전시키는 데 도움이 되는 광범위한 도구에 달려 있습니다.

또한 AI 도구는 과학적 탐구 도구로서 우리 주변의 세계를 이해하고, 모델링하고, 설계하기 위한 도구 모음으로 보아야 합니다. AI 도구가 빠르게 발전함에 따라 과학적인 맥락에서 AI 도구를 적용하는 것은 이제 새로운 기회를 가져오기 시작했습니다.

논문 링크: https://arxiv.org/ftp/arxiv/papers/2310/2310.10445.pdf

관련 보고서: https://twitter.com/llama_index/status/1723379654550245719

위 내용은 학제 간 이해와 다중 규모 모델링이 가능한 MIT LAMM, 미세 조정된 대형 언어 모델 MechGPT 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 机器之心에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
빌딩 에이전트에 Google ADK를 사용하는 방법은 무엇입니까? - 분석 Vidhya빌딩 에이전트에 Google ADK를 사용하는 방법은 무엇입니까? - 분석 VidhyaApr 27, 2025 am 09:42 AM

Google의 에이전트 개발 키트 (ADK)의 전력을 활용하여 실제 기능을 갖춘 지능형 에이전트를 만듭니다! 이 튜토리얼은 Gemini 및 GPT와 같은 다양한 언어 모델을 지원하는 ADK를 사용하여 대화 에이전트를 구축하는 것을 안내합니다. w

효과적인 문제 해결을 위해 LLM을 통해 SLM 사용 - 분석 Vidhya효과적인 문제 해결을 위해 LLM을 통해 SLM 사용 - 분석 VidhyaApr 27, 2025 am 09:27 AM

요약: SLM (Small Language Model)은 효율성을 위해 설계되었습니다. 자원 결핍, 실시간 및 개인 정보 보호 환경에서 LLM (Large Language Model)보다 낫습니다. 초점 기반 작업, 특히 도메인 특이성, 제어 성 및 해석 성이 일반적인 지식이나 창의성보다 더 중요합니다. SLM은 LLM을 대체하지는 않지만 정밀, 속도 및 비용 효율성이 중요 할 때 이상적입니다. 기술은 더 적은 자원으로 더 많은 것을 달성하는 데 도움이됩니다. 그것은 항상 운전자가 아니라 프로모터였습니다. 증기 엔진 시대부터 인터넷 버블 시대에 이르기까지 기술의 힘은 문제를 해결하는 데 도움이되는 정도입니다. 인공 지능 (AI) 및보다 최근에 생성 AI가 예외는 아닙니다.

컴퓨터 비전 작업에 Google Gemini 모델을 사용하는 방법은 무엇입니까? - 분석 Vidhya컴퓨터 비전 작업에 Google Gemini 모델을 사용하는 방법은 무엇입니까? - 분석 VidhyaApr 27, 2025 am 09:26 AM

컴퓨터 비전을위한 Google Gemini의 힘을 활용 : 포괄적 인 가이드 주요 AI 챗봇 인 Google Gemini는 강력한 컴퓨터 비전 기능을 포괄하기 위해 대화를 넘어서 기능을 확장합니다. 이 안내서는 사용 방법에 대해 자세히 설명합니다

Gemini 2.0 Flash vs O4-Mini : Google은 OpenAi보다 더 잘할 수 있습니까?Gemini 2.0 Flash vs O4-Mini : Google은 OpenAi보다 더 잘할 수 있습니까?Apr 27, 2025 am 09:20 AM

2025 년의 AI 환경은 Google의 Gemini 2.0 Flash와 Openai의 O4-Mini가 도착하면서 전기가 전환됩니다. 이 최첨단 모델은 몇 주 간격으로 발사되어 비슷한 고급 기능과 인상적인 벤치 마크 점수를 자랑합니다. 이 심층적 인 비교

OpenAi GPT-Image-1 API를 사용하여 이미지를 생성하고 편집하는 방법OpenAi GPT-Image-1 API를 사용하여 이미지를 생성하고 편집하는 방법Apr 27, 2025 am 09:16 AM

OpenAi의 최신 멀티 모드 모델 인 GPT-Image-1은 ChatGpt 내 및 API를 통해 이미지 생성을 혁신합니다. 이 기사는 기능, 사용 및 응용 프로그램을 탐구합니다. 목차 GPT-IMAGE-1 이해 GPT-Image-1의 주요 기능

CleanLab을 사용하여 데이터 전처리를 수행하는 방법은 무엇입니까? - 분석 VidhyaCleanLab을 사용하여 데이터 전처리를 수행하는 방법은 무엇입니까? - 분석 VidhyaApr 27, 2025 am 09:15 AM

성공적인 기계 학습의 경우 데이터 전처리가 가장 중요하지만 실제 데이터 세트에는 종종 오류가 포함됩니다. CleanLab은 파이썬 패키지를 사용하여 자신감있는 학습 알고리즘을 구현하는 효율적인 솔루션을 제공합니다. 감지를 자동화합니다

AI 기술 격차는 공급망을 늦추고 있습니다AI 기술 격차는 공급망을 늦추고 있습니다Apr 26, 2025 am 11:13 AM

"AI-Ready Workforce"라는 용어는 자주 사용되지만 공급망 산업에서 실제로 무엇을 의미합니까? ASCM (Association for Supply Chain Management)의 CEO 인 Abe Eshkenazi에 따르면 비평가가 가능한 전문가를 의미합니다.

한 회사가 AI를 영원히 변화시키기 위해 조용히 노력하는 방법한 회사가 AI를 영원히 변화시키기 위해 조용히 노력하는 방법Apr 26, 2025 am 11:12 AM

분산 된 AI 혁명은 조용히 운동량을 얻고 있습니다. 이번 주 금요일 텍사스 오스틴에서 Bittensor Endgame Summit은 중추적 인 순간을 표시하여 분산 된 AI (DEAI)를 이론에서 실제 적용으로 전환합니다. 화려한 광고와 달리

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

맨티스BT

맨티스BT

Mantis는 제품 결함 추적을 돕기 위해 설계된 배포하기 쉬운 웹 기반 결함 추적 도구입니다. PHP, MySQL 및 웹 서버가 필요합니다. 데모 및 호스팅 서비스를 확인해 보세요.

DVWA

DVWA

DVWA(Damn Vulnerable Web App)는 매우 취약한 PHP/MySQL 웹 애플리케이션입니다. 주요 목표는 보안 전문가가 법적 환경에서 자신의 기술과 도구를 테스트하고, 웹 개발자가 웹 응용 프로그램 보안 프로세스를 더 잘 이해할 수 있도록 돕고, 교사/학생이 교실 환경 웹 응용 프로그램에서 가르치고 배울 수 있도록 돕는 것입니다. 보안. DVWA의 목표는 다양한 난이도의 간단하고 간단한 인터페이스를 통해 가장 일반적인 웹 취약점 중 일부를 연습하는 것입니다. 이 소프트웨어는

mPDF

mPDF

mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.

ZendStudio 13.5.1 맥

ZendStudio 13.5.1 맥

강력한 PHP 통합 개발 환경