찾다
기술 주변기기일체 포함학제 간 이해와 다중 규모 모델링이 가능한 MIT LAMM, 미세 조정된 대형 언어 모델 MechGPT 출시

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

Editor | Radish Skin

지난 몇 세기 동안 연구자들은 다양한 지식 분야를 연결하는 방법을 모색해 왔습니다. 인공지능의 출현으로 우리는 이제 여러 분야(예: 역학 및 생물학) 또는 다른 분야(예: 고장 역학 및 예술) 간의 관계를 탐색할 수 있는 기회를 갖게 되었습니다.

이 목표를 달성하기 위해 MIT(매사추세츠 공과대학) 연구원 LAMM(원자 및 분자 역학 연구소)에서는 미세 조정된 LLM(대형 언어 모델)을 사용하여 다중 규모 재료 파손에 대한 관련 지식 하위 집합을 얻었습니다.

이 접근 방식의 단계는 먼저 범용 A를 사용하는 것입니다. LLM은 원본 소스에서 질문-답변 쌍을 추출한 다음 LLM을 미세 조정합니다. 이 미세 조정된 MechGPT LLM 기본 모델을 사용하여 일련의 계산 실험을 수행하여 지식 검색, 다양한 언어 작업, 가설 생성 및 다양한 도메인 간의 지식 연결 기능을 탐색했습니다.

모델에는 훈련 지식을 회상하는 능력이 있지만 하지만 연구자들은 LLM이 온톨로지 지식 그래프를 통해 구조적 통찰력을 추출하는 데 더 의미가 있다는 것을 발견했습니다. 이러한 해석 가능한 그래프 구조는 해석적 통찰력, 새로운 연구 질문에 대한 프레임워크, 검색 강화 생성에도 사용할 수 있는 지식의 시각적 표현을 제공합니다.

이 연구의 제목은 "MechGPT, 규모, 분야 및 양식에 걸쳐 지식을 연결하는 역학 및 재료 모델링을 위한 언어 기반 전략"이며 2023년 10월 19일 "Applied Mechanics Reviews"에 게재되었습니다.

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

물리적, 생물학적, 형이상학적 개념을 모델링하는 것은 여러 분야의 연구자들의 초점이었습니다. 초기 과학자와 엔지니어는 종종 과학에서 철학, 물리학에서 수학, 예술(예: 갈릴레오 갈릴레이, 레오나르도 다 빈치, 요한 볼프강 폰 괴테)에 이르는 분야에 깊이 뿌리박혀 있었지만 과학이 발전하면서 전문화가 이루어졌습니다. 오늘은 지배적이다. 그 이유 중 하나는 여러 분야에 걸쳐 많은 양의 지식이 축적되어 있기 때문에 인간은 연구와 실천에 많은 에너지를 소비해야 하기 때문입니다.

요즘 LLM(대형 언어 모델)의 등장은 과학 연구의 패러다임에 도전하고 있습니다. 인공지능/머신러닝을 기반으로 한 새로운 모델링 전략을 제시할 뿐만 아니라 도메인 전반에 걸쳐 지식, 아이디어, 개념을 연결할 수 있는 기회를 제공합니다. 이러한 모델은 적층 재료의 분석 및 설계와 역학의 기타 여러 응용 분야를 위한 기존의 다중 규모 모델링을 보완할 수 있습니다.

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

그림: 회로도 작업 흐름. (출처: 논문)

여기서 LAMM 연구원들은 최근 제안된 기계 및 재료 연구 및 개발에서 LLM의 사용을 기반으로 Llama-2 기반 OpenOrca-Platypus2-13B 기반의 범용 LLM을 개발했으며 미세 조정된 MechGPT 모델에 중점을 두었습니다. 재료 고장 모델링, 다중 규모 모델링 및 관련 분야에 대해 다룹니다.

OpenOrca-Platypus2-13B 모델을 선택한 이유는 추론, 논리, 수학/과학 및 기타 학문과 같은 핵심 작업을 잘 수행하고, 적당한 모델 크기에서 풍부하고 다학제적인 지식과 지식을 제공할 수 있기 때문입니다. . 일반적인 개념과 효율적인 컴퓨팅 기능

LLM은 과학 분야에서 강력한 응용 프로그램을 보유하고 있습니다. 기계 및 재료 과학 분야에서 대량의 데이터와 복잡한 시스템을 분석할 수 있는 것 외에도 LLM은 기계적 응력, 온도 및 화학적 상호 작용과 같은 다양한 조건에서 재료의 동작을 시뮬레이션하고 예측하는 데 사용됩니다. 이전 연구에서 볼 수 있듯이, 분자 역학 시뮬레이션의 대규모 데이터 세트에 대해 LLM을 교육함으로써 연구원은 새로운 상황에서 재료 거동을 예측할 수 있는 모델을 개발할 수 있으므로 발견 프로세스를 가속화하고 실험 테스트의 필요성을 줄일 수 있습니다.

이러한 모델은 서적, 출판물 등 과학 텍스트를 분석하는 데에도 매우 효과적이므로 연구자는 대량의 데이터에서 핵심 정보와 통찰력을 빠르게 추출할 수 있습니다. 이는 과학자들이 추세, 패턴, 다양한 개념과 아이디어 간의 관계를 식별하고 추가 연구를 위한 새로운 가설과 아이디어를 생성하는 데 도움이 될 수 있습니다.

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

MechGPT를 구축하는 데 사용되는 자동 회귀 디코더 변환기 아키텍처의 개요인 아래 그림을 살펴보세요. (출처: 종이)

여기서 팀은 후자의 개발에 중점을 두고 특히 재료 고장을 목표로 하는 Transformer 기반 LLM 제품군의 생성 인공 지능 도구인 MechGPT의 사용과 관련 다중 규모 방법 교육을 탐색하여 이러한 전략의 잠재력을 평가합니다. .

본 연구에서 제안한 전략은 여러 단계로 구성됩니다. 첫 번째는 연구자들이 LLM을 사용하여 원시 데이터 청크(예: 하나 이상의 PDF 파일)에서 추출한 텍스트에서 질문-답변 쌍을 생성하는 증류 단계입니다. 다음으로, 이 데이터를 사용하여 두 번째 단계에서 모델을 미세 조정합니다. 이 연구에서는 또한 초기 MechGPT 모델을 구체적으로 훈련하여 물질적 결함의 원자론적 모델링 분야에서 지식 검색, 일반 언어 작업 및 가설 생성에 대한 유용성을 입증했습니다.

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

그림: 사용된 모델링 전략 개요. (출처: 논문)

이 논문에서는 연구원들이 특정 언어 모델링 전략을 사용하여 데이터 세트를 생성하여 소스에서 지식을 추출하고 새로운 역학 및 재료 데이터 세트를 활용하여 모델을 훈련시키는 중요한 모델링 전략을 소개합니다. 연구원들은 130억에서 700억에 이르는 매개변수 크기와 10,000개 토큰을 초과하는 컨텍스트 길이를 갖춘 세 가지 버전의 MechGPT를 분석하고 논의했습니다.

모델, 팁 및 훈련 방법에 대한 몇 가지 일반적인 의견을 제시한 후 연구원들은 모델을 적용하고 성능을 테스트했습니다. 온톨로지 그래프 생성을 위해 LLM을 사용하고 여러 분야의 복잡한 주제에 대한 통찰력을 개발하는 것은 물론 여러 LLM이 협력적 또는 적대적 방식으로 상호 작용하는 에이전트 모델링을 포함하여 주제 영역에 대한 더 깊은 통찰력을 생성하거나 이에 대한 답변을 제공합니다. 질문.

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

그래프: 초음속 파괴 및 단백질 전개 메커니즘의 맥락에서 초탄성을 연관시키기 위한 존재론적 지식 그래프 표현 개발. (출처: 논문)

동시에 팀은 다양한 추상화 수준에서 언어 모델과 다중 입자 시스템 간의 개념적 비교를 추가로 제공하고, 새로운 프레임워크가 보편적인 관계를 추출하는 수단으로 어떻게 볼 수 있는지 설명합니다. 복잡한 시스템을 관리합니다.

可跨学科理解、多尺度建模,MIT LAMM发布微调的大语言模型 MechGPT

재작성된 내용: 위 이미지는 LLM과 다중 입자 시뮬레이션 간의 개념적 비유를 보여줍니다. (출처: 논문)

전반적으로, 이 연구에서 제시된 작업은 과학적 연구를 발전시키고 특정 응용 분야의 복잡한 문제를 해결하는 데 도움이 될 수 있는 보다 강력하고 일반적인 인공 지능 모델의 개발에 기여하여 모델 성능을 심층적으로 평가할 수 있습니다. . 모든 모델과 마찬가지로 모델도 신중하게 검증되어야 하며, 모델의 유용성은 질문의 맥락, 모델의 강점과 약점, 과학자가 과학과 공학을 발전시키는 데 도움이 되는 광범위한 도구에 달려 있습니다.

또한 AI 도구는 과학적 탐구 도구로서 우리 주변의 세계를 이해하고, 모델링하고, 설계하기 위한 도구 모음으로 보아야 합니다. AI 도구가 빠르게 발전함에 따라 과학적인 맥락에서 AI 도구를 적용하는 것은 이제 새로운 기회를 가져오기 시작했습니다.

논문 링크: https://arxiv.org/ftp/arxiv/papers/2310/2310.10445.pdf

관련 보고서: https://twitter.com/llama_index/status/1723379654550245719

위 내용은 학제 간 이해와 다중 규모 모델링이 가능한 MIT LAMM, 미세 조정된 대형 언어 모델 MechGPT 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 机器之心에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
DSA如何弯道超车NVIDIA GPU?DSA如何弯道超车NVIDIA GPU?Sep 20, 2023 pm 06:09 PM

你可能听过以下犀利的观点:1.跟着NVIDIA的技术路线,可能永远也追不上NVIDIA的脚步。2.DSA或许有机会追赶上NVIDIA,但目前的状况是DSA濒临消亡,看不到任何希望另一方面,我们都知道现在大模型正处于风口位置,业界很多人想做大模型芯片,也有很多人想投大模型芯片。但是,大模型芯片的设计关键在哪,大带宽大内存的重要性好像大家都知道,但做出来的芯片跟NVIDIA相比,又有何不同?带着问题,本文尝试给大家一点启发。纯粹以观点为主的文章往往显得形式主义,我们可以通过一个架构的例子来说明Sam

阿里云通义千问14B模型开源!性能超越Llama2等同等尺寸模型阿里云通义千问14B模型开源!性能超越Llama2等同等尺寸模型Sep 25, 2023 pm 10:25 PM

2021年9月25日,阿里云发布了开源项目通义千问140亿参数模型Qwen-14B以及其对话模型Qwen-14B-Chat,并且可以免费商用。Qwen-14B在多个权威评测中表现出色,超过了同等规模的模型,甚至有些指标接近Llama2-70B。此前,阿里云还开源了70亿参数模型Qwen-7B,仅一个多月的时间下载量就突破了100万,成为开源社区的热门项目Qwen-14B是一款支持多种语言的高性能开源模型,相比同类模型使用了更多的高质量数据,整体训练数据超过3万亿Token,使得模型具备更强大的推

ICCV 2023揭晓:ControlNet、SAM等热门论文斩获奖项ICCV 2023揭晓:ControlNet、SAM等热门论文斩获奖项Oct 04, 2023 pm 09:37 PM

在法国巴黎举行了国际计算机视觉大会ICCV(InternationalConferenceonComputerVision)本周开幕作为全球计算机视觉领域顶级的学术会议,ICCV每两年召开一次。ICCV的热度一直以来都与CVPR不相上下,屡创新高在今天的开幕式上,ICCV官方公布了今年的论文数据:本届ICCV共有8068篇投稿,其中有2160篇被接收,录用率为26.8%,略高于上一届ICCV2021的录用率25.9%在论文主题方面,官方也公布了相关数据:多视角和传感器的3D技术热度最高在今天的开

复旦大学团队发布中文智慧法律系统DISC-LawLLM,构建司法评测基准,开源30万微调数据复旦大学团队发布中文智慧法律系统DISC-LawLLM,构建司法评测基准,开源30万微调数据Sep 29, 2023 pm 01:17 PM

随着智慧司法的兴起,智能化方法驱动的智能法律系统有望惠及不同群体。例如,为法律专业人员减轻文书工作,为普通民众提供法律咨询服务,为法学学生提供学习和考试辅导。由于法律知识的独特性和司法任务的多样性,此前的智慧司法研究方面主要着眼于为特定任务设计自动化算法,难以满足对司法领域提供支撑性服务的需求,离应用落地有不小的距离。而大型语言模型(LLMs)在不同的传统任务上展示出强大的能力,为智能法律系统的进一步发展带来希望。近日,复旦大学数据智能与社会计算实验室(FudanDISC)发布大语言模型驱动的中

AI技术在蚂蚁集团保险业务中的应用:革新保险服务,带来全新体验AI技术在蚂蚁集团保险业务中的应用:革新保险服务,带来全新体验Sep 20, 2023 pm 10:45 PM

保险行业对于社会民生和国民经济的重要性不言而喻。作为风险管理工具,保险为人民群众提供保障和福利,推动经济的稳定和可持续发展。在新的时代背景下,保险行业面临着新的机遇和挑战,需要不断创新和转型,以适应社会需求的变化和经济结构的调整近年来,中国的保险科技蓬勃发展。通过创新的商业模式和先进的技术手段,积极推动保险行业实现数字化和智能化转型。保险科技的目标是提升保险服务的便利性、个性化和智能化水平,以前所未有的速度改变传统保险业的面貌。这一发展趋势为保险行业注入了新的活力,使保险产品更贴近人民群众的实际

百度文心一言全面向全社会开放,率先迈出重要一步百度文心一言全面向全社会开放,率先迈出重要一步Aug 31, 2023 pm 01:33 PM

8月31日,文心一言首次向全社会全面开放。用户可以在应用商店下载“文心一言APP”或登录“文心一言官网”(https://yiyan.baidu.com)进行体验据报道,百度计划推出一系列经过全新重构的AI原生应用,以便让用户充分体验生成式AI的理解、生成、逻辑和记忆等四大核心能力今年3月16日,文心一言开启邀测。作为全球大厂中首个发布的生成式AI产品,文心一言的基础模型文心大模型早在2019年就在国内率先发布,近期升级的文心大模型3.5也持续在十余个国内外权威测评中位居第一。李彦宏表示,当文心

致敬TempleOS,有开发者创建了启动Llama 2的操作系统,网友:8G内存老电脑就能跑致敬TempleOS,有开发者创建了启动Llama 2的操作系统,网友:8G内存老电脑就能跑Oct 07, 2023 pm 10:09 PM

不得不说,Llama2的「二创」项目越来越硬核、有趣了。自Meta发布开源大模型Llama2以来,围绕着该模型的「二创」项目便多了起来。此前7月,特斯拉前AI总监、重回OpenAI的AndrejKarpathy利用周末时间,做了一个关于Llama2的有趣项目llama2.c,让用户在PyTorch中训练一个babyLlama2模型,然后使用近500行纯C、无任何依赖性的文件进行推理。今天,在Karpathyllama2.c项目的基础上,又有开发者创建了一个启动Llama2的演示操作系统,以及一个

快手黑科技“子弹时间”赋能亚运转播,打造智慧观赛新体验快手黑科技“子弹时间”赋能亚运转播,打造智慧观赛新体验Oct 11, 2023 am 11:21 AM

杭州第19届亚运会不仅是国际顶级体育盛会,更是一场精彩绝伦的中国科技盛宴。本届亚运会中,快手StreamLake与杭州电信深度合作,联合打造智慧观赛新体验,在击剑赛事的转播中,全面应用了快手StreamLake六自由度技术,其中“子弹时间”也是首次应用于击剑项目国际顶级赛事。中国电信杭州分公司智能亚运专班组长芮杰表示,依托快手StreamLake自研的4K3D虚拟运镜视频技术和中国电信5G/全光网,通过赛场内部署的4K专业摄像机阵列实时采集的高清竞赛视频,

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

Atom Editor Mac 버전 다운로드

Atom Editor Mac 버전 다운로드

가장 인기 있는 오픈 소스 편집기

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

안전한 시험 브라우저

안전한 시험 브라우저

안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

맨티스BT

맨티스BT

Mantis는 제품 결함 추적을 돕기 위해 설계된 배포하기 쉬운 웹 기반 결함 추적 도구입니다. PHP, MySQL 및 웹 서버가 필요합니다. 데모 및 호스팅 서비스를 확인해 보세요.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경