최초의 완전 자동화된 과학적 발견 AI 시스템, Transformer 저자 스타트업 Sakana AI, AI 과학자 출시

Editor | ScienceAI

1년 전, Google Transformer 논문의 마지막 저자인 Llion Jones는 사업을 시작하기 위해 회사를 떠나 전 Google 연구원 David Ha와 함께 인공지능 회사 Sakana AI를 공동 설립했습니다. Sakana AI는 자연에서 영감을 받은 지능을 기반으로 새로운 기본 모델을 만든다고 주장합니다!

이제 Sakana AI가 답안지를 제출했습니다.

Sakana AI는 자동화된 과학 연구 및 공개 발견을 위한 세계 최초의 AI 시스템인 AI Scientist의 출시를 발표합니다!

구상, 코드 작성, 실험 실행 및 결과 요약부터 전체 논문 작성 및 동료 검토 수행에 이르기까지 AI 과학자는 AI 기반 과학 연구 및 가속화된 발견의 새로운 시대를 안내합니다.

원칙적으로 인간 과학자처럼 과학적 연구 과정을 지속적으로 반복하고 개방적인 방식으로 아이디어를 반복적으로 개발할 수 있습니다.

연구원들은 이를 확산 모델링, Transformer 기반 언어 모델링, 학습 역학이라는 세 가지 기계 학습 하위 분야에 적용하여 그 다양성을 입증했습니다.

각 아이디어는 종이당 $15 미만의 비용으로 구현되어 완전한 종이로 개발됩니다. 생성된 논문을 평가하기 위해 연구자들은 논문 점수 평가에서 인간에 가까운 성능을 갖춘 자동 리뷰어를 설계하고 검증했습니다.

AI 과학자는 최고의 기계 학습 컨퍼런스의 승인 기준을 초과하는 논문을 작성할 수 있습니다.

AI Scientist의 출시는 과학 연구에서 인공 지능의 잠재력을 최대한 실현하기 위한 중요한 단계입니다. 발견 프로세스를 자동화하고 AI 기반 검토 시스템을 통합함으로써 가장 도전적인 과학 기술 분야에서 혁신과 문제 해결을 위한 무한한 가능성의 문을 열어줍니다.

"The AI ​​Scientist: Towards Fully Automated Open-Ended Scientific Discovery"라는 제목의 관련 연구가 8월 12일 사전 인쇄 플랫폼 arXiv 에 게재되었습니다.

논문 링크: https://arxiv.org/abs/2408.06292

인공지능이 직면한 과제 중 하나는 과학적 연구를 수행하고 새로운 지식을 발견할 수 있는 에이전트를 개발하는 것입니다. 최첨단 모델은 아이디어 브레인스토밍, 코드 작성, 예측 작업 수행 등 인간 과학자를 위한 보조 도구로 사용되었지만 여전히 과학 프로세스의 작은 부분만을 완료합니다.

최근 연구에서 Sakana AI의 과학자들은 완전 자동화된 과학적 발견을 위한 최초의 포괄적인 프레임워크를 제안하여 최첨단 대규모 언어 모델이 독립적으로 연구를 수행하고 결과를 전달할 수 있도록 합니다.

AI 과학자는 새로운 연구 아이디어를 생성하고, 코드를 작성하고, 실험을 수행하고, 결과를 시각화하고, 전체 과학 논문을 작성하여 결과를 설명하고, 평가를 위한 시뮬레이션 검토 프로세스를 실행할 수 있습니다.

AI 과학자 소개

AI 과학자는 (1) 아이디어 생성, (2) 실험적 반복, (3) 논문 작성의 세 가지 주요 단계를 따릅니다. 일단 작성되면 연구자는 LLM에서 생성된 리뷰를 소개하고 검증하여 결과 논문의 품질을 평가합니다.

그림: 엔드투엔드 LLM 기반 과학적 발견 프로세스 AI 과학자의 개념 그림. (출처: 논문)

연구원들은 AI 과학자들에게 인기 모델이나 벤치마크의 경량 기본 훈련 실행을 재현하는 시작 코드 템플릿을 제공합니다. 예를 들어, 이는 몇 분 안에 완료할 수 있는 자연어 처리에서 실행되는 고전적인 개념 증명 훈련인 셰익스피어의 소형 변환기를 훈련하는 코드일 수 있습니다.

그러면 AI 과학자들은 가능한 모든 연구 방향을 자유롭게 탐색할 수 있습니다. 템플릿에는 스타일 파일과 섹션 헤더, 간단한 플로팅 코드가 포함된 LaTeX 폴더도 포함되어 있습니다. 일반적으로 각 실행은 주제 영역과 관련된 대표적인 소규모 실험으로 시작됩니다.

연구원들은 "소규모 실험에 집중하는 것은 우리 방법의 근본적인 한계가 아니라 단순히 우리 장비의 계산 효율성과 계산 한계의 문제입니다."라고 설명했습니다.

논문 작성이 왜 중요한가요?

과학자의 전반적인 목표가 과학적 발견을 자동화하는 것이라면 왜 연구자들은 AI 과학자가 인간 과학자처럼 논문을 작성하기를 원할까요? 예를 들어 FunSearch, GNoME 등 이전 AI 시스템은 한때 제한된 분야에서 인상적인 과학적 발견을 내놓았지만 논문을 작성할 수는 없었습니다.

팀은 AI 과학자가 연구 결과를 전파하기 위해 과학 논문을 작성하는 것이 중요하다고 믿습니다. 첫째, 논문 작성은 인간이 배운 내용으로부터 이익을 얻을 수 있는 고도로 해석 가능한 방법을 제공합니다. 둘째, 서면 논문을 검토합니다. 기존 머신러닝 컨퍼런스의 프레임워크를 통해 과학자들은 평가를 표준화할 수 있습니다. 셋째, 현대 과학 탄생 이후 과학 논문은 연구 결과를 전파하는 주요 매체였습니다.

논문은 자연어를 사용하고 플롯과 코드를 포함할 수 있으므로 모든 유형의 과학 연구 및 결과를 유연하게 설명할 수 있습니다. 상상할 수 있는 거의 모든 다른 형식은 일부 데이터나 과학 장르에 묶여 있습니다. 우수한 대안이 나타날 때까지(또는 인공 지능에 의해 발명될 수 있음) 팀은 AI 과학자들이 과학 논문을 작성하도록 교육하는 것이 더 넓은 과학 커뮤니티에 통합되는 데 중요하다고 믿습니다.

그림: AI 과학자가 완전히 독립적으로 생성한 "Adaptive Dual-Scale Denoising" 논문 미리보기. (출처: 논문)

비용 정보

여기의 프레임워크는 변환기 기반 언어 모델링, 신경망 학습 역학, 확산 모델링을 비롯한 기계 학습의 다양한 하위 분야에서 연구를 효율적으로 수행할 수 있을 만큼 유연합니다. 이 시스템은 논문 당 약 15달러의 비용으로 매우 비용 효율적이며 회의 관련 논문을 작성하여 연구를 민주화(접근성 향상)하고 과학적 진보를 가속화하는 능력을 강조합니다.

예를 들어, 연구자들의 AI 과학자에 대한 예비 정성적 분석은 결과 논문이 광범위하게 유익하고 참신할 수 있거나 적어도 향후 연구에 가치 있는 아이디어를 포함할 수 있음을 시사합니다.

팀에서 실험을 위해 AI 과학자에게 할당한 실제 컴퓨팅 양도 현재 기준으로는 매우 적습니다. 특히 일주일에 수백 편의 논문을 생성한 연구원들의 실험 대부분은 단일 8×NVIDIA H100 노드만을 사용하여 실행되었습니다. 검색 범위와 필터링 범위를 대규모로 확대한다면 보다 질 높은 논문이 생산될 수 있을 것입니다.

이 프로젝트에서 AI 과학자를 운영하는 데 드는 비용의 대부분은 LLM API 코딩 및 논문 작성 비용과 관련이 있었습니다. 이에 비해 LLM 검토자를 실행하는 데 드는 비용과 실험을 수행하는 데 필요한 계산 비용은 전체 비용을 줄이기 위해 팀에서 부과한 제약으로 인해 미미했습니다.

물론 AI 과학자가 다른 과학 분야에 적용되거나 대규모 계산 실험에 사용되는 경우 이러한 비용 공유는 향후 변경될 수 있습니다.

개방형 모델과 폐쇄형 모델

생성된 논문을 정량적으로 평가하고 최적화하기 위해 연구원들은 먼저 자동화된 논문 리뷰어를 만들고 검증했습니다. 결과는 아직 최적화의 여지가 많지만 LLM이 상당히 정확한 리뷰를 생성하고 다양한 지표에서 사람과 비슷한 결과를 얻을 수 있음을 보여줍니다.

그래픽: 바이올린 그래프는 AI 과학자 리뷰어가 생성한 논문의 점수 분포를 세 가지 영역과 네 가지 기본 모델에서 보여줍니다. (출처: 논문)

AI 과학자가 생성한 논문에 이 리뷰어를 적용하면 과학자는 사람의 리뷰를 넘어 논문 평가를 확장할 수 있습니다. 연구원들은 Sonnet 3.5가 지속적으로 최고의 논문을 생산했으며, 그 중 일부는 표준 기계 학습 컨퍼런스에서 자동화된 논문 검토자의 승인 임계값을 초과했다는 사실을 발견했습니다.

그러나 팀은 AI 과학자가 Sonnet 3.5와 같은 단일 모델로 선두를 유지할 것이라고 기대할 이유가 없습니다. 연구원들은 개방형 모델을 포함한 모든 최첨단 LLM이 계속해서 개선될 것이라고 믿습니다. LLM 간의 경쟁은 상품화 및 역량을 크게 향상시킬 것입니다.

그림: GPT-4o를 사용하여 ICLR 2022 OpenReview 데이터에 대한 AI 과학자의 논문 검토 프로세스를 평가합니다. (출처: 논문)

이 프로젝트에서 연구원들은 GPT-4o 및 Sonnet을 포함한 다양한 독점 LLM을 연구했을 뿐만 아니라 DeepSeek 및 Llama-3와 같은 개방형 모델의 사용도 탐색했습니다. 개방형 모델은 품질은 약간 낮지만 비용 절감, 가용성 보장, 투명성 향상, 유연성 향상 등 상당한 이점을 갖는 것으로 나타났습니다.

향후 연구원들은 제안된 발견 프로세스를 사용하여 개방형 모델을 사용하는 폐쇄 루프 시스템에서 자체 개선 인공 지능을 생산하는 것을 목표로 합니다.

미래 방향

AI 과학자의 즉각적인 개선에는 차트와 그래프를 더 잘 처리하기 위한 시각적 기능 통합, AI의 출력을 개선하기 위한 인간 피드백과 상호 작용 통합, AI 과학자가 인터넷에서 데이터를 추출할 수 있는 새로운 데이터 및 안전하다면 실험 범위를 자동으로 확장할 수 있습니다.

또한 AI 과학자는 최고의 아이디어를 추적하고 자체 참조 방식으로 자신의 코드에서 직접 작업할 수도 있습니다. 실제로 프로젝트 코드의 대부분은 Aider가 작성했습니다. 프레임워크를 다른 과학 분야로 확장하면 그 영향력이 더욱 확대되어 자동화된 과학적 발견의 새로운 시대를 열 수 있습니다.

결정적으로 향후 작업에서는 보고된 결과에 대한 보다 심층적인 자동 검증을 통해 신뢰성과 환각 문제를 해결해야 합니다. 이는 코드와 실험을 직접 연결하거나 자동화된 검증기가 결과를 독립적으로 재현할 수 있는지 확인함으로써 달성할 수 있습니다.

에필로그

AI 과학자는 기계 학습에서 과학적 발견의 새로운 시대의 시작을 알립니다. AI 에이전트의 혁신적인 이점을 AI 자체의 전체 연구 프로세스에 도입하고 과학자들을 무한한 가능성을 발휘할 수 있는 세계에 더 가깝게 만듭니다. 그리고 저렴한 가격 창의성과 혁신이 세계에서 가장 어려운 문제를 해결하는 세상입니다.

궁극적으로 “우리는 AI 중심 연구자뿐만 아니라 리뷰어, 지역 의장, 전체 회의를 포함하여 전적으로 AI로 구동되는 과학 생태계를 구상합니다. 그러나 우리는 인간 과학자의 역할이 약화될 것이라고 생각하지 않습니다. 새로운 기술에 적응하고 먹이 사슬 위로 올라가면 과학자의 역할이 바뀔 것입니다.”라고 연구원들은 논문에서 말했습니다.

현재 AI 과학자의 반복은 입증된 아이디어(예: 확산 모델링 또는 트랜스포머)를 기반으로 혁신할 수 있는 강력한 능력을 보여주지만, 이러한 시스템이 궁극적으로 진정으로 패러다임을 바꾸는 아이디어를 내놓을 수 있을지 여부는 여전히 열려 있는 질문으로 남아 있습니다.

미래 버전의 AI 과학자가 확산 모델링만큼 영향력 있는 아이디어를 내놓을 수 있을까요, 아니면 다음 Transformer 아키텍처를 생각해 낼 수 있을까요? 기계가 결국 인공 신경망이나 정보 이론만큼 근본적인 개념을 만들어낼 수 있을까요?

"우리는 AI 과학자가 인간 과학자들에게 훌륭한 파트너가 될 것이라고 믿습니다. 하지만 시간이 지나서야 알 수 있을 것입니다."

GitHub 오픈 소스 주소: http://github.com/SakanaAI/AI-Scientist

논문 링크 : https://arxiv.org/abs/2408.06292

참고 내용:

http://sakana.ai/ai-scientist/

https://x.com/SakanaAILabs/status/ 1823178623513239992

https://mp.weixin.qq.com/s/-jjXBJAkdMEyl2JhRgwdaA

위 내용은 최초의 완전 자동화된 과학적 발견 AI 시스템, Transformer 저자 스타트업 Sakana AI, AI 과학자 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!