남자친구와 데이트할 때 언어 모델에 대해 물어봐야 합니까? 성격: 아이디어를 제안하고 메모를 요약하는 GPT-3는 현대의 "과학 연구원"이 되었습니다.

원숭이가 타자기의 키를 무작위로 누르도록 놔두면 셰익스피어의 작품 전체를 타자할 수 있습니다.

문법과 의미를 이해하는 원숭이라면 어떨까요? 대답은 과학적 연구조차도 당신을 위해 이루어질 수 있다는 것입니다!

언어 모델의 발전 속도는 매우 빠릅니다. 몇 년 전만 해도 입력 방법에 따라 입력할 다음 단어만 자동으로 완성할 수 있었지만 오늘날에는 이미 연구자가 과학 논문을 분석하고 작성하고 코드를 생성하는 데 도움이 될 수 있습니다. .

대형 언어 모델(LLM) 교육에는 일반적으로 지원을 위해 대규모 텍스트 데이터가 필요합니다.

2020년 OpenAI는 1,750억 개의 매개변수를 갖춘 GPT-3 모델을 출시했습니다. 이 모델은 시를 쓰고 수학 문제를 풀 수 있으며 GPT-3이 할 수 있는 거의 모든 작업을 오늘날에도 이미 달성했습니다. -3은 여전히 ​​많은 언어 모델을 비교하고 능가할 수 있는 기준선입니다.

GPT-3가 출시된 후 트위터와 기타 소셜 미디어에서 빠르게 열띤 토론이 촉발되었습니다. 이 이상한 "인간과 같은 글쓰기" 방식에 많은 연구자들이 놀랐습니다.

GPT-3의 온라인 서비스가 출시된 후 사용자는 마음대로 텍스트를 입력하고 모델이 다음을 반환하도록 할 수 있습니다. 처리되는 750 단어당 최소 비용은 $0.0004에 불과하며 이는 매우 저렴합니다.

최근 과학과 기술에 관한 Nature 칼럼에 기사가 게재되었습니다. 이러한 언어 모델이 에세이 작성에 도움이 될 뿐만 아니라 "과학적 연구 수행"에도 도움이 될 것이라고는 예상하지 못했습니다!

기계가 당신을 생각하게 하세요

레이캬비크에 있는 아이슬란드 대학교의 컴퓨터 과학자인 하프스테인 에이나르손(Hafsteinn Einarsson)은 다음과 같이 말했습니다. 저는 논문 초록을 수정하는 등 거의 매일 GPT-3를 사용합니다.

Einarsson이 6월 회의에서 사본을 준비할 때 GPT-3가 쓸데없는 수정 제안을 많이 했지만 "초록 시작 부분에서 연구 질문을 더 명확하게 한다"와 같은 도움이 되는 제안도 있었습니다. 그리고 이것은 다른 사람에게 대신 읽어달라고 요청하지 않는 한, 원고를 직접 읽을 때 이런 종류의 문제를 깨닫지 못할 것입니다. 그리고 왜 이 다른 사람은 "GPT-3"이 될 수 없습니까?

언어 모델은 실험 설계를 개선하는 데도 도움이 될 수 있습니다!

또 다른 프로젝트에서 Einarsson은 Pictionary 게임을 사용하여 참가자들 사이의 언어 데이터를 수집하고 싶었습니다.

게임에 대한 설명을 제공한 후 GPT-3는 게임 수정에 대한 몇 가지 제안을 했습니다. 이론적으로 연구자들은 실험 프로토콜에 대한 새로운 시도를 요청할 수도 있습니다.

일부 연구자들은 언어 모델을 사용하여 논문 제목을 생성하거나 텍스트를 더 읽기 쉽게 만듭니다.

스탠포드 대학교 컴퓨터과학과 교수이자 박사과정 학생인 이미나 씨가 사용한 방법은 GPT-3에 프롬프트로 "이 키워드를 사용하여 논문 제목 생성"을 입력하는 것입니다. 여러 제목의 초안을 작성하는 데 도움이 됩니다.

일부 장을 다시 작성해야 하는 경우 이스라엘 텔아비브에 있는 AI21 연구소에서 출시한 인공 지능 작성 보조 도구인 Wordtune도 사용합니다. 그녀는 다시 쓴 문단의 여러 버전을 변환하려면 "다시 쓰기"만 클릭하면 됩니다. 그럼 신중하게 선택하시면 됩니다.

Lee는 또한 GPT-3에게 인생의 몇 가지 제안을 해달라고 요청할 것입니다. 예를 들어, "남자친구를 부모님에게 소개하는 방법"을 물었을 때 GPT-3는 해변에 있는 레스토랑에 갈 것을 제안했습니다.

뉴욕 브루클린에 위치한 기술 스타트업인 Scite의 컴퓨터 과학자인 Domenic Rosati는 생성 언어 모델을 사용하여 자신의 아이디어를 재구성했습니다.

링크: https://cohere.ai/generate

Generate는 캐나다의 NLP 회사인 Cohere에서 개발되었습니다. 모델의 워크플로는 GPT-3과 매우 유사합니다.

메모를 입력하거나 몇 가지 아이디어에 대해 이야기하고 마지막으로 "요약" 또는 "추상적인 개념으로 전환"을 추가하면 모델이 자동으로 생각을 정리하는 데 도움이 됩니다.

왜 직접 코드를 작성해야 할까요?

OpenAI 연구원들은 책, 뉴스 기사, Wikipedia 항목, 소프트웨어 코드를 포함한 대량의 텍스트에 대해 GPT-3를 훈련했습니다.

나중에 팀은 GPT-3가 일반 텍스트처럼 코드를 완성할 수 있다는 것을 알아냈습니다.

연구원들은 코드 공유 플랫폼 GitHub에서 150G가 넘는 텍스트에 대해 훈련된 Codex라는 알고리즘의 미세 조정된 버전을 만들었습니다. 이제 GitHub는 사용자의 코드 작성을 지원하기 위해 Codex를 Copilot 서비스에 통합했습니다.

워싱턴주 시애틀에 있는 Allen Institute for Artificial Intelligence 산하 AI2의 컴퓨터 과학자인 Luca Soldaini는 사무실에 있는 직원 중 적어도 절반이 Copilot을 사용하고 있다고 말합니다.

Soldaini는 Copilot이 반복 프로그래밍에 가장 적합하다고 말했습니다. 시나리오. 예를 들어, 그의 프로젝트 중 하나는 PDF 처리를 위한 템플릿 코드 작성과 관련이 있었고 Copilot은 이를 직접 완료했습니다.

그러나 Copilot의 완성 콘텐츠는 실수를 하는 경우가 많기 때문에 익숙한 언어로 사용하는 것이 가장 좋습니다.

문헌 검색

아마도 언어 모델의 가장 성숙한 적용 시나리오는 문서를 검색하고 요약하는 것입니다.

AI2가 개발한 Semantic Scholar 검색 엔진은 TLDR 언어 모델을 사용하여 각 논문에 대해 트위터와 같은 설명을 제공합니다.

검색 엔진은 주로 생물 의학 및 컴퓨터 과학 분야의 약 2억 개의 논문을 다루고 있습니다.

TLDR은 Meta가 이전에 출시한 BART 모델을 기반으로 개발되었으며, AI2 연구원은 사람이 작성한 요약을 기반으로 모델을 미세 조정했습니다.

오늘날의 표준으로 볼 때 TLDR은 약 4억 개의 매개변수만 포함하는 반면 GPT-3의 가장 큰 버전에는 1,750억 개의 매개변수가 포함되어 있으므로 대규모 언어 모델이 아닙니다.

TLDR은 AI2에서 개발한 확장된 과학 논문 애플리케이션인 Semantic Reader에서도 사용됩니다.

사용자가 Semantic Reader에서 텍스트 내 인용을 사용하면 TLDR 요약이 포함된 정보 상자가 나타납니다.

Semantic Scholar의 수석 과학자인 Dan Weld는 언어 모델을 사용하여 읽기 경험을 향상시키는 것이 우리의 아이디어라고 말했습니다.

언어 모델이 텍스트 요약을 생성할 때 모델은 기사에 존재하지 않는 몇 가지 사실을 생성할 수 있습니다. 연구자들은 이 문제를 "환상"이라고 부르지만 실제로는 언어 모델이 단순히 꾸며내거나 거짓말을 하는 것입니다.

TLDR은 진위성 테스트에서 더 나은 성능을 보였습니다. 논문 작성자는 TLDR의 정확도를 2.5점(3점 만점)으로 평가했습니다.

Weld는 요약의 길이가 약 20단어에 불과하고 아마도 알고리즘이 본문에 나타나지 않는 단어를 요약에 넣지 않기 때문에 TLDR이 더 현실적이라고 말했습니다.

검색 도구 측면에서 캘리포니아주 샌프란시스코에 있는 기계 학습 비영리 조직인 Ought는 2021년에 Elicit를 출시했습니다. 사용자가 "마음챙김이 의사 결정에 미치는 영향은 무엇입니까?"라고 묻는다면 10개의 논문이 포함된 테이블을 출력합니다.

사용자는 소프트웨어에 초록 및 메타데이터와 같은 항목은 물론 연구 참가자, 방법 및 결과에 대한 정보로 열을 채우도록 요청한 다음 GPT-3를 포함한 도구를 사용하여 데이터를 추출할 수 있습니다. 이 정보를 추출하거나 생성합니다.

Joel Chan의 연구 방향은 University of Maryland, College Park에서 인간-컴퓨터 상호 작용입니다. 그는 새 프로젝트를 시작할 때마다 Elicit를 사용하여 관련 논문을 검색합니다.

스톡홀름에 있는 Karolinska Institute의 신경과학자 Gustav Nilsonne도 Elicit를 사용하여 다른 검색에서 찾을 수 없는 문서를 찾는 도구를 사용하여 풀링된 분석에 추가할 수 있는 데이터가 포함된 논문을 찾았습니다.

Evolving Models

AI2의 프로토타입은 LLM에 미래 지향적인 느낌을 줍니다.

연구자들이 과학 논문의 초록을 읽은 후 질문이 있지만 아직 전체 텍스트를 읽을 시간이 없는 경우가 있습니다.

AI2 팀은 NLP 분야에서 이러한 질문에 답할 수 있는 도구도 개발했습니다.

모델은 먼저 연구원들에게 NLP 논문의 초록을 읽도록 요청한 다음 관련 질문(예: "어떤 다섯 가지 대화 속성이 분석되었습니까?")을 묻습니다.

그 후 연구팀은 다른 연구원들에게 답변을 요청했습니다. 이 질문들 전체를 읽어보세요.

AI2는 전체 논문을 입력으로 사용하여 Longformer 언어 모델의 또 다른 버전을 학습한 다음 수집된 데이터 세트를 사용하여 다른 논문에 대한 다양한 질문에 대한 답변을 생성했습니다.

ACCoRD 모델은 NLP와 관련된 150가지 과학적 개념에 대한 정의와 유추를 생성할 수 있습니다.

MS2는 470,000개의 의료 문서와 20,000개의 다중 문서 요약을 포함하는 데이터 세트입니다. MS2로 BART를 미세 조정한 후 연구원들은 질문과 문서 세트를 제시하고 짧은 메타 분석 요약을 생성할 수 있었습니다.

2019년 AI2는 Google이 2018년에 만든 언어 모델인 BERT를 미세 조정하고 Semantic Scholar의 논문을 기반으로 1억 1천만 개의 매개 변수로 SciBERT를 만들었습니다.

Scite는 인공 지능을 사용하여 과학적인 검색 엔진을 만들었습니다. SciBERT를 미세 조정하여 검색 엔진이 대상 논문을 인용한 논문을 나열할 때 해당 논문을 해당 논문을 뒷받침하거나 대조하거나 언급하는 것으로 분류합니다.

Rosati는 이러한 뉘앙스가 사람들이 과학 문헌의 한계나 격차를 식별하는 데 도움이 된다고 말했습니다.

AI2의 SPECTER 모델은 논문을 간결한 수학적 표현으로 단순화하는 SciBERT를 기반으로 합니다.

Weld는 컨퍼런스 주최자가 SPECTER를 사용하여 제출된 논문을 피어 리뷰어와 일치시키고 Semantic Scholar는 이를 사용하여 사용자의 라이브러리를 기반으로 논문을 추천한다고 말했습니다.

히브리 대학과 AI2의 컴퓨터 과학자인 Tom Hope는 효과적인 약물 조합, 유전자와 질병 사이의 연관성, 코로나19 연구의 과학적 과제와 방향을 식별하기 위해 언어 모델을 미세 조정하는 연구 프로젝트를 진행하고 있다고 말했습니다.

하지만 언어 모델이 더 깊은 통찰력이나 발견 기능을 제공할 수 있을까요?

5월에 Hope and Weld는 Microsoft 최고 과학 책임자인 Eric Horvitz와 함께 "두 개념 재결합의 결과"에 대한 교육 모델을 포함하여 이 목표를 달성하기 위한 과제를 설명하는 논평을 공동 집필했습니다.

Hope는 이것이 OpenAI의 DALL·E 2 이미지 생성 모델 "우주로 날아가는 고양이 그림 생성"과 기본적으로 동일하다고 말했는데, 추상적이고 매우 복잡한 과학적 개념을 결합하는 방향으로 어떻게 나아갈 수 있을까요?

이것은 공개 질문입니다.

오늘날 대규모 언어 모델은 연구에 실질적인 영향을 미쳤으며, 사람들이 작업을 지원하기 위해 이러한 대규모 언어 모델을 사용하기 시작하지 않았다면 이러한 기회를 놓칠 것입니다.

참고자료:

https://www.nature.com/articles/d41586-022-03479-w

위 내용은 남자친구와 데이트할 때 언어 모델에 대해 물어봐야 합니까? 성격: 아이디어를 제안하고 메모를 요약하는 GPT-3는 현대의 "과학 연구원"이 되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!