CoRL 2022 우수 논문, 언어 모델이 자연에서 발견되지 않는 단백질 생성

목차​

1. 언어 모델은 천연 단백질 이상을 일반화합니다.
2. 생성 단백질 설계를 위한 고급 프로그래밍 언어
3. DOC: 자세한 개요를 사용하여 긴 스토리 일관성 향상 트로
4. 변환기를 사용한 확장 가능한 확산 모델
5. Point-E: 복잡한 프롬프트에서 3D 포인트 클라우드를 생성하는 시스템
6. 젊은 후생 유전 정보를 복구하고 시력을 복원하기 위한 재프로그래밍
7. 로봇 평가를 위한 로봇 훈련 들: 예제 - 정책 학습을 위한 대화형 보상 기능
8. ArXiv Weekly Radiostation: NLP, CV, ML 더 많은 선택된 논문(오디오 포함)

논문 1: 천연 단백질을 넘어 일반화되는 언어 모델​

• 저자: Robert Verkuil, Ori Kabeli 등
• 논문 주소: https://www.biorxiv.org/content/10.1101/2022.12.21.521521v1.full.pdf

Abstract: 연구자들은 두 가지 단백질 설계 작업, 즉 특정 구조의 고정 백본 설계와 모델에서 샘플링된 구조의 무제한 생성에 중점을 둡니다. 언어 모델은 시퀀스에 대해서만 훈련되었지만 연구에서는 구조를 설계할 수 있다는 사실을 발견했습니다. 본 연구의 실험 결과에서는 총 228개의 단백질이 생성되었으며, 설계 성공률은 152/228(67%)이었다.

실험적으로 성공한 152개의 디자인 중 35개는 알려진 천연 단백질과 확실한 서열 일치가 없었습니다.

고정 백본 설계의 경우 언어 모델은 실험적으로 평가된 인간이 만든 고정 백본 표적 8개에 대한 단백질 설계를 성공적으로 생성했습니다.

제약되지 않은 생성의 경우 샘플링된 단백질은 다양한 토폴로지와 2차 구조 구성을 포괄하므로 71/129(55%)의 높은 실험 성공률을 얻습니다.

아래 그림 1은 ESM2 모델에 의한 단백질 설계의 전반적인 과정입니다.

Recommendation: 이번 연구에서는 ESM2 언어 모델이 학습을 통해 천연 단백질이 아닌 새로운 단백질을 생성할 수 있음을 발견했습니다. 깊은 문법.

논문 2: 생성 단백질 설계를 위한 고급 프로그래밍 언어​

• 저자: Brian Hie, Salvatore Candido 등
• 논문 주소: https://www .biorxiv .org/content/10.1101/2022.12.21.521526v1.full.pdf

Abstract: FAIR 연구원은 모듈성과 프로그래밍 가능성에서 시작하여 두 가지를 더 높은 수준의 추상화, 단백질 설계에 배치합니다. 상위 수준 명령어를 재조립한 다음 생성된 모델에서 명령어를 실행해야 합니다.

단백질 설계 생성을 위해 제안된 프로그래밍 언어를 사용하면 설계자는 직관적이고 모듈식이며 계층화된 절차를 지정할 수 있습니다. 프로그래밍 언어에는 먼저 터미널 기호(즉, 트리의 잎)와 비터미널 기호(즉, 트리의 내부 노드)로 구성된 구문 트리(그림 1A)가 필요합니다. 전자는 고유한 단백질에 해당합니다. 서열(단백질에서 반복될 수 있음), 후자는 계층적 구성을 지원합니다.

또한 에너지 기반 발전 모델이 필요합니다. 첫째, Protein Designer는 계층적으로 구성된 일련의 제약 조건으로 구성된 상위 수준 프로그램을 지정합니다(그림 1A). 그런 다음 프로그램은 임의적이고 미분할 수 없는 제약 조건과의 호환성을 평가하는 데 사용되는 에너지 함수로 컴파일됩니다(그림 1B). 마지막으로 원자 수준 구조 예측(언어 모델 지원)을 에너지 함수에 통합함으로써 수많은 복잡한 단백질 디자인을 생성할 수 있습니다(그림 1C).

Recommended: 복잡한 모듈식 단백질 구조를 프로그래밍 방식으로 생성합니다.

문서 3: DOC: 자세한 개요 제어를 통한 긴 이야기 일관성 향상

• 저자: Kevin Yang, Dan Klein 등
• 논문 주소: https:// /ar xiv .org/pdf/2212.10077.pdf

Abstract: 얼마 전 인간의 글쓰기 과정을 모방한 언어 모델인 Re^3가 출시되었습니다. 이 모델은 미세 조정이 필요하지 않습니다. 대형 모델이지만 강력한 스토리를 디자인하여 일관성을 생성합니다.

이제 연구팀은 스토리 생성을 위한 새로운 모델 DOC를 제안했습니다. 논문의 저자인 Kevin Yang과 Tian Yuandong도 트위터에 DOC 모델을 홍보하기 위해 게시하면서 DOC에서 생성된 스토리는 Re^3에서 생성된 스토리보다 더 일관되고 흥미롭다고 말했습니다.

DOC 프레임워크는 수천 단어로 구성된 긴 스토리를 자동으로 생성할 때 플롯 일관성을 향상시키는 데 사용되는 세부 개요 제어를 의미합니다. DOC는 세부 아웃라이너와 세부 컨트롤러라는 두 가지 보완 구성 요소로 구성됩니다.

상세 아웃라이너는 글쓰기 아이디어를 초안 작성 단계에서 기획 단계까지 이동시키는 상세하고 계층적으로 구조화된 개요를 작성하는 역할을 담당합니다. 세부 컨트롤러는 스토리 단락과 개요 세부 사항의 정렬을 제어하여 생성된 결과가 세부 개요를 따르도록 보장합니다.

이 연구에서는 스토리를 자동으로 생성하는 모델의 능력을 수동으로 평가했으며, DOC는 플롯 일관성(22.5%), 개요 관련성(28.2%), 관심도(20.7%) 등 여러 지표에서 상당한 이득을 얻었습니다. 이는 Re^3 모델보다 훨씬 좋습니다. 또한 DOC는 대화형 빌드 환경에서 제어하기가 더 쉽습니다.

Recommendation: Tian Yuandong 및 기타 독창적인 팀원의 또 다른 새로운 작업: AI는 긴 이야기를 생성하고 수천 단어로 구성된 긴 기사는 일관되고 흥미로울 수 있습니다.

문서 4: 변압기를 사용한 확장 가능한 확산 모델

• 저자: William Peebles , Xie Saining
• 문서 주소: https://arxiv.org/pdf/2212.0 9748.pdf

Abstract: 이 기사에서는 UC Berkeley의 William Peebles와 New York University의 Xie Saining이 "Scalable Diffusion Models with Transformers"를 썼습니다. 목표는 확산 모델에서 아키텍처 선택의 중요성을 밝히고 정보를 제공하는 것입니다. 미래의 생성 모델 연구를 위한 경험 기준. 이 연구는 U-Net 유도 바이어스가 확산 모델의 성능에 중요하지 않으며 변압기와 같은 표준 설계로 쉽게 대체될 수 있음을 보여줍니다.

이 연구는 새로운 종류의 변압기 기반 확산 모델인 확산 변압기(줄여서 DiT)에 중점을 둡니다. DiT는 ViT(Vision Transformers)의 모범 사례를 따르며 몇 가지 작지만 중요한 조정이 이루어졌습니다. DiT는 ResNet과 같은 기존 컨볼루션 네트워크보다 더 효율적으로 확장되는 것으로 나타났습니다.

구체적으로 이 문서에서는 네트워크 복잡성 및 샘플 품질 측면에서 Transformer의 확장 동작을 연구합니다. 이 연구는 확산 모델이 VAE의 잠재 공간 내에서 학습되는 LDM(잠재 확산 모델) 프레임워크에서 DiT 설계 공간을 구축하고 벤치마킹함으로써 U-Net 백본을 변압기로 성공적으로 대체할 수 있음을 보여줍니다. 이 문서에서는 DiT가 확산 모델을 위한 확장 가능한 아키텍처임을 추가로 보여줍니다. 네트워크 복잡성(Gflops로 측정)과 샘플 품질(FID로 측정) 사이에는 강한 상관 관계가 있습니다. 간단히 DiT를 확장하고 대용량 백본(118.6Gflops)으로 LDM을 교육함으로써 클래스 조건부 256 × 256 ImageNet 생성 벤치마크에서 2.27 FID의 최첨단 결과를 얻을 수 있습니다.

Recommendation: 확산 모델을 지배하는 U-Net이 Transformer를 도입하고 DiT를 제안했습니다.

문서 5: Point-E: 복잡한 프롬프트에서 3D 포인트 클라우드 생성을 위한 시스템​

• 저자: Alex Nichol, 전희우 외.
• 논문 주소: https :/ /arxiv.org/abs/2212.08751

Abstract: OpenAI의 오픈 소스 3D 모델 생성기 Point-E는 AI계에 새로운 열풍을 일으켰습니다. 오픈 소스 콘텐츠와 함께 출판된 논문에 따르면 Point-E는 단일 Nvidia V100 GPU에서 1~2분 안에 3D 모델을 생성할 수 있습니다. 이에 비해 Google의 DreamFusion과 같은 기존 시스템은 일반적으로 몇 시간과 여러 GPU가 필요합니다.

Point-E는 전통적인 의미의 3D 이미지를 출력하지 않고, 포인트 클라우드 또는 3D 모양을 나타내는 공간의 개별 데이터 포인트 세트를 생성합니다. Point-E의 E는 "효율성"을 의미합니다. 이는 이전 3D 개체 생성 방법보다 빠르다는 의미입니다. 포인트 클라우드는 계산 관점에서 합성하기가 더 쉽지만, 현재 Point-E의 주요 한계인 개체의 세밀한 모양이나 질감을 캡처할 수 없습니다.

이 문제를 해결하기 위해 OpenAI 팀은 Point-E의 포인트 클라우드를 메시로 변환하는 추가 인공 지능 시스템을 훈련했습니다.

Recommended: 3차원 텍스트-이미지 AI는 OpenAI를 통해 1분 이내에 단일 GPU가 출시됩니다.

논문 6: 젊은 후생유전학적 정보를 복구하고 시력을 회복하기 위한 재프로그래밍​

• 저자: Yuancheng Lu, Benedikt Brommer
• 논문 주소: https://www.nature.com /articles/s41586-020-2975-4

Abstract: 2020년 12월 2일, 최고의 과학 저널 "Nature"의 표지에 몇 가지 놀라운 단어가 등장했습니다: "Turning Back" Time"(turning Back) 과거).

표지에 대한 연구는 하버드 의과대학 종신 교수인 David Sinclair 팀이 진행했습니다. 기사의 길이는 몇 페이지에 불과하지만 유전자 치료를 사용하여 신경절 세포의 재프로그래밍을 유도하고 젊은 후성 유전 정보를 복원하여 손상된 후 시신경을 재생하고 녹내장과 노화로 인한 시력을 되돌릴 수 있다는 새로운 전망을 보여줍니다. .

David Sinclair는 팀의 연구 목표는 항상 증상보다는 원인을 해결하여 인간의 노화를 늦추고 역전시키며 질병을 치료하는 것이라고 말했습니다.

이 2020년 연구를 바탕으로 David Sinclair 팀은 "REVIVER"라는 연령 역전 기술을 사용하여 인간이 아닌 영장류를 대상으로 테스트하여 쥐와 같은 실명을 치료할 수 있는지 확인하고 있습니다.

David Sinclair와 그가 이끄는 60명으로 구성된 팀의 최신 연구에서는 노화가 CD의 긁힌 자국처럼 지워질 수 있거나 시스템의 소프트웨어가 손상되어 간단히 재설치하면 되돌릴 수 있다고 말했습니다. "수명"이라는 책에서 언급한 바와 같습니다.

예판 논문에서 저자는 모든 생명체는 시간이 지남에 따라 유전 정보를 상실하고 점차적으로 세포 기능을 상실한다고 명시했습니다. 연구자들은 ICE(후성유전체의 유도성 변화용)로 알려진 유전적으로 변형된 마우스 시스템을 사용하여 비돌연변이성 DNA 손상을 복구하는 과정이 노화와 관련된 생리적, 인지적, 분자적 변화(발현 포함)를 가속화한다는 것을 입증했습니다. 유전적 침식, 세포 손실 관찰 능력, 세포 노화 등

연구원들은 이소성 발현을 통한 후성유전적 재프로그래밍이 젊은 유전자 발현 패턴을 복원할 수 있다고 말합니다.

추천: 노화를 역전시키는 연구.

문서 7: 로봇 평가를 위한 로봇 교육: 정책 학습을 위한 예제 기반 대화형 보상 기능​

• 저자: Kun Huang, Edward Hu, Dinesh Jayaraman
• 논문 주소: https://openreview.net/pdf?id=sK2aWU7X9b8

Abstract: 종종 물리적 상호작용은 테이블 다리를 당겨서 테이블 다리가 안정적인지 또는 회전하는지 평가하는 등 덜 명확한 정보를 드러내는 데 도움이 됩니다. 물병이 새는지 확인하기 위해 물병을 거꾸로 뒤집는 경우, 연구에서는 로봇이 기술을 수행하려는 시도의 결과를 평가하도록 로봇을 훈련함으로써 이러한 상호 작용 동작을 자동으로 획득할 수 있다고 제안합니다. 이러한 평가는 테이블 다리 조이기 등의 목표 기술을 수행하기 위한 강화 학습 정책을 훈련하는 데 사용되는 IRF(대화형 보상 함수) 역할을 합니다. 또한 IRF는 전체 교육이 완료된 후에도 온라인 작업 실행을 개선하기 위한 검증 메커니즘 역할을 할 수 있습니다. 특정 작업에 대해 IRF 교육은 매우 편리하며 추가 사양이 필요하지 않습니다.

평가 결과에 따르면 IRF는 상당한 성능 향상을 달성할 수 있으며 데모 또는 신중하게 만들어진 보상에 대한 액세스를 통해 기준선을 능가할 수도 있습니다. 예를 들어, 아래 그림에서 로봇은 먼저 문을 닫은 다음 대칭형 문 손잡이를 돌려 문을 완전히 잠가야 합니다.

위 내용은 CoRL 2022 우수 논문, 언어 모델이 자연에서 발견되지 않는 단백질 생성의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!