주의가 필요 없는 사전 학습, GPT를 통한 상황별 학습

논문 1: ClimateNeRF: 극한 기후 합성을 위한 물리적 기반 신경 렌더링

• 저자: Yuan Li et al
• 논문 주소: https://arxiv.org/pdf/2211.13226 .pdf

요약: 이 문서에서는 장면의 NeRF 모델과 물리적 시뮬레이션을 융합하여 이러한 장면의 물리적 현상에 대한 사실적인 영화를 생성하는 새로운 방법을 소개합니다. 구체적인 결과를 보면, 이 방법은 기후 변화로 인해 발생할 수 있는 영향을 현실적으로 시뮬레이션할 수 있습니다. 소규모 홍수 이후 놀이터는 어떤 모습일까요? 대홍수 이후에는 어떻습니까? 눈보라가 지나간 후에는 어떻습니까?

추천: 안개가 자욱하고, 겨울이고, 1초 만에 물에 잠기는 새로운 NeRF 모델은 사실적인 물리적 블록버스터를 렌더링합니다.

문서 2: 주의 없이 사전 훈련

• 저자: Junxiong Wang 외
• 논문 주소: https://arxiv.org/pdf/2212.10544.pdf

요약: 본 논문에서는 SSM(State Space Model) 기반 라우팅 레이어와 곱셈 게이트 기반 모델 아키텍처를 결합하여 BERT 사전 학습 결과를 사용하지 않고 복제하는 BiDirectional Gated SSM(BiGS) 모델을 제안합니다. 근사할 필요 없이 4096개 토큰의 장거리 사전 훈련으로 확장될 수 있습니다.

권장 사항: 사전 교육에는 주의가 필요하지 않으며 BERT와 마찬가지로 4096개 토큰으로 확장하는 것도 문제가 되지 않습니다.

문서 3: 모두 편집할 수 있는 단일 모델: 의미론적 변조를 사용한 자유 형식 텍스트 기반 이미지 조작

• 저자: Yiming Zhu 외
• 논문 주소: https: / /arxiv.org/pdf/2210.07883.pdf

요약: 최근 텍스트를 사용하여 이미지 편집을 안내하는 것은 특히 StableDiffusion 또는 DALLE와 같은 노이즈 제거 확산 모델을 기반으로 큰 진전과 관심을 얻었습니다. 그러나 GAN 기반 텍스트 이미지 편집에는 아직 해결되지 않은 몇 가지 문제가 있습니다. 예를 들어 기존 StyleCILP에서는 각 텍스트에 대해 모델을 학습해야 합니다. 이러한 단일 텍스트 대 단일 모델 접근 방식은 실제로 불편합니다. 응용 프로그램.

이 기사에서는 FFCLIP을 제안하고 이 문제를 해결합니다. 유연한 다양한 텍스트 입력을 위해 FFCLIP은 각 텍스트에 대해 모델을 재교육할 필요 없이 그에 따라 이미지를 편집하기 위해 하나의 모델만 필요하며 모두 매우 훌륭하게 달성되었습니다. 결과. 이 기사는 NeurIPS 2022에 승인되었습니다.

추천: 텍스트 및 그림 편집을 위한 새로운 패러다임인 단일 모델은 다중 텍스트 안내 이미지 편집을 실현합니다.

문서 4: SELF-INSTRUCT: 자체 생성 지침에 맞게 언어 모델 정렬

• 저자: Yizhong Wang 외
• 논문 주소: https://arxiv.org/pdf / 2212.10560v1.pdf

요약: 워싱턴 대학과 기타 기관은 최근 공동으로 논문을 발표하여 모델의 언어 모델을 안내하여 사전 훈련된 언어 모델의 명령 준수를 향상시키는 새로운 프레임워크 SELF-INSTRUCT를 제안했습니다. 자신의 세대 능력. SELF-INSTRUCT는 모델 자체의 명령 신호를 사용하여 사전 훈련된 LM에서 명령 튜닝을 수행하는 반자동 프로세스입니다.

권장 사항: 수동 주석이 필요 없으며 자체 생성된 지침 프레임워크가 ChatGPT와 같은 LLM의 비용 병목 현상을 해결합니다. I 논문 5: 신경망을 통한 실제 고체의 AB Initio 계산 Ansatz

저자: xiang Li 외

• 논문 주소: https://www.nature.com/articles /s41467-022-35627-1
• 요약:
머신 러닝은 대규모 데이터를 처리하고, 복잡한 시나리오에서 과학적 문제를 해결하고, 과거에 접근할 수 없었던 새로운 영역으로 과학적 탐구를 이끌 수 있습니다. 예를 들어 DeepMind는 인공 지능 소프트웨어 AlphaFold를 사용하여 과학계에 알려진 거의 모든 단백질 구조를 매우 정확하게 예측합니다. Christian Lagemann이 제안한 딥 러닝 기반 입자 이미지 속도 측정법(PIV)은 원래의 순수 수동 설정을 크게 개선했습니다. 모델의 적용 범위는 자동차, 항공우주, 생물의학공학 등 다양한 분야의 연구에 매우 중요합니다.

최근 ByteDance AI Lab 연구팀과 베이징 대학교 물리학과 Chen Ji 연구 그룹의 "신경망 ansatz를 통한 실제 고체의 기본 계산" 작업은 응집 물질 물리학 연구에 새로운 아이디어를 제공했습니다. 제안된 작업은 업계 최초로 고체계에 적합한 신경망 파동함수를 개발하고, 고체의 제1원리 계산을 실현하고, 계산 결과를 열역학적 한계까지 끌어올렸습니다. 이는 신경망이 고체 물리학을 연구하는 데 효율적인 도구라는 점을 강력히 입증하고, 응집 물질 물리학에서 딥 러닝 기술이 점점 더 중요한 역할을 하게 될 것임을 나타냅니다. 관련 연구 결과는 국제 최고 학술지 네이처 커뮤니케이션(Nature Communication) 2022년 12월 22일자에 게재됐다.

추천: 업계 최초로 고체 시스템에 적합한 신경망 파동 함수가 Nature 하위 저널에 게재되었습니다.

문서 6: GPT가 상황에 맞게 학습할 수 있는 이유는 언어 모델이 메타 최적화자로 비밀리에 경사하강법을 수행할 수 있기 때문입니다.

저자: Damai Dai 외

• 논문 주소: https: / /arxiv.org/pdf/2212.10559v2.pdf
• 요약:
In-Context Learning(ICL)은 사전 훈련된 대규모 언어 모델에서 큰 성공을 거두었지만 작동 메커니즘은 여전히 ​​미해결 문제입니다. 질문. 이 기사에서 Peking University, Tsinghua University 및 Microsoft의 연구원들은 ICL을 일종의 암시적 미세 조정으로 이해하고 ICL과 명시적 미세 조정이 여러 수준에서 유사하게 수행된다는 것을 증명하는 경험적 증거를 제공합니다.

추천: GPT를 기반으로 하는 상황 내 학습이 작동하는 이유는 무엇인가요? 모델은 경사하강법을 비밀리에 수행합니다.

논문 7: 비고전적 뇌 기능의 실험적 표시

저자: Christian Matthias Kerskens et al

• 논문 주소: https://iopscience.iop.org/article / 10.1088/2399-6528/ac94be
• 요약:
수십 년 동안 과학자들은 인간 두뇌의 컴퓨팅 및 사고 메커니즘을 탐구해 왔습니다. 그러나 인간의 뇌 구조는 수조 개의 칩에 해당하는 수백억 개의 뉴런을 포함하고 있어 너무 복잡해서 우리가 알아내기가 어렵습니다. 블랙홀 연구에 기여한 공로로 노벨 물리학상을 받은 로저 펜로즈는 한때 '양자 의식', 즉 인간의 뇌 자체가 양자 구조, 즉 양자 컴퓨터라는 개념을 과감하게 제안한 바 있다. 그러나 이러한 견해는 항상 의문을 제기해 왔습니다.

더블린 트리니티 대학교의 최근 연구에서는 의식과 관련된 뇌 기능에 의해 중재되는 인간의 뇌에 얽힘이 있다고 주장하면서 우리의 뇌가 양자 계산을 수행한다고 제안합니다. 이러한 뇌 기능이 비고전적인 방식으로 작동해야 한다면 이는 의식이 비고전적이라는 것을 의미합니다. 즉, 뇌의 인지 과정에는 양자 계산이 포함됩니다.

추천: 뇌의 사고는 양자 컴퓨팅이며, 이 추측에 대한 새로운 증거가 있습니다.

ArXiv 주간 라디오 방송국

Heart of the Machine은 Chu Hang과 Luo Ruotian이 시작한 ArXiv Weekly Radiostation과 협력하여 NLP, CV, ML 분야에서 선정된 10편의 논문을 포함한 7편의 논문을 바탕으로 이번 주에 더 중요한 논문을 선정하고 오디오를 제공합니다. 형식 논문 요약, 세부 사항은 다음과 같습니다:

10 NLP PapersAudio: 00:0020:18​

10개의 NLP 특집 이번 주 논문 예:

1. 비지도 문법 유도에 픽셀이 필요한가요?(Serge Belongie, Kilian Q. Weinberger, Jitendra Malik, Trevor Darrell)

2. 측정 및 제로 샷 디바이어스(Bernhard Schölkopf 제공)

3. 이미지를 통한 모호성 해결: 향상된 다중 모드 기계 번역 및 대조 평가(Cordelia Schmid, Ivan Laptev 제공)

4. 비전을 위한 정규화 - 언어 관계 정렬(Ruslan Salakhutdinov, Louis-Philippe Morency)

5. 번역 품질 추정을 위한 병렬 데이터 사용에 관한 내용(Dacheng Tao)

6. 오류 분석을 통한 인간과 같은 평가를 향하여(from Dacheng Tao)

7. 현재의 작업 중심 대화 모델이 실제 상황을 자동화할 수 있습니까?(조경현에서). 8. 텍스트 생성을 위한 모델 기반 평가 지표의 사각지대에 대하여(조경현 작성)

9. 대조 학습을 넘어서: 다국어 검색을 위한 변형 생성 모델(William W. Cohen 작성)

10. 퓨샷 추론을 위한 상황 내 학습에 대한 상징적 표현의 영향(Li Erran Li, Eric Xing에서)

10 CV Papers

Audio:

00:0023:15 ​이번 주에 선정된 10개의 CV 논문은 다음과 같습니다.

1. 적대적 견고성을 위한 잔여 네트워크 재검토: 아키텍처 관점(Kalyanmoy Deb에서)

2. 공간 벤치마킹 al 텍스트-이미지 생성의 관계(Eric Horvitz 작성)

3. 원격 사람 인식에 대한 간략한 조사(Rama Chellappa 작성)

4. 포괄적인 시각적 은유 연구를 향하여. (Rama Chellappa에서) Leonidas Guibas, William T. Freeman에서 7. Hi-LASSIE: 희소 이미지 앙상블의 고충실도 관절 모양 및 골격 발견(Ming-Hsuan Yang 제공)

8 반지도형 3D 개체 감지를 위한 학습 개체 수준 포인트 증강 도구(Ming 제공) -Hsuan Yang)

9. 픽셀 수준에서 시각적 자극의 힘을 발휘합니다(Alan Yuille에서)

10. 이미지에서 텍스트 프롬프트까지: 고정된 대형 언어 모델을 사용한 제로샷 VQA.  (Dacheng Tao, Steven C.H. Hoi에서)

위 내용은 주의가 필요 없는 사전 학습, GPT를 통한 상황별 학습의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!