수학적 추론은 인간 지능의 핵심 표현으로, 수치 데이터와 언어를 기반으로 이해하고 결정을 내릴 수 있게 해줍니다. 수학적 추론은 과학, 공학, 금융, 일상생활 등 다양한 분야에 적용되며, 패턴 인식, 숫자 분석 등의 기본 기술부터 문제 해결, 논리적 추론, 추상적 사고 등 고급 기술까지 다양한 능력을 포괄합니다.
수학적 문제를 해결하고 수학적 정리를 증명할 수 있는 AI 시스템을 개발하는 것은 오랫동안 기계 학습 및 자연어 처리 분야의 연구 초점이었습니다. 이 역시 1960년대로 거슬러 올라간다.
딥러닝이 등장한 이후 지난 10년 동안 이 분야에 대한 사람들의 관심이 크게 높아졌습니다.
그림 1: 매년 출판되는 수학적 추론에 관한 딥러닝 논문의 예상 수 수량 . 2018년부터 이 분야는 급속한 성장을 경험했습니다.
딥 러닝은 질문 응답, 기계 번역 등 다양한 자연어 처리 작업에서 큰 성공을 거두었습니다. 마찬가지로 연구자들은 수학적 추론을 위한 다양한 신경망 방법을 개발해 왔으며 이는 단어 문제, 정리 증명, 기하학적 문제 해결과 같은 복잡한 작업을 처리하는 데 효과적인 것으로 입증되었습니다. 예를 들어, 딥러닝 기반 애플리케이션 문제 해결사는 시퀀스-투-시퀀스 프레임워크를 채택하고 어텐션 메커니즘을 중간 단계로 사용하여 수학적 표현식을 생성합니다. 또한 대규모 말뭉치 및 Transformer 모델을 통해 사전 훈련된 언어 모델은 다양한 수학적 작업에서 유망한 결과를 얻었습니다. 최근 GPT-3과 같은 대규모 언어 모델은 복잡한 추론 및 상황별 학습에서 인상적인 기능을 보여줌으로써 수학적 추론 분야를 더욱 발전시켰습니다.
최근 발표된 보고서에서 UCLA 및 기타 기관의 연구자들은 수학적 추론에서 딥러닝의 진행 상황을 체계적으로 검토했습니다.
논문 링크: https://arxiv.org/pdf/2212.10535.pdf
프로젝트 주소: https://github.com/lupantech/dl4math
특정 특히 이 논문에서는 다양한 작업과 데이터 세트(섹션 2)에 대해 논의하고 수학 분야의 신경망(섹션 3) 및 사전 훈련된 언어 모델(섹션 4)의 발전을 검토합니다. 수학적 추론에서 대규모 언어 모델의 상황별 학습의 급속한 발전도 탐구됩니다(섹션 5). 이 기사에서는 기존 벤치마크를 추가로 분석하고 다중 모드 및 저자원 환경에 대한 관심이 덜하다는 사실을 발견했습니다(섹션 6.1). 증거 기반 연구에 따르면 현재의 컴퓨팅 기능 표현은 부적절하고 딥러닝 방법은 수학적 추론과 일치하지 않는 것으로 나타났습니다(6.2절). 그런 다음 저자는 일반화 및 견고성, 신뢰할 수 있는 추론, 피드백을 통한 학습 및 다중 모드 수학적 추론 측면에서 현재 작업의 개선 사항을 제안합니다(섹션 7).
이 섹션에서는 딥 러닝 방법을 사용하여 수학적 추론을 연구하는 데 현재 사용할 수 있는 다양한 작업과 데이터 세트를 검토합니다(표 2 참조).
단어 문제(수학 단어 문제)
단어 문제에는 사람, 개체 및 수량과 관련된 간단한 설명이 포함되어 있습니다. 수학적 관계는 일련의 방정식으로 모델링될 수 있습니다. 방정식은 질문에 대한 최종 답을 보여줍니다. 표 1은 대표적인 예이다. 질문에는 단일 또는 여러 단계를 통해 덧셈, 뺄셈, 곱셈, 나눗셈의 네 가지 기본 수학 연산이 포함됩니다. NLP 시스템에 대한 응용 문제의 과제는 언어 이해, 의미 분석 및 다양한 수학적 추론 능력에 대한 요구에 있습니다.
기존 단어 문제 데이터 세트는 온라인 학습 웹사이트에서 스크랩하거나 교과서에서 수집하거나 사람이 수동으로 주석을 추가하는 초등학교 수준의 문제를 다룹니다. 초기 단어 문제 데이터 세트는 상대적으로 작거나 소수의 단계로 제한되었습니다. 최근의 일부 데이터 세트는 문제의 다양성과 난이도를 높이는 것을 목표로 합니다. 예를 들어, 현재 가장 큰 공개 문제 세트인 Ape210K는 210,000개의 초등학교 단어 문제로 구성되는 반면 GSM8K의 문제는 최대 8단계 솔루션을 포함할 수 있습니다. SVAMP는 간단한 변형이 있는 단어 문제에 대한 딥 러닝 모델의 견고성을 테스트하는 벤치마크입니다. 최근에 확립된 일부 데이터 세트에는 텍스트 이외의 양식도 포함됩니다. 예를 들어 IconQA는 시각적 배경으로 추상 다이어그램을 제공하는 반면 TabMWP는 각 질문에 대한 표 형식의 배경을 제공합니다.
대부분의 단어 문제 데이터 세트는 방정식에 솔루션으로 주석을 추가하는 이유를 제공합니다(예: 표 1). 학습된 솔버의 성능과 해석성을 향상시키기 위해 MathQA에는 정확한 계산 절차로 주석이 추가되고 MathQA-Python은 구체적인 Python 절차를 제공합니다. 다른 데이터 세트는 인간의 읽기에 더 적합하다고 간주되는 다단계 자연어 솔루션을 사용하여 질문에 주석을 추가합니다. Lila는 Python 프로그래밍 원칙을 사용하여 이전에 언급된 많은 단어 문제 데이터 세트에 주석을 달았습니다.
이론적 증명
정리 증명을 자동화하는 것은 AI 분야에서 장기적인 과제입니다. 문제는 일반적으로 일련의 논리적 논증을 통해 수학 정리의 진실성을 증명하는 것과 관련됩니다. 정리 증명에는 효율적인 다단계 전략 선택, 배경 지식 사용, 산술이나 파생과 같은 기호 연산 수행 등 다양한 기술이 포함됩니다.
최근 형식적 대화형 정리 증명기(ITP)에서 정리 증명을 위해 언어 모델을 사용하는 것에 대한 관심이 높아지고 있습니다. 정리는 ITP의 프로그래밍 언어로 기술된 다음 알려진 사실로 축소될 때까지 "증명 단계"를 생성하여 단순화됩니다. 그 결과는 검증된 증거를 구성하는 일련의 단계입니다.
비공식 정리 증명은 정리 증명을 위한 대체 매체를 제안합니다. 이는 자연어와 "표준" 수학 표기법(예: LATEX)을 혼합하여 명령문과 증명을 작성하고 그 정확성을 사람이 확인하는 것입니다.
비공식 정리와 형식 정리 증명의 요소를 결합하는 것을 목표로 하는 새로운 연구 분야입니다. 예를 들어 Wu et al.(2022b)은 비공식 진술을 공식 진술로 변환하는 방법을 연구하고 있으며 Jiang et al.(2022b)은 miniF2F+informal이라는 비공식 진술과 증명을 추가하는 새로운 버전의 miniF2F 벤치마크를 출시했습니다. Jiang et al.(2022b)은 제공된(또는 생성된) 비공식 증명을 형식 증명으로 변환하는 방법을 탐색합니다.
기하학적 문제
자동화된 기하학적 문제 해결(GPS)은 수학적 추론 연구에서 오랫동안 사용되어 온 인공 지능 작업이며 최근 몇 년간 폭넓은 관심을 불러일으켰습니다. 단어 문제와 달리 기하학 문제는 자연어 텍스트 설명과 기하학적 도형으로 구성됩니다. 그림 2에서 볼 수 있듯이 다중 모드 입력은 기하학적 요소의 개체, 속성 및 관계를 설명하는 반면, 목표는 알 수 없는 변수에 대한 수치적 솔루션을 찾는 것입니다. GPS는 필요한 복잡한 기술로 인해 딥러닝 방법에 있어 어려운 작업입니다. 여기에는 다중 모드 정보를 구문 분석하고, 상징적 추상화에 참여하고, 정리 지식을 활용하고, 정량적 추론에 참여하는 능력이 포함됩니다.
초기 데이터 세트는 이 분야의 연구를 촉진했지만 이러한 데이터 세트는 상대적으로 작거나 공개적으로 사용할 수 없기 때문에 딥 러닝 방법의 개발이 제한됩니다. 이러한 제한 사항을 해결하기 위해 Lu 등은 다중 모드 입력에 대해 통합된 논리적 형식으로 주석이 달린 3002개의 객관식 기하학 질문으로 구성된 Geometry3K 데이터 세트를 만들었습니다. 최근에는 GeoQA, GeoQA+ 및 UniGeo와 같은 대규모 데이터 세트가 도입되었으며 최종 답을 얻기 위해 신경 해석기로 학습하고 실행할 수 있는 프로그램으로 주석이 추가되었습니다.
수학 Q&A
최근 연구에 따르면 SOTA 수학적 추론 시스템은 추론에서 "취약"할 수 있습니다. 즉, 모델은 "만족스러운" 성능을 달성하기 위해 특정 데이터 세트 및 플러그 앤 플레이 계산의 잘못된 신호에 의존합니다. 이러한 문제를 해결하기 위해 다양한 측면에서 새로운 벤치마크가 제안되었다. Mathematics(Saxton et al., 2020) 데이터세트에는 산술, 대수학, 확률, 미적분학을 포괄하는 다양한 유형의 수학 문제가 포함되어 있습니다. 이 데이터세트는 모델의 대수적 일반화 능력을 측정할 수 있습니다. 마찬가지로 MATH(Hendrycks et al., 2021)는 복잡한 상황에서 모델의 문제 해결 능력을 측정하기 위한 도전적인 경쟁 수학으로 구성됩니다.
일부 작업에서는 질문 입력에 테이블 배경을 추가했습니다. 예를 들어 FinQA, TAT-QA 및 MultiHiertt는 답변을 위해 테이블 이해와 수치적 추론이 필요한 질문을 수집합니다. 일부 연구에서는 대규모 수치 추론을 위한 통합 벤치마크를 제안했습니다. NumGLUE(Mishra et al., 2022b)는 8가지 작업에 대한 모델 성능을 평가하는 것을 목표로 하는 다중 작업 벤치마크입니다. Mishra et al. 2022a는 광범위한 수학적 주제, 언어 복잡성, 질문 형식 및 배경 지식 요구 사항을 포괄하는 23개의 수치 추론 작업으로 구성된 Lila를 제안하여 이러한 방향을 더욱 추진했습니다.
AI는 다른 유형의 양적 문제에서도 성공을 거두었습니다. 예를 들어 숫자, 차트, 그림 등은 많은 양의 정보를 간결하게 전달하는 데 필수적인 매체입니다. FigureQA, DVQA, MNS, PGDP5K 및 GeoRE는 모두 그래프 기반 엔터티 간의 정량적 관계를 추론하는 모델의 기능을 연구하기 위해 도입되었습니다. NumerSense는 기존의 사전 훈련된 언어 모델이 수치적 상식 지식을 감지할 수 있는지 여부와 그 정도를 조사합니다. EQUATE는 자연어 추론 프레임워크에서 정량적 추론의 다양한 측면을 공식화합니다. 양적 추론은 금융, 과학, 프로그래밍과 같은 특정 분야에서도 자주 나타납니다. 예를 들어 ConvFinQA는 대화형 질문 및 답변 형식으로 재무 보고서에 대한 수치 추론을 수행합니다. ScienceQA는 과학 분야의 수치 추론을 포함하고 P3는 주어진 프로그램에 대한 유효한 입력을 찾기 위해 딥 러닝 모델의 기능적 추론 능력을 연구합니다. 진실.
이 기사의 저자는 수학적 추론에 사용되는 몇 가지 일반적인 신경망도 요약했습니다.
Seq2Seq 네트워크
Seq2Seq 신경망은 단어 문제, 정리 증명, 기하학 문제 및 수학적 질문 답변과 같은 수학적 추론 작업에 성공적으로 적용되었습니다. Seq2Seq 모델은 일반적으로 수학적 추론을 시퀀스 생성 작업으로 공식화하는 인코더-디코더 아키텍처를 사용합니다. 이 방법의 기본 아이디어는 입력 시퀀스(예: 수학 문제)를 출력 시퀀스(예: 방정식, 프로그램 및 증명)에 매핑하는 것입니다. 일반적인 인코더 및 디코더에는 LSTM(장단기 기억 네트워크) 및 GRU(게이트 순환 장치)가 포함됩니다. 광범위한 연구를 통해 Seq2Seq 모델은 양방향 변형인 BiLSTM 및 BiGRU를 포함한 이전 통계 학습 방법에 비해 성능 이점이 있는 것으로 나타났습니다. DNS는 Seq2Seq 모델을 사용하여 단어 문제의 문장을 수학 방정식으로 변환하는 최초의 작업입니다.
그래프 기반 네트워크
Seq2Seq 방법은 수작업으로 만든 기능에 의존하지 않고 수학적 표현을 생성할 수 있다는 장점이 있습니다. 수학적 표현식은 표현식의 구조화된 정보를 설명하는 AST(추상 구문 트리) 및 그래프 기반 구조와 같은 트리 기반 구조로 변환될 수 있습니다. 그러나 이 중요한 정보는 Seq2Seq 접근 방식에 의해 명시적으로 모델링되지 않습니다. 이 문제를 해결하기 위해 연구자들은 표현식의 구조를 명시적으로 모델링하는 그래프 기반 신경망을 개발했습니다.
Sequence-to-tree(Seq2Tree) 모델은 출력 시퀀스를 인코딩할 때 트리 구조를 명시적으로 모델링합니다. 예를 들어 Liu 등은 방정식의 AST 정보를 더 잘 활용하기 위해 Seq2Tree 모델을 설계했습니다. 이와 대조적으로 Seq2DAG는 그래프 디코더가 여러 변수 간의 복잡한 관계를 추출할 수 있기 때문에 방정식을 생성할 때 시퀀스 그래프(Seq2Graph) 프레임워크를 적용합니다. 입력 수학적 시퀀스를 인코딩할 때 그래프 기반 정보를 삽입할 수도 있습니다. 예를 들어 ASTactic은 정리 증명의 입력 목표와 전제를 나타내기 위해 AST에 TreeLSTM을 적용합니다.
주의 기반 네트워크
주의 메커니즘은 디코딩 프로세스 중에 입력 숨겨진 벡터를 고려하여 자연어 처리 및 컴퓨터 비전 문제에 성공적으로 적용되었습니다. 연구자들은 수학적 개념 간의 가장 중요한 관계를 식별하는 데 사용될 수 있기 때문에 수학적 추론 작업에서 그 역할을 탐구해 왔습니다. 예를 들어 MATH-EN은 self-attention을 통해 학습된 장거리 종속성 정보를 활용하는 단어 문제 해결사입니다. 주의 기반 방법은 기하학 문제 및 정리 증명과 같은 다른 수학적 추론 작업에도 적용되었습니다. 더 나은 표현을 추출하기 위해 다양한 Multi-head attention을 사용하여 다양한 유형의 MWP 특징을 추출하는 Group-ATT, 지식 인식 정보 추출에 적용되는 Graph attention 등 다양한 attention 메커니즘이 연구되었습니다.
기타 신경망
수학적 추론 작업을 위한 딥 러닝 방법은 컨벌루션 신경망 및 다중 모달 네트워크와 같은 다른 신경망을 활용할 수도 있습니다. 일부 작업에서는 컨벌루션 신경망 아키텍처를 사용하여 입력 텍스트를 인코딩하여 모델에 입력의 기호 간의 장기적인 관계를 캡처할 수 있는 기능을 제공합니다. 예를 들어, Irving et al.은 대규모 이론에서 전제 선택을 위해 컨벌루션 네트워크에 의존하는 정리 증명에 심층 신경망을 최초로 적용할 것을 제안했습니다.
기하학적 문제 해결, 그래프 기반 수학적 추론과 같은 다중 모드 수학적 추론 작업은 VQA(Visual Question Answering) 질문으로 형식화됩니다. 이 도메인에서 시각적 입력은 ResNet 또는 Faster-RCNN을 사용하여 인코딩되는 반면 텍스트 표현은 GRU 또는 LTSM을 통해 얻습니다. 이후 BAN, FiLM, DAFA와 같은 다중 모드 융합 모델을 사용하여 공동 표현을 학습합니다.
다른 심층 신경망 구조도 수학적 추론에 사용될 수 있습니다. Zhang et al.은 공간 추론에서 그래프 신경망(GNN)의 성공을 활용하고 이를 기하학적 문제에 적용했습니다. WaveNet은 종단 시계열 데이터를 해결하는 능력으로 인해 정리 증명에 적용됩니다. 또한 Transformer는 DDT에서 수학 방정식을 생성하는 데 있어 GRU보다 뛰어난 성능을 보이는 것으로 나타났습니다. 그리고 MathDQN은 주로 강력한 검색 기능을 활용하여 수학 단어 문제를 해결하기 위한 강화 학습을 탐구하는 최초의 작업입니다.
사전 훈련된 언어 모델은 광범위한 NLP 작업에서 상당한 성능 향상을 보여주었으며 수학 관련 문제에도 적용되는 것으로 나타났습니다. 모델 모델은 단어 문제를 잘 해결하고 정리 증명 및 기타 수학적 작업을 지원합니다. 그러나 이를 수학적 추론에 사용하는 데는 몇 가지 어려움이 따릅니다.
우선, 사전 훈련된 언어 모델은 수학적 데이터에 대해 특별히 훈련되지 않습니다. 이로 인해 자연어 작업보다 수학 관련 작업의 숙련도가 낮아질 수 있습니다. 또한 텍스트 데이터에 비해 대규모 사전 학습에 사용할 수 있는 수학적 또는 과학적 데이터도 적습니다.
둘째, 사전 훈련된 모델의 크기가 계속해서 증가하므로 특정 다운스트림 작업을 위해 처음부터 전체 모델을 훈련하는 데 비용이 많이 듭니다.
또한 다운스트림 작업은 구조화된 테이블이나 차트와 같은 다양한 입력 형식이나 양식을 처리할 수 있습니다. 이러한 문제를 해결하기 위해 연구자는 사전 훈련된 모델을 미세 조정하거나 다운스트림 작업의 신경 아키텍처를 조정해야 합니다.
마지막으로, 사전 학습된 언어 모델은 많은 양의 언어 정보를 인코딩할 수 있지만, 언어 모델링의 목적만으로는 모델이 수치 표현이나 높은 수준의 추론 기술을 학습하기 어려울 수 있습니다. 이를 염두에 두고 최근 연구에서는 기초부터 시작하는 과정에 수학 관련 기술을 주입하는 방법을 조사했습니다.
수학의 자기 지도 학습
아래 표 4는 수학적 추론의 자기 지도 작업을 위해 사전 훈련된 언어 모델 목록을 제공합니다. 작업별 미세 조정은 대규모 모델을 처음부터 훈련하기에 데이터가 충분하지 않은 경우에도 일반적인 관행입니다. 표 5에서 볼 수 있듯이 기존 작업은 다양한 다운스트림 작업에 대해 사전 훈련된 언어 모델을 미세 조정하려고 시도합니다.
모델 매개변수를 미세 조정하는 것 외에도 많은 작업에서는 사전 훈련된 언어 모델을 인코더로 사용하고 이를 다른 모듈과 결합하여 다운스트림 작업을 완료합니다. 예를 들어 IconQA는 그래프 인식과 텍스트 이해를 위해 각각 ResNet과 BERT를 사용할 것을 제안합니다. .
문맥 샘플에는 일반적으로 입력-출력 쌍과 일부 프롬프트 단어가 포함되어 있습니다. 예를 들어 목록에서 가장 큰 숫자를 선택하십시오.
입력: [2, 4, 1, 5, 8]
출력: 8.
퓨샷 학습은 여러 샘플을 제공하고 모델은 마지막 입력 샘플의 출력을 예측합니다. 그러나 테스트 시간 샘플 이전에 입력-출력 쌍의 상황별 샘플을 사용하여 대규모 언어 모델을 제공하는 이 표준 퓨샷 프롬프팅은 수학적 추론과 같은 까다로운 작업에서 좋은 성능을 달성하는 데 충분하지 않은 것으로 입증되었습니다.
사고 연쇄 프롬프트(CoT)는 중간 자연어 설명을 프롬프트로 사용하여 대규모 언어 모델이 먼저 추론 체인을 생성한 다음 입력 질문에 대한 답변을 예측할 수 있도록 합니다. 예를 들어, 애플리케이션 문제 해결을 위한 CoT 프롬프트는
Kojima et al.(2022)이 "단계적으로 생각해보자!"라는 프롬프트를 모델에 제공하도록 제안할 수 있습니다. 추론자. 이 외에도 가장 최근의 연구는 제로샷 추론 설정에서 사고 사슬 추론을 개선하는 방법에 중점을 두었습니다. 이러한 유형의 작업은 주로 (i) 더 나은 상황별 샘플 선택과 (ii) 더 나은 추론 체인 생성의 두 부분으로 나뉩니다.
상황별 샘플 선택
초기 생각의 연쇄 작업은 상황별 샘플을 무작위로 또는 경험적으로 선택하는 것이었습니다. 최근 연구에 따르면 이러한 유형의 소수 학습은 다양한 상황별 예시 선택 하에서 매우 불안정할 수 있는 것으로 나타났습니다. 따라서 어떤 맥락 추론 샘플이 가장 효율적인 프롬프트를 만들 수 있는지는 아직 학계에서는 알려지지 않은 문제입니다.
이러한 한계를 해결하기 위해 최근 일부 연구에서는 컨텍스트 샘플 선택 프로세스를 최적화하기 위한 다양한 방법을 연구했습니다. 예를 들어 Rubin et al.(2022)은 의미론적으로 유사한 샘플을 검색하여 이 문제를 해결하려고 시도했습니다. 그러나 이 접근 방식은 수학적 추론 문제에서는 잘 작동하지 않으며, 구조화된 정보(예: 테이블)가 포함된 경우 유사성을 측정하기 어렵습니다. 또한 Fu et al.(2022)은 복잡한 추론 체인(즉, 추론 단계가 더 많은 체인)이 있는 샘플을 프롬프트로 선택하는 복잡성 기반 프롬프트를 제안했습니다. Lu et al.(2022b)은 강화 학습을 통해 상황에 맞는 샘플을 선택하는 방법을 제안했습니다. 구체적으로 에이전트는 GPT-3 환경과 상호작용할 때 주어진 훈련 샘플에 대해 예측된 보상을 최대화하는 것을 목표로 후보자 풀에서 최상의 상황별 샘플을 찾는 방법을 학습합니다. 또한 Zhang et al.(2022b)은 예시 문제의 다양화가 모델 성능을 향상시킬 수도 있음을 발견했습니다. 그들은 맥락에 따라 예제 문제를 구성하기 위한 2단계 접근 방식을 제안했습니다. 첫째, 주어진 데이터 세트의 문제를 여러 그룹으로 나누고, 두 번째, 각 그룹에서 대표적인 문제를 선택하고 간단한 휴리스틱의 제로 샷 사고 체인을 사용하여 추론 체인을 생성합니다. .
고품질 추론 체인
초기 사고 체인 작업은 주로 인간이 주석을 단 단일 추론 체인에 프롬프트로 의존했습니다. 그러나 수동으로 추론 체인을 생성하는 데에는 두 가지 단점이 있습니다. 첫째, 작업이 점점 더 복잡해짐에 따라 현재 모델은 필요한 모든 추론 단계를 수행하는 방법을 학습하는 데 충분하지 않을 수 있으며, 둘째, 단일 디코딩 프로세스로 쉽게 일반화할 수 없습니다. 잘못된 추론 단계에 의해 쉽게 영향을 받아 최종 답변에서 잘못된 예측으로 이어집니다. 이러한 한계를 해결하기 위해 최근 연구는 주로 두 가지 측면에 중점을 두었습니다. (i) 프로세스 기반 방법으로 알려진 보다 복잡한 예제를 직접 작성하는 것, (ii) 결과 기반 방법으로 알려진 앙상블과 유사한 방법을 활용하는 것입니다.
기존 벤치마크와 방법을 평가한 후 저자는 이 분야의 향후 연구 방향에 대해서도 논의합니다. 보다 자세한 연구 내용은 원문을 참고하시기 바랍니다.
위 내용은 지난 10년 동안 논문 수가 급격히 증가했습니다. 딥러닝은 어떻게 수학적 추론의 문을 천천히 열어줄까요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!