칭화대학교, 강좌 학습을 위한 최초의 오픈 소스 라이브러리인 CurML 출시

기계 학습의 개발 과정에서 인간의 학습 방법은 종종 다양한 알고리즘의 설계에 영감을 줍니다. 인간 학습의 중요한 패러다임으로서 강좌를 통한 학습은 기계 학습에서 차용되어 커리큘럼 학습(Curriculum Learning)이라는 연구 방향을 형성했습니다.

일반적으로 인간 교육은 고도로 조직화된 과정을 통해 완성됩니다. 각 코스나 과목은 간단한 내용으로 시작하여 점차 학생들에게 더욱 복잡한 개념을 제시합니다. 예를 들어, 대학에서 미적분학의 개념을 받아들이기 전에 학생은 초등학교에서는 산수, 중학교에서는 함수, 고등학교에서는 도함수를 먼저 배워야 합니다. 그러나 인간 교육과 달리 기존 기계 학습 모델의 교육에는 데이터 샘플과 모델의 현재 학습 상태 간의 다양한 복잡성을 무시하고 데이터 샘플을 모델에 무작위로 입력하는 작업이 포함됩니다. 따라서 머신러닝 분야에서는 인간의 학습을 쉬운 것부터 어려운 것까지 정확하게 모방하고, 모델에 대한 더 나은 훈련 전략을 제공하여 모델의 성능을 향상시키기 위해 커리큘럼 학습을 제안했습니다.

강좌 학습 개념도

현재 강좌 학습은 이미지 분류, 대상 탐지, 의미 분할, 기계 번역, 오디오 인식, 오디오 등 기계 학습의 다양한 작업에 널리 사용되고 있습니다. 향상, 영상 질의 응답 등은 지도 학습, 비지도 학습, 준지도 학습 및 강화 학습과 같은 시나리오에서도 많은 관심과 연구를 받아왔습니다.

강좌 학습의 적용 및 시나리오가 점점 풍부해짐에 따라 연구자의 심층적인 탐구를 촉진하고 사용자의 적용 경험을 향상시키기 위해서는 이 분야에서 상세한 정렬 및 요약을 수행하는 것이 특히 필요합니다.

이에 칭화대학교 주웬우(Zhu Wenwu) 교수가 이끄는 미디어 및 네트워크 빅데이터 연구실에서는 커리큘럼 학습에 관한 수많은 학술 논문의 축적과 기반을 바탕으로 연구실 구성원인 왕신(Wang Xin)이 커리큘럼 학습에 관한 논문을 에서 발표했습니다. IEEE TPAMI 리뷰 논문에서 연구소는 세계 최초의 강좌 학습용 오픈 소스 라이브러리인 CurML(Curriculum Machine Learning)을 추가로 출시했습니다.

주원우(Zhu Wenwu) 교수와 왕신(Wang Xin) 보조연구원의 코스 학습 연구에는 도시 관심 위치 추천에 적용된 코스 메타러닝 기법, 시끄러운 다중 피드백 정보를 기반으로 한 코스 디커플링 제품 추천, 코스 학습 기반 공유 매개변수 신경망이 포함된다. 검색, 코스 난이도 적응 기반 조합 최적화 문제 해결 등 연구 결과는 SIGKDD, NeurIPS, ACM MM 등 수준 높은 국제 머신러닝 컨퍼런스에서 발표되었습니다.

일부 연구 결과의 프레임워크 다이어그램

강좌 학습 검토 논문은 강좌 학습의 출현, 정의, 이론 및 적용을 종합적으로 검토하고 이에 따라 통일된 강좌 학습 프레임워크를 설계합니다. 프레임워크 내의 핵심 구성 요소에 대해 코스 학습 알고리즘은 두 가지 주요 범주와 여러 하위 범주로 나누어 코스 학습과 기타 기계 학습 개념 간의 차이점과 상관 관계를 구별하고 이 분야가 직면한 과제와 미래를 지적합니다. 가능한 연구 방향.

강의 학습 방법 분류

오픈 소스 라이브러리 CurML은 10개 이상의 강의 학습 알고리즘을 통합하여 노이즈 및 비-수업 알고리즘을 모두 지원합니다. 시끄러운 연구원과 사용자가 코스 학습 알고리즘을 재현, 평가, 비교 및 ​​선택할 수 있도록 하는 애플리케이션 시나리오입니다.

CurML의 주요 모듈은 CL Trainer로, 두 개의 하위 모듈인 Model Trainer와 CL Algorithm으로 구성됩니다. 두 모듈은 5가지 인터페이스 기능을 통해 상호 작용하여 강좌 학습 지도의 머신러닝 과정을 구현합니다.

CurML 프레임워크 다이어그램

메인 모듈: CL Trainer

이 모듈은 전체 오픈 소스 라이브러리의 주요 부분입니다. 이 모듈을 호출하면 사용자는 단 몇 줄의 코드만으로 강좌 학습 알고리즘을 구현할 수 있습니다. 데이터 세트, 모델 및 하이퍼파라미터가 제공된 후 모듈은 일정 기간 동안 훈련하고 훈련된 모델 매개변수와 작업 테스트 결과를 출력합니다. 이 모듈은 주로 사용 편의성 요구 사항을 충족하도록 설계되었으므로 강좌 학습 알고리즘을 사용하고 싶지만 구체적인 구현 세부 사항에는 신경 쓰지 않는 사용자에게 고도로 캡슐화되어 제공됩니다.

하위 모듈 1: 모델 트레이너

이 모듈은 이미지 분류기 또는 언어 모델 교육과 같은 일반적인 기계 학습 프로세스를 완료하는 데 사용됩니다. 동시에 두 번째 하위 모듈 CL 알고리즘과 상호 작용하기 위해 5개의 인터페이스 기능에 대한 위치를 예약하고 사용자 정의 입력 기능도 지원합니다.

하위 모듈 2: CL Algorithm

이 모듈은 다음 표에 표시된 대로 CurML에서 지원하는 모든 강좌 학습 알고리즘을 캡슐화합니다.

모듈은 5개의 인터페이스를 통해 구현됩니다. 아래 그림과 같이 기계 학습 과정에서 데이터 및 모델 정보를 얻고 모델의 학습 전략을 안내하는 데 사용됩니다. Curml Flow Chartsface Function : Data_prepare

이 기능은 모델 트레이너 모듈에서 CL 알고리즘 모듈로 데이터 세트 정보를 제공하는 데 사용됩니다. 많은 강좌 학습 알고리즘은 데이터 샘플의 난이도를 더 잘 판단하기 위해 데이터 세트에 대한 전반적인 이해가 필요하므로 이 인터페이스 기능이 필요합니다.

인터페이스 함수: model_prepare

이 함수는 data_prepare와 매우 유사하지만, 모델 아키텍처, 매개변수 최적화, 학습 등 모델 학습과 관련된 정보를 전송한다는 점이 다릅니다. 속도 조정기 등 많은 코스 학습 알고리즘은 이러한 요소를 조정하여 기계 학습을 안내합니다.

인터페이스 함수: data_curriculum

이 함수는 데이터 샘플의 난이도를 계산하고, 데이터 난이도와 현재 모델 상태를 기반으로 모델에 적합한 데이터를 제공하는 데 사용됩니다. 대부분의 강좌 연구는 유사한 아이디어를 가지고 있습니다. .

인터페이스 기능: model_curriculum

이 기능은 모델을 업데이트하고, 모델이 데이터 샘플에서 얻는 정보의 양을 조정하고, 모델의 학습을 간접적으로 안내하는 데 사용됩니다. 알고리즘은 여전히 ​​작지만 CurML은 이러한 알고리즘의 구현도 지원합니다.

인터페이스 함수: loss_curriculum

이 함수는 손실 함수 값에 다시 가중치를 부여하고 모델에 대한 다양한 데이터의 영향을 간접적으로 조정하는 데 사용됩니다. 이러한 유형의 알고리즘은 손실이 발생하기 때문에 강좌 학습에서 더 일반적입니다. value 가중치 부여는 기본적으로 데이터의 소프트 샘플링입니다.

최근 몇 년간 10개 이상의 강좌 학습 방법을 요약하여, 위의 모듈과 인터페이스 매개변수를 사용하여 다양한 유형의 강좌 학습 알고리즘을 통합하고 구현할 수 있으므로 강좌 학습 알고리즘을 공정한 시나리오에서 평가할 수 있으며 작업을 비교하고 선택하세요.

미래 전망

CurML의 R&D 팀은 코스 학습의 개발 및 적용에 대한 추가 지원을 제공하기 위해 앞으로도 이 오픈 소스 라이브러리를 계속 업데이트할 것이라고 밝혔습니다.

관련 링크:

• CurML 오픈 소스 코드 라이브러리 링크: https://github.com/THUMNLab/CurML
• CurML 오픈 소스 소프트웨어 문서 링크: https://dl.acm.org /doi /pdf/10.1145/3503161.3548549
• 강좌 학습 복습 논문 링크: https://ieeexplore.ieee.org/abstract/document/9392296/
• 강좌 메타 학습 논문 링크: https://dl See More .acm.org/doi/abs/10.1145/3447548.3467132
• 코스 분리 학습 논문 링크: https://proceedings.neurips.cc/paper/2021/file/e242660df1b69b74dcc7fde711f924ff-Paper.pdf
• 과정 신경 아키텍처 논문 검색 링크: https://dl.acm.org/doi/abs/10.1145/3503161.3548271
• 과정 난이도 적응형 논문 링크: https://ojs.aaai.org/index.php/AAAI/article/download /20899/버전/19196/20658

위 내용은 칭화대학교, 강좌 학습을 위한 최초의 오픈 소스 라이브러리인 CurML 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!