정보 이론 교정 기술을 기반으로 CML은 다중 모드 기계 학습을 더욱 안정적으로 만듭니다.

다중 모드 기계 학습은 다양한 시나리오에서 인상적인 발전을 이루었습니다. 그러나 다중 모드 학습 모델의 신뢰성에 대한 심층적인 연구가 부족합니다. "정보는 불확실성을 제거하는 것입니다." 다중 모드 기계 학습의 원래 의도는 이것과 일치합니다. 추가된 양식은 예측을 더욱 정확하고 신뢰할 수 있게 만들 수 있습니다. 그러나 최근 ICML2023에 발표된 논문 "Caliblating Multimodal Learning"에서는 현재의 다중 모드 학습 방법이 이러한 신뢰성 가정을 위반한다는 사실을 발견하고 상세한 분석과 수정을 가했습니다.

Pictures

• Paper Arxiv: https://arxiv.org/abs/2306.01265
• 코드 GitHub: https://github.com/Q 인양장/CML

현재의 다중 모드 분류 방법은 신뢰도가 낮습니다. 즉, 일부 모드를 제거하면 모델이 더 높은 신뢰도를 생성할 수 있으며, 이는 "정보가 제거된다"는 정보 이론에 위배됩니다. 기본 원칙. 이 문제를 해결하기 위해 이 기사에서는 Calibrating Multimodal Learning 방법을 제안합니다. 이 방법은 다양한 다중 모드 학습 패러다임에 배포되어 다중 모드 학습 모델의 합리성과 신뢰성을 향상시킬 수 있습니다.

Pictures

이 작업은 현재의 다중 모드 학습 방법이 신뢰할 수 없는 예측 신뢰도 문제를 가지고 있으며 기존 다중 모드 기계 학습 모델이 부분 모드에 의존하여 신뢰도를 추정하는 경향이 있음을 지적합니다. 특히 이번 연구에서는 특정 모드가 손상될 때 현재 모델 추정치의 신뢰도가 증가한다는 사실을 발견했습니다. 이 불합리한 문제를 해결하기 위해 저자는 직관적인 다중 모드 학습 원리를 제안합니다. 즉, 모드가 제거되면 모델 예측 신뢰도가 증가해서는 안 됩니다. 그러나 현재 모델은 모든 양식을 공정하게 고려하기보다는 양식의 하위 집합을 믿고 영향을 받는 경향이 있습니다. 이는 모델의 견고성에 더욱 영향을 미칩니다. 즉, 특정 모드가 손상되면 모델이 쉽게 영향을 받습니다.

위 문제를 해결하기 위해 일부 방법에서는 현재 온도 스케일링이나 베이지안 학습 방법과 같은 기존 불확실성 보정 방법을 채택하고 있습니다. 이러한 방법은 기존 훈련/추론 방법보다 더 정확한 신뢰도 추정을 구성할 수 있습니다. 그러나 이러한 방법은 최종 융합 결과의 신뢰도 추정과 정확도를 일치시킬 뿐이며, 모달 정보량과 신뢰도 간의 관계를 명시적으로 고려하지 않으므로 다중 모달 학습 모델의 신뢰성을 본질적으로 향상시킬 수 없습니다.

저자는 "CML(다중 모드 학습) 조정"이라는 새로운 정규화 기술을 제안합니다. 이 기술은 예측 신뢰도와 정보 내용 간의 일관성을 달성하기 위해 페널티 항을 추가하여 모델 예측 신뢰도와 정보 내용 간의 일치 관계를 강화합니다. 이 기술은 양식이 제거되면 예측 신뢰도가 감소해야 하며(적어도 증가해서는 안 됨) 본질적으로 신뢰도 보정을 향상시킬 수 있다는 자연스러운 직관을 기반으로 합니다. 구체적으로, 양식이 제거될 때 예측 신뢰도가 증가하는 샘플에 페널티를 추가하여 모델이 직관적인 순서 관계를 학습하도록 하는 간단한 정규화 용어가 제안됩니다. 모달 정보가 제거되고 신뢰도가 증가할 때 페널티로 나타나는 정규 손실입니다.

실험 결과에 따르면 CML 정규화는 기존 다중 모드 학습 방법의 예측 신뢰도를 크게 향상시킬 수 있습니다. 또한 CML은 분류 정확도를 향상하고 모델 견고성을 향상시킬 수 있습니다.

다중 모드 기계 학습은 다양한 시나리오에서 상당한 진전을 이루었지만 다중 모드 기계 학습 모델의 신뢰성은 여전히 ​​해결해야 할 문제입니다. 광범위한 경험적 연구를 통해 본 논문은 현재의 다중 모드 분류 방법이 신뢰할 수 없는 예측 신뢰도 문제를 가지고 있으며 정보 이론의 원칙을 위반한다는 것을 발견했습니다. 이 문제를 해결하기 위해 연구원들은 기존 모델에 유연하게 배포하고 신뢰도 보정, 분류 정확도 및 모델 견고성 측면에서 성능을 향상시킬 수 있는 CML 정규화 기술을 제안했습니다. 이 신기술은 미래의 다중 모드 학습에서 중요한 역할을 하고 기계 학습의 신뢰성과 실용성을 향상시킬 것으로 믿어집니다.

위 내용은 정보 이론 교정 기술을 기반으로 CML은 다중 모드 기계 학습을 더욱 안정적으로 만듭니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!