트윈 신경망에 공통 손실 함수 적용

트윈 신경망은 이중 가지 구조의 신경망으로 유사성 측정, 분류, 검색 작업에 자주 사용됩니다. 이러한 네트워크의 두 가지 분기는 동일한 구조와 매개변수를 갖습니다. 입력이 각각 두 개의 분기를 거친 후 유사성 측정 레이어(예: 유클리드 거리, 맨해튼 거리 등)를 통해 유사성을 계산합니다. 훈련 중에는 일반적으로 대조 손실 함수 또는 삼중 손실 함수가 사용됩니다.

대비 손실 함수는 샴 신경망에 대한 이진 분류 손실 함수로, 유사한 샘플의 유사성을 1에 가깝게, 서로 다른 유형의 샘플의 유사성을 0에 가깝게 최대화하는 것을 목표로 합니다. 수식은 다음과 같습니다.

L_{con}(y,d)=ycdot d^2+(1-y)cdotmax(m-d,0)^2

이 손실 함수는 측정에 사용됩니다. two 샘플의 카테고리에 따라 샘플 간의 유사성이 최적화됩니다. 이 중 y는 샘플이 동일한 카테고리에 속하는지 여부를 나타내고, d는 두 샘플의 유사성을 나타내며, m은 미리 설정된 경계값을 나타냅니다. y=1일 때 손실 함수의 목표는 동일한 범주의 두 샘플이 더 유사하더라도 d를 가능한 한 작게 만드는 것입니다. 이때, 손실함수의 값은 d의 제곱으로 표현될 수 있는데, 즉 손실함수의 값은 d^2이다. y=0일 때 손실 함수의 목표는 서로 다른 두 범주의 샘플이 최대한 유사하더라도 d를 m보다 크게 만드는 것입니다. 이때, d가 m보다 작을 경우 손실함수의 값은 d^2로, d가 m보다 클 경우에는 손실함수의 값이 0이 되어 샘플간 유사성을 나타낸다. 경계값 m을 가정하면 손실은 더 이상 계산되지 않습니다.

삼중항 손실 함수는 트윈 신경망에서 사용되는 손실 함수로, 동일한 유형의 샘플 간의 거리를 최소화하고 최대화하는 것을 목표로 합니다. 서로 다른 유형의 샘플 사이의 거리. 이 함수의 수학적 표현은 다음과 같습니다:

L_{tri}(a,p,n)=max(|f(a)-f(p)|^2-|f(a)-f( n )|^2+margin,0)

이 중 a는 앵커 샘플, p는 동일한 유형의 샘플, n은 다른 유형의 샘플, f는 샴 신경망의 특징 추출 계층을 나타냅니다. , |cdot|은 유클리드 거리를 나타내고, margin은 미리 설정된 경계값을 나타냅니다. 손실 함수의 목표는 동일한 유형의 샘플 간의 거리를 가능한 한 작게 만들고, 다른 유형의 샘플 간의 거리를 최대한 크게, 마진보다 크게 만드는 것입니다. 동일한 유형의 샘플 사이의 거리가 다른 유형의 샘플 거리에서 마진을 뺀 값보다 작을 때, 동일한 유형의 샘플 사이의 거리가 다른 유형의 샘플 사이의 거리보다 클 경우 손실 함수의 값은 0입니다. 마진을 빼면 손실 함수의 값은 두 거리의 차이입니다.

대비 손실 함수와 삼중항 손실 함수는 모두 일반적으로 사용되는 트윈 신경망 손실 함수입니다. 이들의 목표는 특징 공간에서 동일한 범주의 샘플을 최대한 가깝게 만들고, 서로 다른 범주의 샘플을 최대한 멀리 만드는 것입니다. 기능 공간에서. 실제 적용에서는 특정 작업 및 데이터 세트를 기반으로 적절한 손실 함수를 선택하고 모델 최적화를 위해 다른 기술(예: 데이터 향상, 정규화 등)과 결합할 수 있습니다.

위 내용은 트윈 신경망에 공통 손실 함수 적용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!