적대적 기울기 기반 탐색 모델과 이를 클릭 예측에 적용

1. Abstract

순위 모델은 광고, 추천 및 검색 시스템에서 중요한 역할을 합니다. 순위 모듈에서는 클릭률 추정 기술이 최우선입니다. 현재 업계의 대부분의 클릭률 예측 기술은 딥러닝 알고리즘을 사용하여 데이터 드라이브를 기반으로 하는 심층 신경망을 훈련합니다. 그러나 데이터 드라이브로 인해 발생하는 문제는 추천 시스템의 새로운 프로젝트가 콜드 스타트 ​​문제를 갖게 된다는 것입니다.

탐색-탐색(E&E) 방법은 일반적으로 대규모 온라인 추천 시스템에서 데이터 주기 문제를 처리하는 데 사용됩니다. 과거 연구에서는 일반적으로 모델 예측의 높은 불확실성이 높은 잠재적 수익을 의미한다고 믿었으므로 대부분의 연구 문헌은 불확실성 추정에 중점을 두었습니다. 스트리밍 교육을 사용하는 온라인 추천 시스템의 경우 탐색 전략은 교육 샘플 수집에 더 큰 영향을 미치며 이는 결국 모델의 추가 학습에 영향을 미칩니다. 그러나 대부분의 현재 탐색 전략은 탐색된 샘플이 후속 모델 학습에 어떻게 영향을 미치는지 잘 모델링할 수 없습니다. 따라서 우리는 추천 모델의 후속 학습에 성공적으로 탐색되고 표시되는 샘플의 영향을 시뮬레이션하기 위해 의사 탐색(Pseudo-Exploration) 모듈을 설계했습니다.

모델 입력에 적대적 섭동을 추가하여 유사 탐색 프로세스를 구현합니다. 또한 이 프로세스에 대한 해당 이론적 분석과 증명도 제공합니다. 이를 바탕으로 우리는 이 방법을 적대적 기울기 기반 탐색 전략(Adversarial Gradient Driven Exploration, 이하 AGE)이라고 명명합니다. 탐사의 효율성을 높이기 위해 우리는 낮은 가치의 탐사에 자원이 낭비되는 것을 방지하기 위해 낮은 가치의 샘플을 필터링하는 동적 게이팅 유닛도 제안합니다. AGE 알고리즘의 유효성을 검증하기 위해 우리는 공공 학술 데이터 세트를 대상으로 다수의 실험을 수행했을 뿐만 아니라 AGE 모델을 Alimama 디스플레이 광고 플랫폼에 배포하여 좋은 온라인 수익을 달성했습니다. 이 연구는 KDD 2022 연구 트랙에 전체 논문으로 포함되었습니다. 읽고 소통하셔도 좋습니다.

논문: 심층적인 클릭률 예측을 위한 Adversarial Gradient Driven Exploration

다운로드: https://arxiv.org/abs/2112.11136

2. 배경

광고 시스템에서 클릭률(CTR) 예측 모델 스트리밍 방식은 일반적으로 훈련에 사용되며 스트리밍 데이터의 소스는 온라인에 배포된 CTR 모델에 의해 생성되므로 소위 데이터 루프 문제가 발생합니다. 콜드 스타트 ​​및 롱테일 광고는 완전히 표시되지 않기 때문에 CTR 모델에는 이러한 광고에 대한 교육 데이터가 부족합니다. 이로 인해 모델의 광고 추정에 큰 오류가 있을 수 있으며 이로 인해 이러한 광고를 표시하기가 더 어려워집니다. 콜드 부팅 프로세스를 완료하기가 어렵습니다. 구체적으로, 그림 1은 광고의 실제 클릭률과 노출수 사이의 관계를 보여줍니다. 우리 시스템에서는 클릭률이 수렴에 도달하기 전에 새로운 광고가 평균 약 10,000회 표시되어야 합니다. 상태. 이는 많은 온라인 시스템에 공통적인 문제, 즉 사용자 경험을 보장하면서 이러한 광고를 콜드 스타트하는 방법을 가져옵니다.

그림 1: 광고 CTR과 노출 수의 관계

탐색 및 활용(E&E) 알고리즘은 일반적으로 위의 문제를 해결하는 데 사용됩니다. 추천 또는 광고 시스템에서 일반적인 방법(예: 상황별 다중 무장 도적, 상황별 다중 무장 도적)은 일반적으로 이 문제를 다음과 같이 모델링합니다. 각 단계에서 시스템은 정책 P에 따라 작업을 선택합니다(즉, 사용자에게 항목 _ _ 추천). 누적 보상(일반적으로 총 클릭수로 측정)을 최대화하려면 시스템은 현재 탐색과 활용에 중점을 두는지 여부를 평가해야 합니다. 이전 연구에서는 일반적으로 높은 불확실성을 잠재적 수익의 척도로 간주합니다. 한편으로 전략 P는 현재의 이익을 극대화하기 위해 현재 유용성이 더 큰 프로젝트에 우선순위를 부여해야 하는 반면, 알고리즘은 탐색을 달성하기 위해 더 큰 불확실성이 있는 작업을 선택해야 합니다. 탐색과 활용의 전략을 표현하는 데 사용되면 시스템에 의한 프로젝트의 최종 점수는 다음 공식으로 표현될 수 있습니다.

불확실성 추정은 많은 E&E 알고리즘의 핵심 모듈이 되었습니다. 불확실성은 데이터 가변성, 측정 노이즈 및 모델 불안정성(예: 매개변수의 무작위성)에서 비롯될 수 있습니다. 일반적인 추정 방법에는 Monte Carlo MC-Dropout, 베이지안 신경망 및 예측 불확실성이 포함됩니다. 모델 가중치) 등 이를 바탕으로 대표적인 탐색전략으로는 두 가지가 있는데, UCB 기반 방법은 일반적으로 잠재적 수익의 상한을 최종 점수로 사용하는 반면[1,2], Thompson 샘플링 기반 방법은 추정된 확률 분포에서 샘플링을 수행한다[3 ].

3. 방법 소개

위의 방법은 완전한 탐색 폐쇄 루프를 고려하지 않는다고 생각합니다. 데이터 기반 온라인 시스템의 경우 탐색의 궁극적인 이점은 탐색 프로세스에서 얻은 피드백 데이터와 피드백 데이터를 기반으로 한 모델의 교육 및 업데이트에서 비롯됩니다. 모델 추정 자체의 불확실성은 전체 피드백 루프를 완전히 반영하지 않습니다. 이를 위해 탐사 작업 완료 후 피드백 데이터가 모델에 미치는 영향을 시뮬레이션하고 이를 활용하여 탐색의 효율성을 측정하는 준탐색 모듈을 도입했습니다. 분석에 따르면 탐사의 효율성은 모델의 추정된 불확실성뿐만 아니라 "반교란"의 크기에 따라 달라지는 것으로 나타났습니다. 소위 적대적 섭동(adversarial perturbation)은 모델 출력에 가장 큰 변화를 일으키는 모델의 입력에 고정된 모듈 길이가 추가된 섭동 벡터를 나타냅니다. 논문에서 우리는 탐색된 데이터를 사용하여 모델을 한 번 훈련한 후 모델 출력의 변화에 ​​대한 기대가 모듈러스가 불확실성이고 섭동 벡터가 입력 벡터에 대한 적대적 기울기인 증분 벡터를 추가하는 것과 동일하다는 것을 증명했습니다. . 우리는 이러한 방식의 모델링을 통해 탐색된 샘플이 폐루프 방식으로 모델에 미치는 후속 영향을 추정할 수 있으며 이를 통해 탐색된 샘플의 실제 가치를 추정할 수 있음을 확인했습니다.

우리는 이 방법을 Adversarial Gradient Driven Exploration, 줄여서 AGE라고 부릅니다. AGE 모델은 의사 탐색 모듈과 동적 게이팅 유닛의 두 부분으로 구성됩니다. 전체 구조는 그림 2에 나와 있습니다.

그림 2: AGE 구조 다이어그램

자세한 내용은 섹션 3.1을, 자세한 내용은 섹션 3.3을 참조하세요.

3.1 Pseudo-Exploration Module

3.1.1 Module Introduction

Pseudo-Exploration Module의 주요 목적은 탐색 표본을 이용하여 모델을 학습시킨 후 표본 점수의 변화를 정량적으로 시뮬레이션하는 것이므로, 모델에 대한 탐색 종료 효과를 추정하는 것입니다. 도출 후, 위의 과정은 모델 탐색 후 샘플의 점수를 나타내는 공식 (2)를 통해 완료될 수 있음을 확인했으며 이를 최종 순위에 사용했습니다.

위 공식은 원래 모델 매개변수에 대해 어떤 작업도 수행할 필요가 없다는 것을 의미하며, 모델 탐색을 완료하려면 적대적 기울기, 추정된 불확실성의 곱을 추가하고 하이퍼파라미터를 입력 표현에 수동으로 설정하기만 하면 됩니다. 예상 점수. 그 중 매개변수의 계산 방법과 다음 절에서 소개하겠습니다. 이 절의 뒷부분에서는 제안된 탐색 모듈에서 식 (2)의 상세한 도출 과정을 소개합니다.

3.1.2 세부 파생

각 데이터 샘플에 대해 모델 훈련은 매개변수의 두 부분, 즉 샘플에 해당하는 표현(제품, 사용자 임베딩 등 포함)과 모델 매개변수에 영향을 미칩니다. 학습에서 모델 매개변수의 목표는 단일 샘플이 아닌 모든 샘플에 적응하는 것이므로 단일 샘플 학습은 주로 샘플 표현에 영향을 미치고 모델 매개변수 자체는 약간의 조정만 필요하다고 생각할 수 있습니다. 따라서 후속 연구에서는 조정을 무시하고 샘플에 해당하는 표현의 변화에만 중점을 둘 것입니다. 표현을 포함하는 샘플의 실제 레이블이 다음과 같다고 가정하면 훈련 중에 손실 함수를 최소화하기 위한 업데이트 양을 찾아야 합니다. 이를 바탕으로 훈련에 사용되는 손실 함수를 나타내는

을 정의하며, 교차 엔트로피 손실 함수는 일반적으로 CTR 예측 작업에 사용됩니다. 동시에 표현의 최대 변화를 제한하는 데 사용됩니다. 작성을 단순화하기 위해 위 수식의 우변을 다음과 같이 작성하겠습니다.

라그랑주의 평균값 정리에 따르면 의 두 번째 노름이 0에 가까울 때 위의 손실 함수 공식(3)을 다음과 같이 유도할 수 있습니다.

공식(4)을 관찰하면 다음을 쉽게 찾을 수 있습니다. 손실 함수는 두 벡터의 방향이 반대일 때 최소값을 얻습니다. 방정식 (3)에서는 섭동을 제한합니다. 따라서 방정식 (3)을 풀면 다음과 같은 결과를 얻을 수 있습니다.

실제로 우리는 방정식 (5)의 정규화된 기울기를 대체하는 데 사용합니다. 체인 규칙을 도출하면 과 의 두 부분으로 확장될 수 있습니다. 더 계산하면 다음과 같은 결과가 나옵니다.

위 방정식에서 방정식을 참으로 유지하기 위해 크기를 다시 조정합니다. 의미는 다르지만 모두 수동으로 조정한 하이퍼파라미터이므로 직접 교체를 완료할 수 있습니다. 공식 (6)을 다음과 같이 더욱 단순화합니다.

위 공식에서 정규화된 기울기는 입력 표현에 대한 모델 출력의 파생 방향을 나타냅니다. 탐색 시간에는 실제 사용자 피드백을 사용할 수 없으므로 추정 불확실성을 사용하여 예측 점수와 실제 사용자 피드백 간의 차이를 측정합니다.

식 (7)에서 (도출은 식 (3)~식 (5)와 동일)의 제약 하에서 모델 예측 출력의 변화를 최대화할 수 있는 분석 솔루션을 찾습니다. 더욱이, 우리는 위의 입력 표현을 추가하는 프로세스가 적대적 섭동과 동일한 형태라는 것을 발견했습니다(식 (9) 참조).

따라서 우리는 식 (7)을 대체하기 위해 적대적 기울기를 사용하고 우리의 방법을 적대적 기울기 기반 탐색 알고리즘이라고 명명합니다.

공식 (9)는 AGE를 탐색하는 가장 효과적인 방법은 표현 입력에 적대적 섭동을 추가하고 섭동 모델의 출력을 순위 요인으로 사용하는 것임을 보여줍니다. 적대적 기울기로 표현되는 섭동 벡터의 방향은 다음과 같습니다. 입력, 교란의 예측 불확실성 정도. 따라서 합을 구한 후 앞서 언급한 식(2)인 탐색 후 모델 예측 점수를 계산하기 위해 다음 식을 사용할 수 있다.

3.2 구현 세부사항

AGE에서는 불확실성을 추정하기 위해 MC-Dropout 방법을 사용합니다. 구체적으로 MC-Dropout은 딥 모델의 각 뉴런에 임의의 마스크 가중치를 할당합니다. 구체적인 방법은 다음 공식(11)과 같습니다. 이 방법의 한 가지 이점은 모델의 원래 구조를 변경하지 않고도 불확실성을 직접 얻을 수 있다는 것입니다. 실제 동작에서는 UCB의 아이디어를 통해 드롭아웃의 분산을 계산하여 불확실성을 표현할 수도 있고, 톰슨 랜덤 샘플링 방법을 참고하여 샘플링과 평균의 차이를 계산하여 불확실성을 계산할 수도 있는데, 즉, 식(12)와 식(13))이다.

정규화된 적대적 기울기는 식 (8)의 빠른 기울기 방법(FGM)에 따라 계산할 수 있습니다. Adversarial Gradient를 보다 정확하게 계산하기 위해 Proximal Gradient Descent(PGD) 방법을 사용하여 식 (14)와 같이 여러 단계에서 Gradient를 반복적으로 업데이트할 수 있습니다.

3.3 동적 게이팅 유닛

실제로 모든 광고가 탐색할 가치가 있는 것은 아니라는 사실을 발견했습니다. 일반적인 Top-K 광고 시스템에서는 최종 사용자에게 노출될 수 있는 광고의 수가 상대적으로 적습니다. 따라서 클릭률이 낮은 광고(예: 품질이 낮은 광고 자체)의 경우 모델이 이러한 광고를 예측하는 데 있어 불확실성이 높더라도 광고 시스템의 비즈니스 속성을 고려하면 탐색적 가치는 여전히 매우 낮습니다. . 탐색을 통해 이러한 광고에 대한 많은 양의 데이터를 얻을 수 있으므로 이러한 광고는 모델에 의해 완전히 훈련되고 보다 정확하게 추정될 수 있지만 이러한 광고의 낮은 클릭률로 인해 이러한 광고를 얻는 것이 불가능합니다. 트래픽을 완전히 탐색한 후에도 자체적으로 탐색하는 것은 의심할 여지 없이 비효율적입니다. 이 백서에서는 탐색을 더욱 효율적으로 만들기 위해 간단한 경험적 방법을 시도했습니다. 광고에 대한 모델의 예상 점수가 모든 그룹에서 광고에 대한 평균 클릭률보다 높으면 탐색이 수행되지 않습니다.

광고의 평균 클릭률을 계산하기 위해 DGU(Dynamic Gating Threshold Unit) 모듈을 도입했습니다. DGU는 광고 측 기능만 입력으로 사용하여 광고의 평균 클릭률을 추정합니다. 모델의 예상 클릭률이 DGU 모듈에서 예상한 평균 광고 클릭률보다 낮으면 탐색이 수행되지 않습니다. 그렇지 않으면 일반 탐색이 수행됩니다. 그 과정은 다음 수식으로 표현된다.

마지막으로 이를 식 (10)에 대입하여 다음과 같이 AGE 탐사모델의 최종적이고 완전한 계산방법을 구하게 된다.

4. 실험 평가

4.1 오프라인 실험

무작위 샘플링 기반 탐색 방법, 심층 모델 기반 탐색 방법, 경사 기반 탐색 방법 등 세 가지 주요 범주의 기준 방법을 비교했습니다. 결과는 표 1에 나와 있습니다. . TS(Thompson Sampling) 방법을 기반으로 구축된 기본 모델이 UCB 기반 모델보다 우수하다는 것을 관찰할 수 있으며, 이는 TS가 모델 불확실성을 측정하는 데 더 나은 알고리즘임을 입증합니다. 또한 AGE 알고리즘이 모든 기본 방법보다 성능이 뛰어나다는 것을 관찰할 수 있으며 이는 AGE 방법의 효율성도 입증합니다. 구체적으로, AGE-TS와 AGE-UCB는 모두 각각 5.41%와 15.3%의 개선 값으로 최고의 기준선 UR-gradient-TS와 UR-gradient-UCB[4]를 능가합니다. AGE-TS 방법은 탐색을 하지 않는 기준 방법에 비해 클릭수를 28.0% 증가시킵니다. AGE 기반 UCB 및 TS 알고리즘인 AGE-UCB 및 AGE-TS는 유사한 결과를 달성한다는 점에 주목할 가치가 있습니다. 이는 경사 기반 UCB 및 TS 알고리즘의 경우에는 해당되지 않습니다. 이는 또한 AGE가 AGE의 불안정성을 보상할 수 있음을 증명합니다. UCB 방식.

표 1: 오프라인 실험 결과

또한 각 모듈의 효율성을 입증하기 위해 수많은 절제 실험을 수행했습니다. Table 2에서 보는 바와 같이 Threshold Unit, Adversarial Gradient, Uncertainty Unit은 모두 필수이다. DGU의 효과를 더 자세히 확인하기 위해 다양한 고정 임계값 매개변수를 시도한 결과 최종적으로 그 효과가 DGU의 동적 임계값만큼 좋지 않다는 것을 발견했습니다.

표 2: Ablation 실험 결과

4.2 온라인 실험

또한 AGE 모델을 Alimama 디스플레이 광고 시스템에 배포하여 모델의 탐색 가치를 정확하게 평가하기 위해 다음을 기반으로 평가 방법을 설계했습니다. 공정한 양동이. 그림 3과 같이 먼저 데이터 수집을 위해 버킷 C와 버킷 D를 설정했습니다. 버킷 D에서는 AGE와 같은 탐색 알고리즘을 배포하고, 버킷 C에서는 탐색 없이 기존 CTR 모델을 채택합니다. 일정 시간이 지난 후 버킷 C와 버킷 D에서 얻은 피드백 데이터를 각각 공정한 버킷 A와 B에 배포된 모델 교육에 적용합니다. 마지막으로 공정한 버킷 A와 B의 모델 성능을 비교해 보겠습니다. 온라인 실험에서는 클릭률(CTR), 표시된 광고 수 PV 및 PCOC, 실제 CTR에 대한 예측 CTR 비율 등 여러 가지 표준 지표를 평가용으로 사용합니다. 또한 광고주 만족도를 측정하기 위해 운영 지표(AFR)를 도입했습니다.

그림 3: 공정한 버킷 실험 계획

표 3에서 볼 수 있듯이 위의 지표가 효과적으로 개선되었습니다. 그중에서도 AGE는 다른 모든 방법보다 훨씬 뛰어납니다. CTR과 PV는 기준 모델보다 각각 6.4%와 3.0% 더 높습니다. 동시에 AGE 모델을 사용하면 모델의 예측 정확도도 향상됩니다. 즉, 예측 정확도 PCOC가 1에 가까워집니다. 더 중요한 것은 AFR 지표도 5.5% 증가했다는 점입니다. 이는 우리의 탐색 방법이 광고주 경험을 효과적으로 개선할 수 있음을 보여줍니다.

표 3: 온라인 실험 결과

5. 요약

잠재적 수익 추정에 초점을 맞춘 대부분의 탐색 및 활용 방법과 달리 우리의 방법 AGE는 온라인 학습 질문에 대한 데이터 기반 관점에서 이를 재구성합니다. 현재 모델 예측의 불확실성을 추정하는 것 외에도 AGE 알고리즘은 유사 탐색 모듈을 사용하여 탐색 샘플이 모델 훈련에 미치는 후속 영향을 추가로 고려합니다. 학술 연구 데이터 세트와 생산 링크 모두에 대해 A/B 테스트 실험을 수행했으며 관련 결과에서 AGE 방법의 유효성이 확인되었습니다. 앞으로는 더 많은 애플리케이션 시나리오에 AGE를 배포할 예정입니다.

위 내용은 적대적 기울기 기반 탐색 모델과 이를 클릭 예측에 적용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!