메이투안 검색 대략적인 순위 최적화 탐구 및 실습

저자: Xiaojiang Suogui, Li Xiang 등

대략 순위는 업계 검색 및 홍보 시스템의 중요한 모듈입니다. 대략적인 순위 효과를 최적화하는 탐색 및 실습에서 Meituan 검색 순위 팀은 세부 순위 연결과 실제 비즈니스 시나리오를 기반으로 효과 및 성과의 공동 최적화라는 두 가지 측면에서 대략적인 순위를 최적화하여 대략적인 순위의 효과를 향상시켰습니다.

1. 소개

우리 모두 알고 있듯이 검색, 추천, 광고 등 대규모 산업 응용 분야에서는 성능과 효과의 균형을 맞추기 위해 일반적으로 정렬 시스템이 캐스케이드 아키텍처를 채택합니다[1,2]. 아래 그림 1과 같습니다. 메이투안 검색 순위 시스템을 예로 들면, 전체 순위는 대략 정렬, 미세 정렬, 재배열로 나뉘며 대략 정렬은 회상과 미세 정렬 사이에 위치하며 100개 수준의 항목을 필터링해야 합니다. 천레벨 후보 아이템 세트에서 세밀한 로잉 레이어로 드려요.

그림 1 정렬 퍼널

Meituan 검색 및 정렬의 전체 링크 관점에서 개략적인 순위 모듈을 살펴보면 현재 대략적인 순위 계층 최적화에 몇 가지 과제가 있습니다.

• 샘플 선택 편향 : 캐스케이드 정렬 시스템에서는 대략적인 정렬이 최종 결과 표시 링크에서 멀리 떨어져 있어 대략적인 정렬 모델의 오프라인 교육 샘플 공간과 예측할 샘플 공간 간에 큰 차이가 발생합니다. 심각한 표본 선택 편향이 있습니다.
• 대략 정렬과 미세 정렬 연계: 대략 정렬은 회수와 미세 정렬 사이에 있으며 효과를 향상시키기 위해 획득하고 사용하려면 후속 링크에 대한 추가 정보가 필요합니다.
• 성능 제약 조건: 온라인 대략 순위 예측을 위한 후보 집합은 정밀 순위 모델보다 훨씬 높습니다. 그러나 실제 전체 검색 시스템은 성능에 대한 엄격한 요구 사항을 가지므로 예측에 중점을 둘 필요가 있습니다. 대략적인 순위에 대한 성능입니다.

이 기사에서는 Meituan 검색 대략적인 순위 계층 최적화에 대한 관련 탐색 및 실습을 공유하기 위해 위의 과제에 중점을 둘 것입니다. 그 중 정밀 순위 연결 문제에서 표본 선택 편향 문제를 해결하겠습니다. 이 기사는 주로 세 부분으로 나뉩니다. 첫 번째 부분은 Meituan 검색 순위의 대략적인 순위 레이어의 진화 경로를 간략하게 소개합니다. 두 번째 부분은 대략적인 순위 최적화의 관련 탐색 및 실습을 소개합니다. 그 중 첫 번째는 지식을 사용하는 것입니다. 거친 정렬 효과를 최적화하기 위해 거친 정렬과 거친 정렬 간의 정밀한 연결을 만들기 위한 증류 및 비교 학습 두 번째 작업은 대략적인 정렬 성능과 대략적인 정렬의 효과 트레이드오프 최적화를 고려하는 것입니다. 효과는 상당합니다. 마지막 부분은 요약과 전망입니다. 이 내용이 모든 사람에게 도움이 되고 영감을 주기를 바랍니다.

2. 대략적인 순위 진화 경로

Meituan 검색의 대략적인 순위 기술 진화는 다음 단계로 구분됩니다.

• 2016 정보는 다음과 같습니다. 선형 가중치를 적용하는 방법은 간단하지만 특징의 표현력이 약하여 수동으로 가중치를 결정하므로 정렬 효과가 개선될 여지가 많습니다.
• 2017: 기계 학습을 기반으로 하는 간단한 LR 모델을 사용한 점별 예측 순위.
• 2018: 벡터 내적을 기반으로 하는 2타워 모델을 사용하여 쿼리 단어, 사용자, 문맥 특성 및 판매자 특성을 각각 심층 네트워크 계산 후 사용자 및 쿼리 단어 벡터에 입력합니다. 각각 생성된 판매자 벡터와 내적을 계산하여 정렬을 위한 예상 점수를 얻습니다. 이 방법은 가맹점 벡터를 미리 계산해 저장할 수 있어 온라인 예측은 빠르지만 양측의 정보를 교차하는 능력은 제한적이다.
• 2019: 트윈 타워 모델이 교차 특성을 잘 모델링하지 못하는 문제를 해결하기 위해 트윈 타워 모델의 출력을 다른 교차 특성과 융합하는 특성으로 사용합니다. GBDT 트리 모델.
• 2020년부터 현재까지: 컴퓨팅 성능의 향상으로 인해 NN 엔드투엔드 대략적인 모델을 탐색하기 시작했고 계속해서 NN 모델을 반복하고 있습니다.

이 단계에서 업계에서 일반적으로 사용되는 거친 모델에는 Tencent [3] 및 iQiyi [4]와 같은 트윈 타워 모델과 Alibaba [1, 2]. 다음은 대략적인 순위를 NN 모델로 업그레이드하는 과정에서 Meituan Search의 관련 최적화 작업을 주로 소개합니다. 여기에는 주로 대략적인 순위 효과 최적화와 효과 및 성능 결합 최적화의 두 부분이 포함됩니다.

3. 대략적인 정렬 최적화 실습

Meituan Search의 미세 정렬 NN 모델에 구현된 많은 양의 효과 최적화 작업[5,6]을 통해 우리는 거친 정렬 NN 모델의 최적화도 탐색하기 시작했습니다. 대략적인 정렬에는 엄격한 성능 제약이 있다는 점을 고려하면 미세 정렬의 최적화 작업을 대략적인 정렬로 직접 재사용하는 것은 적용 가능하지 않습니다. 다음에서는 미세 정렬의 정렬 기능을 성긴 정렬로 전환하여 미세 정렬의 연계 효과 최적화와 신경망 구조를 기반으로 한 자동 검색 효과 및 성능의 트레이드 오프 최적화에 대해 소개합니다.

3.1 미세 정렬 연계 효과 최적화

대략 정렬 모델은 채점 성능 제약으로 인해 모델 구조가 미세 정렬 모델에 비해 단순하고 특징 수가 훨씬 적습니다. 미세 정렬 모델이므로 미세 정렬보다 정렬 효과가 더 나쁩니다. 대략적인 순위 모델의 단순한 구조와 소수의 특징으로 인해 발생하는 효과 손실을 보충하기 위해 지식 증류 방법[7]을 사용하여 미세 순위를 연결하여 대략 순위를 최적화하려고 시도했습니다.

지식 증류는 모델 구조를 단순화하고 효과 손실을 최소화하기 위해 업계에서 널리 사용되는 방법입니다. 교사-학생 패러다임을 채택합니다. 즉, 복잡한 구조와 강력한 학습 능력을 갖춘 모델을 교사 모델로 사용합니다. Student 모델은 비교적 단순한 구조의 모델을 사용하며, Teacher 모델을 사용하여 Student 모델의 학습을 지원함으로써 Teacher 모델의 "지식"을 Student 모델에 전달하여 Student 모델의 효과를 향상시킵니다. 모델. 미세 행 증류와 대략적인 행 증류의 개략도는 아래 그림 2에 나와 있습니다. 증류 방식은 미세 행 결과 증류, 미세 행 예측 점수 증류, 특징 표현 증류의 세 가지 유형으로 구분됩니다. Meituan 검색 대략 순위에서 이러한 증류 방식의 실제 경험이 아래에 소개됩니다.

그림 2 정밀 정렬 증류 거친 정렬 도식

3.1.1 정밀 정렬 결과 목록 증류

대차 정렬은 정밀 정렬의 전 모듈이며, 그 목표는 처음에 더 나은 것을 선별하는 것입니다. quality 후보 세트는 학습 샘플 선택 관점에서 일반 사용자 행동(클릭, 주문, 결제)이 긍정적 샘플로 사용되는 항목과 노출되지 않은 항목에 포함됩니다. 미세 정렬 모델의 정렬 결과를 통해 구성된 긍정적 샘플과 부정적 샘플은 거친 정렬 모델의 샘플 선택 편향을 어느 정도 완화할 수 있을 뿐만 아니라, 미세 정렬 모델의 정렬 기능을 거친 정렬로 확장합니다. 다음은 Meituan 검색 시나리오에서 거친 정렬 모델을 추출하기 위해 미세 정렬 결과를 사용하는 실제 경험을 소개합니다.

전략 1: 사용자가 피드백한 양성 샘플과 음성 샘플을 기반으로 그림 3과 같이 미세 정렬 하단에서 소수의 노출되지 않은 샘플을 무작위로 선택하여 대략적인 정렬 음성 샘플을 보완합니다. 이번 변경 사항은 오프라인 Recall@150(지표 설명은 부록 참조) +5PP, 온라인 CTR +0.1%입니다.

그림 3 보충 정렬 결과 부정적인 예

전략 2: 훈련 샘플을 얻기 위해 미세 정렬 후 세트에서 직접 무작위 샘플링을 수행하고 미세 정렬 위치를 레이블로 사용합니다. 쌍 구성 훈련은 아래 그림 4와 같이 수행됩니다. 전략 1과 비교하면 오프라인 효과는 Recall@150 +2PP, 온라인 CTR은 +0.06%이다.

그림 4 앞뒤로 정렬하여 한 쌍의 샘플 구성

전략 3: 전략 2의 샘플 세트 선택을 바탕으로 세분화된 정렬 위치를 분류하여 라벨을 구성하고, 그런 다음 분류 파일 레이블에 따라 훈련을 위한 쌍을 구성합니다. 전략 2와 비교하면 오프라인 효과는 Recall@150 +3PP이고, 온라인 CTR은 +0.1%이다.

3.1.2 정밀한 순위 예측 점수 증류

기존의 순위 결과 증류 사용은 미세한 순위 정보를 사용하는 비교적 대략적인 방법입니다. 이를 바탕으로 예측 점수 증류[8]를 추가하고 대략적인 결과가 나오길 바랍니다. 순위 모델 출력 점수는 아래 그림 5와 같이 Fine 순위 모델에 의한 점수 분포 출력과 최대한 일치합니다.

그림 5 정밀 순위 예측 점수 구성 보조 손실

구체적인 구현 측면에서는 사전 훈련된 미세 분류 모델을 기반으로 거친 분류 모델을 증류하기 위해 2단계 증류 패러다임을 사용합니다. 증류 손실은 거친 분류 모델 출력의 최소 제곱 오차와 미세 분류를 사용합니다. 공식(1)에 표시된 것처럼 최종 손실에 대한 증류 손실의 영향을 제어하는 ​​데 매개변수 Lambda가 사용됩니다. 정밀분별증류법을 이용한 오프라인 효과는 Recall@150 +5PP, 온라인 효과는 CTR +0.05%입니다.

3.1.3 특징 표현 증류

업계에서는 대략적인 순위 표현 모델링을 안내하기 위해 지식 증류를 사용하지만 직접적으로는 효과적인 방법이라는 것이 검증되었습니다. 표현을 증류하기 위해 전통적인 방법을 사용하면 다음과 같은 결함이 있습니다. 첫 번째는 위에서 언급한 것처럼 정렬 결과 증류가 우리 시나리오에서 오프라인과 온라인 모두에서 개선된 효과를 갖는다는 것입니다. 표현 측정을 위한 지식 증류 방식인 KL의 전통적인 사용은 표현의 각 차원을 독립적으로 처리하므로 관련성이 높고 구조화된 정보를 효과적으로 추출할 수 없습니다[9]. 따라서 Meituan 검색 시나리오에서는 데이터가 고도로 구조화되어 있습니다. 표상증류를 위한 전통지식 증류 전략은 이러한 구조화된 지식을 잘 포착하지 못할 수도 있습니다.

대략 순위 모델에 대조 학습 기술을 적용하여 대략 순위 모델도 정밀 순위 모델의 표현을 추출할 때 순서 관계를 추출할 수 있습니다. 거친 모델을 표현하려면 을 사용하고 정밀한 모델을 표현하려면 을 사용합니다. q가 데이터 세트의 요청이라고 가정합니다. 는 이 요청에 대한 긍정적인 예이고 는 이 요청에 해당하는 k개의 부정적인 예입니다.

대응하는 표현을 얻기 위해 각각 을 대략 순위 네트워크와 정밀 순위 네트워크에 입력합니다. 동시에 대략 순위 네트워크에 을 입력하여 대략 순위 모델 인코딩을 얻습니다. 최종 표현. 대조 학습을 위한 부정적인 예제 쌍을 선택하기 위해 미세 정렬 순서를 빈으로 나누는 전략 3의 솔루션을 채택합니다. 동일한 빈에서 미세 정렬과 대략적인 정렬의 표현 쌍은 긍정적인 예로 간주됩니다. 서로 다른 빈 간의 정밀 정렬은 양수 예로 간주되며 InfoNCE Loss는 이 목표를 최적화하는 데 사용됩니다.

여기서 두 벡터의 내적을 나타내고 다음과 같습니다. 온도 계수. InfoNCE 손실의 특성을 분석해 보면, 위 수식은 거친 표현과 미세한 표현 간의 상호 정보를 최대화하는 하한과 본질적으로 동일하다는 것을 찾는 것이 어렵지 않습니다. 따라서 이 방법은 본질적으로 상호 정보 수준에서 미세한 표현과 거친 표현 간의 일관성을 극대화하고 구조화된 지식을 보다 효과적으로 증류할 수 있습니다.

그림 6 비교 학습 정제된 정보 전달

위의 식 (1)을 기반으로 대조 학습 표현 증류 손실, 오프라인 효과 Recall@150 +14PP, 온라인 CTR +0.15%를 보완합니다. 관련 작업에 대한 자세한 내용은 당사 논문[10](투고 중)을 참조하세요.

3.2 효과와 성능의 공동 최적화

앞서 언급한 것처럼 온라인 예측을 위한 개략적인 순위 후보 세트는 시스템의 전체 링크 성능의 제약을 고려할 때 상대적으로 큽니다. 위에서 언급한 작업은 모두 Simple DNN + Distillation이라는 패러다임을 기반으로 최적화되어 있지만 두 가지 문제가 있습니다.

• 현재는 온라인 성능에 한계가 있고, 더 풍부한 교차 기능을 도입하지 않고 단순한 기능만 사용하고 있어 결과적으로 모델 성능이 더욱 향상될 여지가 있습니다.
• 고정된 대략적인 모델 구조를 사용한 증류는 증류 효과를 잃어 최적이 아닌 솔루션이 됩니다[11].

실제 경험에 따르면 교차 기능을 대략적인 레이어에 직접 도입하는 것은 온라인 대기 시간 요구 사항을 충족할 수 없습니다. 따라서 위의 문제를 해결하기 위해 신경망 아키텍처 검색 기반의 대략적인 순위 모델링 솔루션을 탐색하고 구현했습니다. 이 솔루션은 대략적인 순위 모델의 효과와 성능을 동시에 최적화하고 이를 충족하는 최상의 특징 조합과 모델을 선택합니다. 구조, 전체 아키텍처 다이어그램은 아래 그림 7에 나와 있습니다.

그림 7 NAS 기반 기능 및 모델 구조

선택 다음으로 신경망 아키텍처를 검색합니다. (NAS) 및 소개 효율성 모델링의 두 가지 핵심 기술 포인트에 대한 간략한 소개:

• 신경망 아키텍처 검색: 위의 그림 7과 같이 ProxylessNAS[12] 기반의 모델링 방법을 사용합니다. 네트워크 매개변수 외에도 전체 모델 교육에는 기능 마스크 매개변수와 네트워크 아키텍처 매개변수가 추가됩니다. 이러한 매개변수는 모델 대상과 함께 차별화되고 학습됩니다. 특징 선택 부분에서는 각 특징에 베르누이 분포 기반의 마스크 매개변수를 도입합니다. 공식 (4)를 참조하세요. 여기서 베르누이 분포의 θ 매개변수는 역전파를 통해 업데이트되고 최종적으로 각 특징의 중요도가 얻어집니다. 구조 선택 부분에서는 Mixop의 각 그룹에 N개의 선택적 네트워크 구조 단위가 포함되어 있습니다. 실험에서는 N = {1024 , 512, 256, 128, 64}, 그리고 다양한 레이어 수의 신경망을 선택하기 위해 숨겨진 단위 번호가 0인 구조 단위도 추가했습니다.

• 효율성 모델링: 모델 목표에서 효율성 지표를 모델링하려면 모델 시간 소모를 표현하기 위해 미분 가능한 학습 목표를 사용해야 합니다. 대략적인 모델의 시간 소모는 주로 다음과 같이 나뉩니다. 기능 시간 소비 및 모델 구조에는 시간이 많이 걸립니다.

기능 시간이 많이 소요되는 경우 각 기능 fi의 지연 기대치는 공식 (5)와 같이 모델링될 수 있습니다. 여기서 는 서버에서 기록된 각 기능의 지연입니다.

실제 상황에서 기능은 두 가지 범주로 나눌 수 있습니다. 한 부분은 주로 업스트림 전송 지연에서 발생하는 지연이 있는 업스트림 투명 전송 기능이고, 다른 유형의 기능은 로컬 획득(KV 읽기)에서 발생합니다. 또는 계산), 각 기능 조합의 지연은 다음과 같이 모델링될 수 있습니다.

여기서 및 은 해당 기능 세트의 수를 나타내고, 및 모델 시스템 기능은 풀 동시성을 나타냅니다.

모델 구조의 지연 모델링은 위 그림 7의 오른쪽 부분을 참조하세요. 이러한 Mixop의 실행은 순차적으로 수행되므로 모델 구조 지연과 전체 모델의 시간 소모를 재귀적으로 계산할 수 있습니다. 부분은 Mixop의 마지막 레이어로 표현할 수 있습니다. 회로도는 아래 그림 8과 같습니다.

그림 8 모델 지연 계산 다이어그램

왼쪽은 대략적인 네트워크가 장착된 것입니다. 네트워크 아키텍처 선택으로, 여기서 는 5번째 레이어의 1번째 신경 유닛의 가중치를 나타냅니다. 오른쪽에는 네트워크 지연 계산의 개략도가 있습니다. 따라서 전체 모델 예측 부분의 시간 소모는 공식 (7)과 같이 모델의 마지막 레이어로 표현할 수 있습니다.

마지막으로 모델에 효율성 지수를 도입하고 최종 모델 훈련의 손실은 아래 공식 (8)과 같습니다. 여기서 f는 정밀 순위 네트워크를 나타내고, 는 균형 요인을 나타내고, 는 각각 대략 순위와 정밀 순위의 점수 출력을 나타냅니다.

신경망 아키텍처 검색 모델링을 사용하여 대략적인 순위 모델인 오프라인 Recall@150 +11PP의 효과와 예측 성능을 공동으로 최적화하고, 마지막으로 온라인 지연을 늘리지 않고 온라인 지표 CTR + 0.12 %; 자세한 작업은 KDD 2022에서 승인된 [13]에서 확인할 수 있습니다.

4. 요약

2020년부터 우리는 MLP 모델에 대략 순위 레이어를 구현하기 위해 다수의 엔지니어링 성능 최적화를 구현했습니다. 거친 순위 효과를 개선하기 위한 MLP 모델입니다.

우선, 정밀 순위를 연결하고 대략적인 순위를 최적화하기 위해 업계에서 일반적으로 사용되는 증류 방식을 활용했습니다. 정밀 순위 결과 증류, 정밀 순위 예측 점수 증류, 세 가지 수준에서 많은 실험을 수행했습니다. 온라인 수를 늘리지 않고 기능 표현을 추출합니다. 지연의 경우 대략적인 레이아웃 모델의 효과가 향상됩니다. 둘째, 전통적인 증류 방법은 정렬 시나리오에서 특징 구조화된 정보를 잘 처리할 수 없다는 점을 고려하여 대조 학습을 기반으로 미세 정렬 정보를 거친 정렬로 전환하는 자체 개발 방식을 개발했습니다.

마지막으로 대략적인 최적화는 본질적으로 효과와 성능 사이의 균형이라는 점을 고려하여 효과와 성능을 동시에 최적화하기 위해 다중 목표 모델링이라는 아이디어를 채택하고 신경망 아키텍처에 대한 자동 검색 기술을 구현했습니다. 문제를 해결하고 모델이 최고의 효율성과 효율성을 갖춘 기능 세트와 모델 구조를 자동으로 선택하도록 합니다. 앞으로도 우리는 다음과 같은 측면에서 러프 레이어 기술을 계속 반복할 것입니다.

• 대략 정렬의 다중 목표 모델링: 현재의 대략 정렬은 본질적으로 단일 목표 모델입니다. 우리는 현재 미세 정렬 레이어의 다중 목표 모델링을 대략 정렬에 적용하려고 합니다.
• 대략적인 정렬에 연결된 시스템 전체의 동적 컴퓨팅 성능: 대략적인 정렬은 회상의 컴퓨팅 성능과 정밀 정렬의 컴퓨팅 성능을 제어할 수 있으므로 모델에 필요한 컴퓨팅 성능이 다릅니다. 동적 컴퓨팅 전력 할당은 온라인 효과를 줄이지 않고도 시스템 컴퓨팅 전력 소비를 줄일 수 있습니다. 현재 우리는 이러한 측면에서 특정 온라인 효과를 달성했습니다.

5. 부록

기존 정렬 오프라인 지표는 대부분 NDCG, MAP 및 AUC 지표를 기반으로 하며 대략적인 정렬의 경우 그 본질은 세트 선택을 목표로 하는 리콜 작업에 더 가깝기 때문에 전통적인 정렬 인덱스는 도움이 되지 않습니다. 대략적인 정렬 모델의 반복 효과를 측정합니다. 거친 정렬의 오프라인 효과를 측정하는 방법으로 [6]의 Recall 지표를 참조합니다. 즉, 미세 정렬 결과를 Ground Truth로 사용하여 거친 정렬과 미세 정렬의 TopK 결과 정렬 정도를 측정합니다. Recall 지표의 구체적인 정의는 다음과 같습니다.

이 공식의 물리적 의미는 대략적인 정렬의 상위 K 항목과 정밀 정렬의 상위 K 항목 간의 중복을 측정하는 것입니다. 대략적인 분류 세트 선택의 본질.

6. 저자 소개

Xiao Jiang, Suo Gui, Li Xiang, Cao Yue, Pei Hao, Xiao Yao, Dayao, Chen Sheng, Yun Sen, Li Qian 등, 모두 메이투안 플랫폼/검색 추천 알고리즘에서 부서 .

위 내용은 메이투안 검색 대략적인 순위 최적화 탐구 및 실습의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!