Taobao 추천 시스템에 지속적인 전이 학습 교차 도메인 추천 순위 모델 적용

이 글에서는 업계 연속 학습 프레임워크 하에서 교차 도메인 추천 모델을 구현하는 방법을 살펴보고, 지속적으로 사전 훈련된 소스의 중간 계층 표현 결과를 사용하여 연속 전이 학습의 새로운 교차 도메인 추천 패러다임을 제안합니다. 모델에 대한 추가 지식을 바탕으로 경량 어댑터 모듈을 설계하여 도메인 간 지식의 마이그레이션을 실현하고 추천 제품 순위에서 상당한 비즈니스 성과를 달성했습니다.

Background

최근에는 딥 모델을 적용하면서 업계 추천 시스템의 추천 효과가 크게 향상되었습니다. 현장 내 데이터에 대한 작업은 더 어렵습니다. 타오바오와 같은 대규모 전자상거래 플랫폼에서는 다양한 사용자의 다양한 요구를 충족하기 위해 정보 흐름 추천(홈페이지에서 좋아할 수 있음), 좋은 제품 등 다양한 규모의 일련의 추천 시나리오가 있습니다. , 구매 후 추천 및 수집 이러한 시나리오는 Taobao 제품 시스템을 공유하지만 특정 제품 선택 풀, 핵심 사용자 및 비즈니스 목표에 상당한 차이가 있으며 다양한 시나리오의 규모도 크게 다릅니다. "좋은 제품" 시나리오는 타오바오가 선정한 상품에 대한 쇼핑 가이드 시나리오입니다. 정보 흐름 추천, 주요 검색 및 기타 시나리오에 비해 규모가 상대적으로 작습니다. 따라서 전이 학습, 교차 도메인 추천 및 기타 사용 방법. 모델 효과를 개선하는 방법은 항상 좋은 상품 정렬 모델을 최적화하는 핵심 포인트 중 하나였습니다. 타오바오의 서로 다른 비즈니스 시나리오의 제품과 사용자가 겹치더라도 시나리오의 상당한 차이로 인해 정보 흐름 추천과 같은 대규모 시나리오의 순위 모델은 좋은 상품이 있는 시나리오에 직접 적용할 때 제대로 작동하지 않습니다. 이에 팀에서는 사전 훈련과 Fine-tuning, 다중 시나리오 공동 훈련, 글로벌 학습 등 기존의 일련의 방법을 활용하는 등 교차 도메인 추천 방향으로 상당한 시도를 해왔습니다. 이러한 방법은 실제 온라인 신청 시 효과적이지 않거나 적지 않은 문제를 안고 있습니다. 지속적 전이 학습 프로젝트는 이러한 방법을 비즈니스에 적용할 때 발생하는 일련의 문제에 대해 간단하고 효과적인 새로운 교차 도메인 추천 방법을 제안합니다. 이 방법

은 지속적으로 사전 학습된 소스 도메인 모델의 중간 계층 표현 결과를 대상 도메인 모델에 대한 추가 지식

으로 활용하고 Taobao의 좋은 제품 추천 순위에서 상당한 비즈니스 성과를 달성했습니다.

Taobao의 도메인 간 클릭률 예측을 위한 연속 전이 학습 기사의 세부 버전은 ArXiv https://arxiv.org/abs/2208.05728에 게시되었습니다.

Method

▐ 기존 업무와 단점

학계 및 산업체의 기존 Cross-Domain Recommendation(CDR) 관련 업무를 분석하여 크게 Joint Learning과 Pre-training & 미세 조정. 그 중 공동 훈련 방법은 소스 도메인(Source Domain) 모델과 타겟 도메인(Target Domain) 모델을 동시에 최적화합니다. 그러나 이러한 유형의 방법을 사용하려면 훈련에 원본 도메인 데이터를 도입해야 하며 원본 도메인 샘플의 크기가 일반적으로 크기 때문에 막대한 컴퓨팅 및 스토리지 리소스를 소비합니다. 많은 소규모 기업에서는 이러한 대규모 리소스 오버헤드를 감당할 수 없습니다. 반면에 이러한 유형의 방법은 동시에 여러 장면 목표를 최적화해야 하며 장면 간의 차이도 목표 충돌의 부정적인 영향을 가져올 수 있으므로 사전 훈련-미세 조정 방법은 많은 장면에서 더 광범위하게 적용됩니다. 업계.

산업 추천 시스템의 중요한 특징은 모델 훈련이 지속적인 학습 패러다임을 따른다는 것입니다. 즉, 모델은 최신 샘플을 사용하고 오프라인 증분 업데이트(증분 학습) 또는 온라인 학습) 을 활용해야 합니다. 최신 데이터 분포를 학습하는 기타 방법. 본 논문에서 연구한 교차 도메인 추천 작업의 경우 원본 도메인과 대상 도메인의 모델은 지속적인 학습 훈련 방법을 따릅니다. 따라서 우리는 학술 및 산업 응용 분야에서 널리 사용될 새로운 문제인 연속 전이 학습(지속적 전이 학습)을 제안합니다. 이는 시간이 지남에 따라 변하는 한 영역에서 시간이 지남에 따라 변하는 다른 영역으로 지식을 전달하는 것으로 정의됩니다. 우리는 산업 추천 시스템, 검색 엔진, 전산 광고 등에 기존 교차 도메인 추천 및 전이 학습 방법을 적용하는 것은 지속적인 전이 학습 패러다임을 따라야 한다고 믿습니다. 즉, 전이 프로세스는 연속적이고 여러 번 이루어져야 합니다. 그 이유는 데이터 분포가 급격하게 변화하고, 지속적인 마이그레이션만이 안정적인 마이그레이션 효과를 보장할 수 있기 때문입니다. 이러한 산업 추천 시스템의 특성과 결합하여 사전 훈련 및 미세 조정의 실제 적용에서 문제점을 찾을 수 있습니다. 원본 도메인과 대상 도메인 간의 장면 차이로 인해 일반적으로 원본 도메인 모델을 미세 조정하여 더 나은 결과를 얻으려면 많은 수의 샘플을 사용해야 합니다. 지속적인 전이 학습을 달성하려면 최신 소스 도메인 모델을 사용하여 가끔씩 재정비해야 하며 결과적으로 매우 큰 교육 비용이 발생합니다. 이 교육 방법도 온라인으로 전환하기 어렵습니다. 또한 미세 조정을 위해 이러한 많은 수의 샘플을 사용하면 소스 도메인 모델이 보유된 유용한 지식을 잊어버릴 수도 있으므로 모델의 치명적인 망각 문제를 방지하고 소스 도메인 모델 매개변수를 사용하여 원본을 대체할 수도 있습니다. 대상 도메인에서 학습된 매개변수는 원래 모델에서 역사적으로 얻은 유용한 지식이 삭제됩니다. 따라서 산업 추천 시나리오에 적합한 보다 효율적인 연속 전이 학습 모델을 설계해야 합니다.

이 기사에서는 위의 문제를 해결하기 위해 간단하고 효과적인 모델

CTNet(Continual Transfer Network, Continuous Transfer Network)을 제안합니다. 기존의 사전 학습-미세 조정 방법과 달리 CTNet의 핵심 아이디어는 모델이 역사상 획득한 모든 지식을 잊어버릴 수 없으며 원래 소스 도메인 모델과 대상 도메인 모델의 모든 매개변수를 유지한다는 것입니다. . 이러한 매개변수는 매우 오랜 기간의 과거 데이터 학습을 통해 얻은 지식을 저장합니다(예: Taobao의 정밀 순위 모델은 2년 이상 지속적으로 점진적으로 학습되었습니다). CTNet은 간단한 트윈 타워 구조를 채택하고 경량 어댑터 계층을 사용하여 지속적으로 사전 학습된 소스 도메인 모델의 중간 계층 표현 결과를 대상 도메인 모델에 대한 추가 지식으로 매핑합니다. 지속적인 전이 학습을 달성하기 위해 데이터를 역추적해야 하는 사전 훈련-미세 조정 방법과 달리 CTNet은 증분 데이터만 업데이트하면 되므로 효율적인 연속 전이 학습이 달성됩니다.

method지속적인 전이학습합동훈련을 대량의 데이터로 이룰 수 있습니다.

소스 도메인 샘플을 대량으로 활용할 필요 없음	소스의 영향을 받지 않음 도메인 장면 대상	추가만 하면
아니요	아니요	예
사전 교육 - 미세 조정	예	예	아니요
CTNet 제안 이 기사에서	은	은	은

표 1: CTNet과 기존 교차 도메인 추천 모델의 비교

▐ 문제 정의

이 기사에서는 지속적인 전이 학습의 새로운 문제를 탐구합니다.

시간이 지남에 따라 지속성을 제공 소스 변경 및 대상 도메인과 관련하여 연속 전이 학습은 과거 또는 현재 획득한 소스 및 대상 도메인 지식을 사용하여 미래 대상 도메인의 예측 정확도를 향상시키기를 희망합니다.

타오바오의 크로스 도메인 추천 작업에 지속적 전이 학습 문제를 적용합니다. 이 작업은 다음과 같은 특징을 가지고 있습니다.

1. 다양한 추천 시나리오의 규모는 크게 다르며, 더 큰 소스 도메인에서 훈련된 모델에 대한 지식을 사용하여 대상 도메인의 추천 효과를 향상시킬 수 있습니다.
2. 다양한 시나리오의 사용자와 제품은 동일한 큰 냄비를 공유합니다. 그러나 선택한 제품 풀, 핵심 사용자, 그래픽 및 텍스트 등의 표시 효과가 다르기 때문에 다양한 시나리오에서 명백한 필드 차이가 있습니다.
3. 모든 권장 시나리오 모델은 최신 데이터를 기반으로 지속적으로 점진적으로 학습됩니다.

그림 1: 모델 배포의 도식 다이어그램

위 그림은 우리 방법의 온라인 배포를 보여줍니다. 순간 이전에는 각 장면의 감독 데이터만을 사용하여 소스 도메인 모델과 대상 도메인 모델을 개별적이고 지속적으로 점진적으로 학습했습니다. 순간부터 우리는 교차 도메인 추천 모델인 CTNet을 대상 도메인에 배포했습니다. 이 모델은 이전에 얻은 지식을 잊지 않고 대상 도메인 데이터에 대해 계속해서 점진적으로 학습하는 동시에 지속적으로 지식을 이전합니다. -날짜 소스 도메인 모델.

▐ Continuous Transfer Network Model (CTNet)

그림 2: Continuous Transfer Network CTNet

그림 2와 같이 우리가 제안하는 Continuous Transfer Network(CTNet) 모델은 모든 원본 도메인 모델의 특징과 대상 도메인의 원래 정제된 모델에 있는 해당 네트워크 매개변수를 사용하여 CTNet의 왼쪽 타워가 소스 타워이고 오른쪽 타워가 대상 타워인 2개의 타워 구조를 형성합니다(Target Tower). . 소스 도메인 모델의 최종 채점 점수만 사용하거나 일부 얕은 표현(예: 임베딩)만 사용하는 일반적인 방법과 달리, 우리는 경량 어댑터 네트워크를 사용하여 소스 도메인 모델의 모든 중간 숨겨진 레이어를 결합합니다MLP( 특히 소스 도메인 MLP의 심층 레이어에 포함된 표현 결과 를 타겟 추천 도메인에 매핑하고 그 결과를 타겟 타워의 해당 레이어 에 추가합니다(다음 수식으로 표현). 상황).

CTNet 성능 향상의 핵심은 MLP의 심층 표현 정보 마이그레이션을 활용하는 것입니다. GLU(Gated Linear Unit) 아이디어를 바탕으로 Adapter 네트워크는 게이트 선형 레이어를 사용하여 소스 도메인 기능의 적응형 기능 선택을 효과적으로 구현할 수 있으며 모델의 유용한 지식과 일치하지 않는 정보가 마이그레이션됩니다. 장면 특성이 필터링될 수 있습니다. 소스 도메인 모델은 지속적인 사전 훈련을 위해 최신 소스 도메인 감독 데이터를 계속 사용하므로 훈련 프로세스 중에 Source Tower는 최신 업데이트된 소스 도메인 모델 매개변수를 계속 로드하고 역전파 프로세스 중에 고정된 상태를 유지합니다. 지속적인 전이 학습의 효율적인 진행. 따라서 CTNet 모델은 지속적인 학습 패러다임에 매우 적합하여 대상 도메인 모델이 소스 도메인 모델에서 제공하는 최신 지식을 지속적으로 학습하여 최신 데이터 분포 변화에 적응할 수 있습니다. 동시에, 모델은 대상 도메인 데이터에 대해서만 훈련되기 때문에 모델이 소스 도메인 훈련 목표의 영향을 받지 않고 소스 도메인 데이터 훈련이 전혀 필요하지 않아 많은 양의 저장 공간을 피할 수 있습니다. 그리고 컴퓨팅 오버헤드. 또한 이러한 네트워크 구조는 추가 설계 방법을 채택하므로 마이그레이션 프로세스 중에 원본 모델의 MLP 레이어 크기를 변경할 필요가 없으며 원본 대상 도메인 온라인 모델에 의해 Target Tower가 완전히 초기화됩니다. MLP 레이어의 무작위 재초기화는 원본 모델의 효과가 최대한 손상되지 않도록 보장하고, 좋은 결과를 얻기 위해 필요한 증분 데이터만 줄여 모델의 핫 스타트를 실현합니다.

원본 도메인 모델을 로, 원래 단일 도메인 권장 대상 도메인 모델을 로, 새로 배포된 대상 도메인 교차 도메인 추천 모델을 , 으로 정의합니다. 교차 도메인 추천 모델을 위한 온라인 시간을 배포하여 모델은 시간 에 대해 지속적이고 점진적으로 업데이트됩니다. Adapter, Source Tower 및 Target Tower의 매개변수는 각각 , 및 입니다. CTNet 훈련 과정은 다음과 같습니다. ​

그림 3: CTNet 훈련

Experiment

▐ 오프라인 효과

표 2: 오프라인 실험 결과

위 표에서 볼 수 있듯이, 우량 상품 사업(표의 도메인 B와 C)을 포함하는 두 가지 하위 시나리오의 해당 생산 데이터 세트에 대해 일련의 오프라인 실험을 수행했습니다. 도메인(표의 도메인 B와 C) 도메인 A)는 홈페이지 정보 흐름에 대한 시나리오를 권장합니다. 정보 흐름 추천(홈페이지에서 좋아하실 수도 있음)을 직접 활용하는 순위 모델 점수 결과(표의 소스 도메인 모델)는 온라인 전체 볼륨 모델에 비해 좋은 상품의 비즈니스에 효과적이지 않음을 알 수 있습니다. , 절대값은 GAUC-5.88%와 GAUC-9.06%로 시나리오 간의 차이를 입증합니다.

또한 일반적인 사전 훈련-미세 조정 방법과 공동 훈련 방법(예: MLP++, PLE, MiNet, DDTCDR, DASL 등)을 포함한 일련의 전통적인 교차 도메인 권장 기본 방법을 비교했습니다. 두 가지 모두에서 최고의 성능을 발휘합니다. 모든 데이터 세트에서 기존 방법보다 훨씬 낫습니다. 전체 온라인 메인 모델과 비교하여 CTNet은 두 데이터 세트에서 각각 +1.0% 및 +3.6%의 GAUC 향상을 달성했습니다. 우리는 실험을 통해 단일 전송과 비교하여 연속 전송의 장점을 추가로 분석했습니다. CTNet 프레임워크에서는 단일 전이로 인한 효과 개선이 모델의 점진적인 업데이트로 인해 약화되는 반면, 지속적인 전이 학습을 통해 모델 효과의 안정적인 개선을 보장할 수 있습니다.

그림 4: 단일 전이에 비해 지속적인 전이 학습의 장점

다음 표는 전통적인 사전 훈련-미세 조정의 효과를 보여줍니다. 대상 도메인 데이터에 대한 교육 중입니다. 필드 간 차이로 인해 모델 효과를 전체 온라인 기본 모델과 비교할 수 있는 수준으로 조정하려면 매우 많은 수의 샘플(예: 120일 샘플)이 필요합니다. 지속적인 전이 학습을 달성하려면 정기적으로 최신 소스 도메인 모델을 사용하여 재조정해야 합니다. 또한 각 조정에 드는 막대한 비용으로 인해 이 방법은 지속적인 전이 학습에 적합하지 않습니다. 또한 이 방법은 효과 측면에서 마이그레이션이 없는 기본 모델을 능가하지 못합니다. 주된 이유는 대규모 대상 도메인 샘플 학습을 사용하면 모델이 원래 소스 도메인 지식을 잊어버리게 되고 최종 모델 효과는 다음과 같습니다. 훈련은 대상 도메인 데이터에 대해서만 훈련하는 효과와 유사합니다. 사전 훈련-미세 조정 패러다임에서는 일부 임베딩 매개변수만 로드하는 것이 모든 매개변수를 재사용하는 것보다 낫습니다(표 2 참조). ▐ 좋은 상품을 추천하는 사업이 본격화되었습니다. 이전 세대 풀 모델과 비교하여 두 가지 추천 시나리오에서 비즈니스 지표가 크게 개선되었습니다. 시나리오 B: CTR+2.5%, 추가 구매 +6.7%, 거래 수 +3.4%, GMV+7.7%

시나리오 C :

CTR +12.3%, 숙박 기간 +8.8%, 추가 구매 +10.9%, 거래 건수 +30.9%, GMV +31.9%

CTNet은 컴퓨팅 리소스를 절약하기 위해 병렬 네트워크 구조를 채택합니다. Attention 레이어의 매개변수와 결과를 공유합니다. Source Tower와 Target Tower의 동일한 부분에 있는 Attention 레이어를 한 번만 계산할 수 있습니다. Base 모델과 비교하여 CTNet의 온라인 응답 시간(RT)은 기본적으로 동일합니다.

요약 및 전망

이 글에서는 업계의 지속적 학습 프레임워크 하에서 교차 도메인 추천 모델을 구현하는 방법을 살펴보고, 지속적 사전 학습을 사용하여 지속적인 전이 학습의 새로운 교차 도메인 추천 패러다임을 제안합니다. 소스 도메인 모델 중간 계층 표현 결과는 대상 도메인 모델의 추가 지식으로 사용됩니다. 경량 어댑터 모듈은 도메인 간 지식의 마이그레이션을 실현하도록 설계되었으며 우수한 제품 추천 순위에서 상당한 비즈니스 결과를 달성했습니다. 이 방법은 좋은 상품의 비즈니스 특성을 위해 구현되었지만 상대적으로 일반적인 모델링 방법이기도 하며 관련 모델링 방법과 아이디어는 다른 유사한 비즈니스 시나리오의 최적화에도 적용될 수 있습니다. CTNet의 기존 지속적 사전 학습된 소스 도메인 모델은 정보 흐름 추천 시나리오만 사용하므로 향후 지속적으로 사전 학습된 소스 도메인 모델을 추천, 검색, 검색 등이 포함된 전체 도메인 학습 사전 학습 모델로 업그레이드하는 것을 고려할 것입니다. 개인 도메인 및 기타 추가 시나리오.

팀 소개저희는 타오바오의 기술-콘텐츠 알고리즘-좋은 상품 알고리즘 팀입니다. 좋은 상품은 타오바오에서 입소문을 바탕으로 추천하며, 쇼핑 가이드 시나리오를 통해 소비자가 좋은 상품을 발견할 수 있도록 구성되었습니다. 상품 추천 및 짧은 영상 콘텐츠 추천 사업을 위한 풀링크 알고리즘을 최적화하여 유리한 상품 마이닝 역량과 채널 쇼핑 가이드 역량을 향상시키는 업무를 담당합니다. 현재 주요 기술 방향은 연속 전이 학습 교차 도메인 추천, 편견 없는 학습, 추천 시스템 풀 링크 모델링, 시퀀스 모델링 등입니다. 비즈니스 가치를 창출하는 동시에 SIGIR 등 국제 학회에서도 다수의 논문을 발표했으며, 주요 성과로는 PDN, UMI, CDAN 등이 있습니다.

위 내용은 Taobao 추천 시스템에 지속적인 전이 학습 교차 도메인 추천 순위 모델 적용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!