NetEase Cloud Music 콜드 스타트 ​​기술 추천 시스템

1. 문제 배경: 콜드 스타트 ​​모델링의 필요성과 중요성

클라우드뮤직은 콘텐츠 플랫폼으로서 매일 수많은 새로운 콘텐츠를 온라인에 올리고 있습니다. 클라우드 뮤직 플랫폼의 새로운 콘텐츠의 양은 짧은 동영상 등 다른 플랫폼에 비해 상대적으로 적지만, 실제 양은 모두의 상상을 훨씬 뛰어넘을 수 있습니다. 동시에 음악 콘텐츠는 짧은 동영상, 뉴스, 제품 추천 등과 크게 다릅니다. 음악의 수명주기는 매우 긴 기간에 걸쳐 있으며 종종 몇 년 단위로 측정됩니다. 어떤 노래는 몇 달, 몇 년 동안 휴면 상태였다가 폭발할 수도 있고, 클래식 노래는 10년이 지나도 여전히 강한 활력을 갖고 있을 수도 있습니다. 따라서 음악 플랫폼의 추천 시스템에서는 다른 카테고리를 추천하는 것보다 비인기 및 롱테일 고품질 콘텐츠를 발굴하여 적합한 사용자에게 추천하는 것이 더 중요합니다. ) 사용자 상호작용 데이터가 부족하기 때문에 주로 행동 데이터에 의존하는 추천 시스템에서는 정확한 분포를 달성하기가 매우 어렵습니다. 이상적인 상황은 트래픽의 작은 부분을 탐색 및 배포에 사용하고 탐색 중에 데이터를 축적하는 것입니다. 그러나 온라인 트래픽은 매우 소중하며 탐색은 종종 사용자 경험을 쉽게 손상시킵니다. 비즈니스 지표를 직접적으로 담당하는 역할로서 권장 사항을 통해 이러한 롱테일 항목에 대해 너무 많은 불확실한 탐색을 수행할 수 없습니다. 따라서 처음부터 해당 아이템의 잠재적인 타겟 사용자를 보다 정확하게 찾을 수 있어야 합니다. 즉, 상호 작용 기록이 없는 아이템을 콜드 스타트할 수 있어야 합니다.

두 번째, 기술 솔루션: 기능 선택, 모델 모델링

다음으로 Cloud Music에서 채택한 기술 솔루션을 공유하겠습니다.

핵심 문제는 콜드 스타트 ​​프로젝트의 잠재적인 타겟 사용자를 찾는 방법입니다. 질문을 두 부분으로 나눕니다.

사용자가 클릭하여 플레이하지 않는 경우 배포에 도움이 되는 기능으로 사용할 수 있는 콜드 스타트 ​​프로젝트에는 어떤 다른 효과적인 정보가 있습니까? 여기서는 음악의 다중 모드 기능을 사용합니다

콜드 스타트 ​​배포를 모델링하기 위해 이러한 기능을 어떻게 사용합니까? 이 문제를 해결하기 위해 두 가지 주요 모델링 솔루션을 공유합니다.

I2I 모델링: 자기 주도 대조 학습 강화 콜드 스타트 ​​알고리즘.

• U2I 모델링: 다중 모드 DSSM 사용자 관심 경계 모델링.

중국어로 다시 작성: 노래 자체는 언어, 장르 등의 태그 정보 외에도 노래의 오디오 및 텍스트(노래 제목 및 가사 포함)에 풍부한 정보가 포함되어 있습니다. 이 정보를 이해하고 이 정보와 사용자 행동 사이의 상관관계를 발견하는 것이 성공적인 콜드 스타트의 핵심입니다. 현재 클라우드 뮤직 플랫폼은 CLIP 프레임워크를 사용하여 다중 모드 기능 표현을 구현합니다. 오디오 특징의 경우 먼저 일부 오디오 신호 처리 방법을 사용하여 이를 비디오 도메인의 형태로 변환한 다음 Transformer와 같은 시퀀스 모델을 사용하여 특징 추출 및 모델링을 수행하고 최종적으로 오디오 벡터를 얻습니다. 텍스트 특징의 경우 BERT 모델을 사용하여 특징을 추출합니다. 마지막으로 CLIP의 자체 감독 사전 훈련 프레임워크는 이러한 기능을 직렬화하여 노래의 다중 모드 표현을 얻는 데 사용됩니다

다중 모드 모델링의 경우 업계에는 두 가지 접근 방식이 있습니다. 하나는 엔드투엔드 1단계 학습을 위해 비즈니스 추천 모델에 다중 모드 기능을 추가하는 것이지만 이 방법은 비용이 더 많이 듭니다. 따라서 우리는 2단계 모델링을 선택했습니다. 먼저 사전 훈련 모델링을 수행한 후 이러한 특징을 다운스트림 비즈니스의 회상 모델 또는 정제 모델에 입력하여 사용합니다.

사용자 상호 작용 없이 사용자에게 노래를 배포하는 방법은 무엇입니까? 우리는 간접 모델링 솔루션을 채택합니다. 노래-사용자(I2U) 문제를 노래-유사 노래-사용자(I2I2U) 문제로 변환합니다. 즉, 먼저 이 콜드 스타트 ​​노래와 유사한 노래를 찾은 다음 이러한 유사한 노래를 검색합니다. 사용자와 일치 수집 및 기타 상대적으로 강한 신호와 같은 일부 과거 상호 작용 기록이 있으며 대상 사용자 그룹을 찾을 수 있습니다. 이 콜드 런칭 노래는 해당 대상 사용자에게 배포됩니다.

구체적인 방법은 다음과 같습니다. 첫 번째 단계는 지도 학습 작업입니다. 노래 기능의 경우 앞서 언급한 멀티 모달 정보 외에도 언어, 장르 등의 노래 태그 정보도 포함되어 있어 개인화된 모델링을 수행하는 데 도움이 됩니다. 모든 특징을 모아서 인코더에 입력하고 최종적으로 노래 벡터를 출력합니다. 각 노래 벡터의 유사성은 벡터 내적(inner product)으로 나타낼 수 있습니다. 학습 목표는 행동을 기반으로 계산된 I2I의 유사성, 즉 협업 필터링 데이터를 기반으로 한 사후 테스트 검증 레이어, 즉 사용자의 I2I 기반 추천 이후에 추가합니다. 피드백 효과가 더 좋습니다. 학습 목표의 정확성을 보장하기 위해 학습을 위한 긍정적인 샘플로 한 쌍의 항목이 사용됩니다. 음성 샘플은 전역 무작위 샘플링을 사용하여 구성됩니다. 손실 함수는 BPR 손실을 사용합니다. 이는 노래의 내용과 레이블 정보를 기반으로 사용자 행동 특성에서 노래의 유사성을 학습하는 추천 시스템의 매우 표준적인 CB2CF 접근 방식입니다.

위의 방법을 기반으로 비교 두 번째 반복으로 학습합니다. 대조 학습을 도입하기로 선택한 이유는 이 프로세스 학습 세트에서 여전히 CF 데이터를 사용하고 사용자의 대화형 행동을 통해 학습해야 하기 때문입니다. 그러나 이러한 학습 방법은 학습된 항목이 "인기 있는 항목은 많이 학습되고, 인기가 없는 항목은 학습된다"는 편향을 갖게 되는 문제가 발생할 수 있다. 우리의 목표는 노래의 다중 모달 콘텐츠에서 노래의 행동 유사성을 학습하는 것이지만, 실제 훈련에서 여전히 대중적이고 비인기적인 편견 문제가 있다는 것을 발견했습니다

그래서 우리는 일련의 대조 학습 알고리즘을 도입했습니다. , 인기 없는 항목의 학습 능력 향상을 목표로 합니다. 먼저, 이전 다중 모드 인코더를 통해 학습된 항목의 표현이 필요합니다. 그런 다음 이 표현에 대해 두 가지 무작위 변환이 수행됩니다. 이는 특징에 노이즈를 무작위로 마스킹하거나 추가하는 것과 관련된 CV의 일반적인 관행입니다. 동일한 Item에 의해 생성된 무작위로 변경된 두 개의 표현은 유사한 것으로 간주되고, 서로 다른 항목에 의해 생성된 두 개의 표현은 유사하지 않은 것으로 간주됩니다. 이러한 대조 학습 메커니즘은 이를 통해 대조 학습 지식 기반 샘플 쌍을 생성하는 방법입니다.

기능 향상을 기반으로 연관 그룹화 메커니즘도 추가했습니다

다시 작성된 내용은 다음과 같습니다. 상관 관계 그룹화 메커니즘: 먼저 각 기능 쌍 간의 상관 관계를 계산합니다. 즉, 상관 행렬을 유지하고 모델 훈련 프로세스 중에 행렬을 업데이트합니다. 그런 다음 기능은 기능 간의 상관 관계에 따라 두 그룹으로 나뉩니다. 구체적인 작업은 기능을 무작위로 선택하고 해당 기능과 가장 관련성이 높은 기능 중 절반을 하나의 그룹에 넣고 나머지 기능을 다른 그룹에 넣는 것입니다. 마지막으로, 각 특징 세트는 무작위로 변환되어 대조 학습을 위한 샘플 쌍을 생성합니다. 이렇게 하면 각 배치 내의 N개 항목이 2N개의 조회수를 생성합니다. 동일한 프로젝트의 한 쌍의 관점은 대조 학습의 긍정적 샘플로 사용되며, 서로 다른 프로젝트의 한 쌍의 관점은 대조 학습의 부정적 샘플로 사용됩니다. 대조 학습의 손실은 정보 정규화 교차 엔트로피(infoNCE)를 사용하고 이전 지도 학습 부분의 BPR 손실과 결합되어 최종 손실 함수

온라인 배포 및 추론 프로세스: 오프라인 교육에서 완료 최종적으로 , 기존의 모든 노래에 대해 벡터 인덱스가 구성됩니다. 새로운 콜드 스타트 ​​프로젝트의 경우 모델 추론을 통해 벡터를 얻은 다음 가장 유사한 프로젝트 중 일부를 벡터 인덱스에서 검색합니다. 이러한 프로젝트는 과거 스톡 프로젝트이므로 사용자와의 일련의 역사적 상호 작용이 있습니다. 재생, 수집 등) 콜드 스타트가 필요한 프로젝트를 이 사용자 그룹에게 배포하여 프로젝트의 콜드 스타트를 완료하세요

오프라인 및 오프라인 지표 평가를 포함하여 콜드 스타트 ​​알고리즘을 평가한 결과 매우 좋은 결과를 얻었습니다. 위 그림에서 볼 수 있듯이 콜드 스타트 ​​모델로 계산된 노래 표현은 다양한 장르의 노래에 대해 우수한 결과를 얻을 수 있습니다. 클러스터링 효과. 일부 결과는 공개 논문(Bootstrapping Contrastive Learning Enhanced Music Cold-Start Matching)에 게재되었습니다. 온라인에서는 더 많은 잠재 타겟 사용자(+38%)를 찾는 동시에 콜드 스타트 ​​알고리즘은 콜드 스타트 ​​아이템 수집률(+1.95%), 완료율(+1.42%) 등 비즈니스 지표에서도 개선을 달성했습니다.

우리는 더 자세히 생각합니다:

• 위의 I2I2U 체계에서는 사용자 측 기능이 사용되지 않습니다.
• 아이템 콜드 스타트에 도움이 되는 사용자 기능을 어떻게 도입하나요?

U2I 콜드 스타트 ​​방식은 다중 모드 DSSM 모델링 방법을 채택합니다. 모델은 ItemTower와 UserTower로 구성됩니다. 이전 곡의 멀티모달 기능을 ItemTower인 User Tower에 계승하여 일반 User Tower를 만들었습니다. 우리는 사용자 시퀀스의 다중 모달 학습 모델링을 수행합니다. 모델 훈련은 전체 항목 공간을 기반으로 합니다. 인기가 없는 노래이든 인기 있는 노래이든 모델을 훈련하기 위한 샘플로 사용됩니다. 추론할 때에는 동그라미 친 신곡이나 비인기곡 풀에 대해서만 추론해 보세요. 이 접근 방식은 이전의 일부 2개 타워 솔루션과 유사합니다. 인기 있는 항목의 경우 하나의 타워를 건설하고, 새롭거나 인기 없는 항목의 경우 이를 처리할 다른 타워를 건설합니다. 그러나 우리는 일반 품목과 콜드 스타트 ​​품목을 보다 독립적으로 처리합니다. 일반 아이템에 대해서는 정규 리콜 모델을 사용하고, 인기가 없는 아이템에 대해서는 특별히 구축된 DSSM 모델을 사용합니다

콜드 스타트 ​​DSSM 모델은 인기가 없거나 신곡에 대한 추론에만 사용되므로 모델링을 찾았습니다. 모든 사용자가 인기가 없거나 새로운 항목을 좋아할 것이라고 보장할 수 없기 때문에 사용자의 편견은 매우 중요합니다. 후보 세트 자체는 매우 큰 풀이고, 일부 사용자는 인기 있는 항목을 선호할 수 있고, 그가 가장 좋아하는 항목은 추천 풀에서 누락될 수 있기 때문에 사용자 항목을 모델링해야 합니다. 따라서 전통적인 방법을 기반으로 사용자의 선호도를 모델링하기 위해 "관심 경계"라는 타워를 구축합니다. 관심 경계는 훈련 중에 관심 경계 점수를 사용하여 추론 중에 각 사용자의 긍정적 샘플과 부정적 샘플을 나누고, 항목 점수와 사용자 관심 경계 점수를 비교하여 결정합니다. 아이템을 추천해주세요. 훈련 중에 관심 경계 벡터와 사용자 관심 벡터를 사용하여 내적 계산을 수행하여 경계 표현 벡터를 얻습니다. 위 그림의 손실을 기반으로 전통적인 2클래스 교차 엔트로피를 모델링에 사용합니다. 음수 샘플은 사용자의 관심 경계를 높이고, 양수 샘플은 사용자의 관심 경계를 낮춥니다. 결국 훈련 후 균형 상태에 도달하고 사용자의 관심 경계는 양수 샘플과 음수 샘플을 분리합니다. 온라인으로 적용 시, 사용자의 관심 범위를 기준으로 비인기 아이템 또는 롱테일 아이템을 추천할지 여부를 결정합니다.

3. 요약

마지막으로 요약을 해주세요. Cloud Music에서 권장하는 다중 모드 콜드 스타트 ​​모델링의 주요 작업은 다음과 같습니다.

• 기능 측면에서 CLIP 사전 훈련 프레임워크는 다중 모드를 모델링하는 데 사용됩니다.
• 모델링 방식에는 I2I2U 간접 모델링과 콜드 스타트 ​​다중 모드 DSSM 직접 모델링이라는 두 가지 모델링 방식이 사용됩니다.
• Loss & 학습 목표 측면에서는 Item 측에 BPR & 대조 학습을 도입하고, User 측의 관심 경계를 통해 비인기 Item 학습과 사용자 학습을 강화합니다.

향후 최적화에는 크게 두 가지 방향이 있습니다. 첫 번째 방향은 콘텐츠와 행동 특징의 다중 모드 융합을 통한 모델링입니다. 두 번째 방향은 호출 및 정렬의 전체 링크 최적화입니다

4. Q&A 세션

Q1: 뮤직 콜드 스타트의 핵심 지표는 무엇인가요?

A1: 수집율과 완료율이 더 중요한 여러 지표에 주의를 기울일 것입니다. 수집율 = 수집 PV/재생한 PV, 완료율 = 완전히 플레이한 PV/재생한 PV입니다.

Q2: 다중 모달 기능은 엔드 투 엔드 교육을 받나요, 아니면 사전 교육을 받나요? 두 번째 단계에서 비교 뷰를 생성할 때 입력 x의 구체적인 특성은 무엇입니까?

A2: 현재 우리가 사용하는 솔루션은 CLIP 프레임워크를 기반으로 한 사전 훈련이며, 사전 훈련에서 얻은 다중 모드 기능을 사용하여 다운스트림 리콜 및 정렬 서비스를 지원합니다. 우리의 사전 훈련 과정은 end-to-end 훈련이 아닌 두 단계로 진행됩니다. 이론적으로는 엔드투엔드 교육이 더 나을 수 있지만 더 높은 기계 요구 사항과 비용이 필요합니다. 따라서 비용을 고려하여 사전 학습 솔루션을 선택합니다.

x는 노래의 오디오, 텍스트 다중 모달 기능, 언어와 같은 태그 기능을 포함하여 노래의 원래 기능을 나타냅니다. 그리고 장르. 이러한 특징은 그룹화되어 두 가지 다른 무작위 변환 F'a 및 F''a를 거쳐 x'와 x''를 얻습니다. f는 모델의 백본 구조이기도 한 인코더입니다. g는 인코더 출력 후 헤드에 추가되며 대조 학습 부분에만 사용됩니다

Q3: 두 개의 향상된 타워의 임베딩 레이어 및 DNN 대조 학습 훈련 중에 둘 다 공유됩니까? 콘텐츠 콜드 스타트에 대비 학습이 효과적인 이유는 무엇입니까? 콜드 스타트가 아닌 콘텐츠에 대해 구체적으로 네거티브 샘플링이 있나요?

A3: 모델에는 항상 하나의 인코더, 즉 하나의 타워만 있으므로 매개변수 공유에 문제가 없습니다

인기 없는 항목에 도움이 되는 이유는 이렇게 이해합니다. 인기 없는 품목에 대한 추가 부담을 수행해야 합니다. 샘플링 및 기타 작업이 필요합니다. 실제로 지도 학습을 기반으로 노래의 임베딩 표현을 학습하는 것만으로도 편향이 발생할 수 있습니다. 학습된 데이터가 협업 필터링이므로 인기 있는 노래를 선호하는 문제가 발생하고 최종 임베딩 벡터도 편향되기 때문입니다. 대조 학습 메커니즘을 도입하고 최종 손실 함수에 대조 학습의 손실을 도입함으로써 협업 필터링 데이터 학습의 편향을 수정할 수 있습니다. 따라서 대조 학습을 통해 비인기 항목의 추가 처리 없이 공간 내 벡터의 분포를 향상시킬 수 있습니다

Q4: 관심 경계에 다목적 모델링이 있나요? 별로 없어 보이는데요, ⍺와 p 두 가지를 소개해주실 수 있나요?

A4: 다중 모드 DSSM 모델링에는 ItemTower와 UserTower가 포함되어 있으며, UserTower를 기반으로 Interest Boundary Tower라고 하는 사용자 특성에 대한 추가 타워를 모델링합니다. 세 개의 타워 각각은 벡터를 출력합니다. 학습 시에는 아이템 벡터와 사용자 벡터의 내적을 수행하여 아이템 점수를 구한 후, 사용자 벡터와 사용자 관심 경계 벡터의 내적을 수행하여 사용자의 관심 경계 점수를 나타냅니다. 매개변수 ⍺는 손실에 기여하는 양성 샘플과 음성 샘플의 비율 균형을 맞추는 데 사용되는 기존 샘플 가중치 매개변수입니다. p는 아이템 벡터와 사용자 벡터의 내적 점수에서 사용자 벡터와 사용자 관심 경계 벡터의 내적 점수를 뺀 후 시그모이드 함수를 통해 최종 점수를 계산한 아이템의 최종 점수이다. 계산 과정에서 긍정적인 샘플은 항목과 사용자의 내부 제품 점수를 높이고 사용자와 사용자 관심 경계의 내부 제품 점수를 낮추는 반면, 부정적인 샘플은 그 반대의 역할을 합니다. 이상적으로는 사용자 및 사용자 관심 경계의 내부 제품 점수를 통해 긍정적인 샘플과 부정적인 샘플을 구분할 수 있습니다. 온라인 추천 단계에서는 관심 경계를 기준으로 점수가 높은 항목을 사용자에게 추천하고, 점수가 낮은 항목은 추천하지 않습니다. 사용자가 인기 항목에만 관심이 있는 경우 이상적으로는 사용자의 경계 점수, 즉 사용자 벡터와 관심 경계 벡터의 내적이 매우 높아 모든 콜드 스타트 ​​항목 점수보다 훨씬 높을 것입니다. , 일부 콜드 스타트 ​​항목은 이 사용자에게 권장되지 않습니다

Q5: 사용자 타워(userTower)와 관심 경계 타워의 구조적 차이점은 무엇입니까? 입력이 동일한 것 같나요?

A5: 둘의 입력은 실제로 동일하고 구조도 유사하지만 매개변수는 공유되지 않습니다. 가장 큰 차이점은 손실 함수 계산에만 있습니다. 사용자 타워의 출력과 아이템 타워의 출력은 내적 계산을 수행하여 계산되며, 그 결과가 아이템 점수가 됩니다. 관심 경계타워의 출력과 사용자 타워의 출력을 내적하여 계산하고 그 결과를 경계점수로 한다. 훈련 중에 두 개를 빼고 이진 손실 함수 계산에 참여합니다. 추론 중에 두 개의 크기를 비교하여 사용자에게 항목을 추천할지 여부를 결정합니다

위 내용은 NetEase Cloud Music 콜드 스타트 ​​기술 추천 시스템의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!