Baidu 동영상 추천에 대한 실습 및 사고 영역 간 다중 목표 추정 및 융합

1. 바이두 영상 배경 소개

1. 통일된 제품 형태

바이두 APP의 모든 영상 장면이 통일된 몰입형(상하)으로 업그레이드 되었습니다. 반면에 Baidu의 통합 대형 모델을 기반으로 모든 시나리오에서 데이터와 추천 경험을 통합했습니다. 상호작용과 데이터의 통합은 생태학적 상생을 더 효과적으로 달성하고 Baidu Video의 장기적인 발전을 촉진할 수 있습니다.

사용자의 비디오 소비 습관을 더 잘 기르기 위해 비디오 소비를 위한 1단계 입구(하단 탐색 모음 입구)도 만들었습니다. 관심이 있으시면 Baidu 앱을 다운로드하실 수 있습니다. 좋은 제안이나 나쁜 사례가 있으면 언제든지 피드백을 보내주세요.

2. 사용자 요구에 맞는 검색 + 푸시 듀얼 엔진

Baidu는 검색 엔진으로 시작했다는 점을 언급할 가치가 있으며 검색 사용률이 매우 높아야 합니다. 추천 시나리오에서 데이터는 "검색 + 푸시"라는 이중 엔진을 통해 사용자 요구를 충족하는 데 사용됩니다. 검색은 주로 "콘텐츠를 찾는 사람들"이고, 사용자는 자신의 요구 사항을 명확하게 입력하는 반면 추천은 "사람을 찾는 콘텐츠"입니다. 추천과 검색의 더 나은 통합을 달성하기 위해 도메인 전반에 걸쳐 검색 신호와 추천 신호를 통합하는 것도 Baidu의 장점 중 하나입니다.

2. 추천 시스템의 개요

1. 권장 시스템에 의해 해결 된 문제는 관객의 상당수의 사람들이 권장 사항에 대한 이해가 부족한 이후 기술이 필요한데, 추천기술로 해결하고자 하는 문제점을 간략하게 소개한다. 권장 플랫폼에는 세 명의 플레이어가 있습니다:

사용자: 여기에서 세계를 탐험하고 새로운 인식을 발견하세요.

• 크리에이터: 플랫폼 추천 및 플랫폼 콘텐츠 공급의 기반은 이들에게 무한한 영감과 창작에 영감을 줄 수 있는 넓은 공간을 제공합니다.
• 광고주: 플랫폼의 생존을 위해 재정적 지원을 제공합니다. 대부분의 플랫폼은 광고로 생계를 유지합니다.
• 추천 플랫폼은 생산, 소비, 소득의 선순환을 추구합니다. 플랫폼의 핵심 구성 요소인 추천 시스템은 주로 두 가지 문제를 해결합니다.

생존을 위한 콘텐츠 선택 메커니즘. 적자(B면): 고품질 콘텐츠를 더 많이 배포하고 고품질 제작자를 유지하는 방법.

• 궁극적인 사용자 소비 경험(C측): 사용자 요구가 충족되어야만 지속적인 규모 개선이 촉진될 수 있습니다.
• 목표를 설계할 때 추천 시스템의 두 가지 임무를 종합적으로 고려해야 합니다
2. 추천 시스템 개요

추천 시스템의 프로세스는 대략 다음과 같습니다. : 검토된 리소스는 먼저 요청을 받은 후 메타 정보를 저장하는 통합 전달 데이터베이스로 푸시되고, 추천 시스템은 먼저 그래프 엔진, 다중 대상 리콜 등을 통해 관련 리소스를 리콜한 후 두 가지 과정을 거칩니다. 대략적인 정렬과 정밀한 정렬이라는 일련의 정렬을 거쳐 다목적 융합 모델이 최종적으로 다양성 감지, 시퀀스 모델링, 트래픽 분배 메커니즘 및 기타 전략을 통해 사용자와 관련성이 높은 일부 콘텐츠를 선택합니다. 생성되어 이용자의 휴대폰으로 전달됩니다.

다음 콘텐츠는 주로 정확하게 배열된 타겟 디자인과 모델의 융합에 중점을 둘 것입니다

3. 다중 목표 디자인 및 모델링

우선, 우리는 다중 목표 디자인과 모델링을 소개하고 싶습니다. 영상 추천에 객관적인 디자인 적용

1. 타겟 디자인에 대한 생각

우선, 영상 몰입형 시나리오에서 추천 시스템의 타겟을 어떻게 디자인할지 생각해 보세요.

기존 추천 시스템에서는 사용자가 콘텐츠나 동영상을 클릭하여 리소스를 소비함으로써 리소스에 대한 선호도를 명확하게 표현합니다. 따라서 전통적인 추천 시나리오에서 클릭 행동은 매우 중요한 신호이자 명확하고 간단한 피드백 방법입니다. 그러나 몰입형 시나리오에서는 명확한 피드백이 부족하여 사용자 선호도가 "숨겨진" 행동을 통해 표현되는 경우가 많습니다. 이때 몰입형 추천 시나리오에서는 시청 시간이 매우 중요한 신호가 됩니다

소비 시간 외에도 팔로우, 댓글 달기, 공유하기, 좋아요 누르기 등 시스템에서 적극적으로 떠나는 사용자의 행동도 고려해야 합니다. 그러나 재생 데이터와 비교하면 이러한 행동 데이터는 매우 희박하여 주문의 1000분의 1에 불과할 수도 있습니다. 이러한 대화형 신호 외에도 Baidu APP 추천 데이터의 매우 중요한 부분인 검색 신호도 있습니다. Baidu 사용자의 70%는 추천 정보 스트림과 검색을 모두 소비합니다. 따라서 추천 시스템은 사용자 검색 도메인의 만족도 신호도 표시해야 합니다.

B측 창작자는 C측 사용자가 만족하는 소비 시그널과 함께 열등한 창작자를 선별하고 우수 창작자의 창작 잠재력을 자극할 수 있는 일련의 경쟁 메커니즘이 필요하여 생산의 선순환이 이루어집니다. 그리고 소비

2. 타겟 디자인에서 고려되는 치수

추천 시스템의 관점에서 보면 사용자는 샘플 주석자이며, 사용자는 놀고 있다는 등의 명확한 긍정적인 표현을 가지고 있습니다. , 좋아요, 수집, 댓글 달기 및 기타 행위 싫어함, 부정적인 댓글, 신고 등과 같은 명확한 부정적인 표현도 있습니다. 사용자는 명시적인 표현 외에도 재생 완료, 재생 시간, 작성자 페이지 소비, 독서 관련 추천 등을 통해 표현된 좋아요 또는 짧은 재생, 빠른 팝업 등을 통해 표현된 싫어하는 등 일부 암묵적인 표현도 갖게 됩니다. . 따라서 목표를 설계할 때 모든 측면을 고려하고 명시적 신호와 암시적 신호의 균형을 유지해야 하며 "부분적인" 추천 시스템을 설계하는 것을 피해야 합니다.

3. 종합적인 만족도 모델링

위의 기본 목표 외에도 더 이상 단순히 사용자 피드백을 사용하는 것이 아닌 몇 가지 높은 수준의 목표도 설계합니다. 예를 들어, 위 그림의 오른쪽과 같이 사용자 만족도 피드백을 기반으로 한 모델을 출시했습니다. 첫 번째 단계에서는 방송 완료 및 지속 시간과 같은 밀집된 신호를 통해 간단한 규칙이나 모델을 사용하여 사용자 만족도 피드백을 맞춰 상대적으로 밀집된 사용자 만족도 레이블을 얻습니다. 두 번째 단계에서는 대규모 푸시 검색 모델에서 생성된 Embedding, Wenxin 기본 Embedding, 사용자 초상화 및 행동 시퀀스 기능 모델링을 사용하여 이 레이블을 기반으로 만족도 모델을 구축하여 추천 도메인 상대적 만족도를 평가합니다. 검색 도메인에 . 사용자가 검색에서 특정 관심 지점을 소비한 경우 추천 시스템은 만족도 모델을 기반으로 더 높은 품질의 콘텐츠를 추천할 수 있으며, 이를 통해 검색과 푸시의 통합을 더욱 원활하게 만들고 검색 관심 사항을 피드로 더 효과적으로 마이그레이션할 수 있습니다.

4. Long Term Value Modeling(Long Term Value)

이전 글에서는 현재 콘텐츠의 재생 시간과 상호작용을 추정하는 방법을 소개했습니다. 사용자의 과거 소비 행동을 샘플이나 특징으로 활용하여 향후 콘텐츠에 긍정적인 피드백이 있을지 부정적인 피드백이 있을지, 만족스러운 상호 작용과 소비가 있을지 예측할 수 있습니다

사용자의 미래 소비 콘텐츠와 현재 소비 콘텐츠 사이에 관계가 있는지 더 생각해 볼 수 있을까요? 예를 들어, 사용자가 지금 Guo Degang의 동영상을 시청하고 다음 N일에도 Yu Qian의 동영상을 계속 소비한다면 이러한 Yu Qian의 동영상은 Guo Degang의 동영상에서 '영감'을 받았나요? 미래의 관심 지점을 소비하는 것이 현재 관심 지점의 "연속"으로 간주될 수 있습니까? 대답은 '예'입니다. 따라서 현재 영상의 추천에 미래의 장기적인 가치 콘텐츠를 귀속시키기 위해 시스템에 LTV 시스템을 도입했습니다. , V

2

,... Vn

은 사용자가 앞으로 소비할 영상입니다. V

2 과 V_n 이 만족스러운 소비이고 V₀ 의 연속이라고 가정하면, V₀ 에 기인할 수 있습니다. 바이두 피드의 비즈니스 시나리오에 따르면 어트리뷰션에는 다음 세 부분이 포함됩니다. 기능적 어트리뷰션: 관련 추천을 통해 탑재된 리소스를 보면 이 부분이 자원 소비 신호는 V

0

에 기인할 수 있습니다.

• 회상 연관 속성: 예를 들어 회상 단계는 itemCF 등을 통해 암묵적으로 회상됩니다. 상관 관계: 예를 들어 리소스 간의 상관 관계는 다중 모달 임베딩 또는 V
• n
• 및 V0_{과 같은 권장 대형 모델 임베딩을 통해 측정할 수 있습니다.} 은 상대적으로 높은 상관관계 점수를 가지며, Vn 값은 V0에 기인할 수 있습니다. _{물론 이 속성은 V0}의 시간 간격과 V0의 상관 관계를 사용하여 사용자의 향후 동영상 소비에 대한 속성 가중치를 조정하여 현재의 영상의 장기적 가치 V0. 장기적인 가치 목표를 세운 후 학습은 비교적 간단합니다. 첫 번째 단계는 목표를 정규화한 다음 이를 직접 모델링하는 것입니다.

_{현재 비즈니스 상황에 대한 추상화 및 빗질을 기반으로 추천 시스템 목표를 설계할 때 간단한 요약을 위해 다음 세 가지 방향에서 시작하겠습니다.}

Multi-objective, First Carry 기본적인 물리적 대상 모델링을 마친 다음, 전체 장면의 만족도를 설명하기 위한 몇 가지 높은 수준의 목표를 모델링하는 동시에 생태계를 규제하는 것도 필요합니다.

미래가치를 창조합니다.

• 리소스 차원 외에도 저자 차원의 모델링 등 다른 차원도 고려할 수 있습니다.
• 다양한 개발 방향을 종합적으로 고려하려면 추천 시스템의 목표를 다각도로 접근해야 합니다
• 5. 바이두 피드 모델 기술 변화, 연계 경험 진화

개발 Baidu의 현재 추천 시나리오는 세 가지 주요 시나리오로 나누어져 있습니다:

"추천" 정보 흐름: 수년 동안 존재해 왔습니다.

"디스커버" 장면: 이와 대조적으로 메인 피드는 정보 지향적인 반면, "디스커버"는 더 활기차고 생활에 가깝습니다.

"몰입형" 장면: 순수한 비디오 소비 흐름.

Baidu 제품의 개발과 진화로 인해 순위 목표가 점진적으로 변경되었습니다. 처음에는 단일 분야의 주요 목표만 가지고 있었지만 이제는 여러 분야와 여러 목표로 발전하여 이제는 여러 분야의 샘플을 통합하여 정보의 완전한 공유를 달성하면서 전체 분야의 포괄적인 모델링을 달성했습니다. 다음은 모든 분야의 종합 모델링의 구체적인 내용을 소개합니다

• 6. 크로스 도메인 다중 목표 모델링

먼저 업계가 어떤 일을 해왔는지 살펴보겠습니다. MMoE, PLE, STAR 네트워크, PEPNet 등 알리바바가 추진하고 있는 구조는 물론, 구글, 텐센트 등의 기업들도 자신들의 사업을 기반으로 다양한 네트워크 구조를 설계하는데 노력을 아끼지 않고 있다. 이기종 시나리오에서 더 유용한 정보를 공유하세요. 이러한 작업은 주로 두 가지 문제를 해결합니다.

• 도메인 간 신호의 마이그레이션 문제와 도메인 간 정보 공유를 달성하기 위해 서로 다른 두 도메인 간의 더 나은 마이그레이션 방법.
• 여러 대상 간의 음전이 문제는 여러 대상의 시소 효과입니다.

마찬가지로 바이두 추천 시스템도 이 두 가지 문제에 직면해 있습니다.

Baidu의 시나리오에는 다양한 하위 도메인 대상이 있으며 이러한 대상 간의 상관 관계가 낮아 여러 대상 간의 부정적인 마이그레이션으로 이어질 수 있습니다. 이 문제를 해결하려면 서로 다른 타겟 간의 PNR을 분석하고 타겟 간의 상관 관계 차이를 찾아야 합니다. 즉, 이기종 시나리오에서 사용자 정보를 어떻게 기술할지, 이종 정보의 마이그레이션을 어떻게 구현하는지가 모델 구조에서 해결해야 할 문제입니다

바이두의 비즈니스 요구에 따라 크로스 도메인 레이어링을 설계했습니다. 다목적 네트워크 구조는 Gating 구조를 채택합니다. 이 구조는 주로 세 가지 계층으로 나뉩니다. 첫 번째 계층은 하위 계층인 개인화 공유 네트워크이고, 두 번째 계층은 교차 도메인 정보 추출을 위한 GCG 네트워크이며, 마지막 계층은 하위 도메인의 다중 목표 네트워크입니다. 이 설계를 통해 정보를 공유하면서 각 도메인에 대한 다중 목표 추정을 수행할 수 있습니다

이 솔루션은 단일 도메인 다중 목표에 비해 첫 번째 출시의 AUC가 약 3~9천 배 더 높습니다. . 가리키다. 위 그림의 오른쪽 하단에 표시된 것처럼 여러 도메인에 사용자 특성을 임베딩하고 TSNE 차원 축소를 수행한 후 검색 C와 두 번째 홉이 상대적으로 가깝다는 점을 제외하면 다른 두 시나리오 간의 차이는 여전히 상대적으로 높습니다. 이는 모델이 장면 간의 차이점을 학습할 수 있음을 나타냅니다. 검색 C 시나리오와 2차 홉 시나리오는 모두 영상 시나리오이고, 사용자의 상호작용과 관심도는 크게 다르지 않은 것이 타당하다.

Baidu 비즈니스 시나리오에는 40개 이상의 물리적 대상, 4개의 대규모 하위 도메인 및 비디오, 그래픽, 역학, 소규모 프로그램 등을 포함한 6개의 양식이 있습니다. 우리는 이 모델이 많은 복잡한 비즈니스에서 잘 작동할 수 있기를 바랍니다. 모델 구조를 간단히 소개하겠습니다. 첫 번째 계층은 도메인 분할을 위한 기반 역할을 하는 공통 네트워크로, 각 장면에서 여러 대상의 만족스러운 샘플을 선별하고 게이트 네트워크를 통해 개인화된 임베딩 매핑을 실현합니다. 두 번째 레이어는 CGC 네트워크를 통해 도메인 내 고유 기능과 개인화 공유 기능을 구현하는 도메인 간 정보 추출입니다. 두 가지가 공동으로 도메인 간 정보 추출을 구성하는 이유는 도메인 내의 정보 풍부함을 유지할 뿐만 아니라 이질적인 장면의 공유 정보도 추출한다는 것입니다. 세 번째 계층은 하위 도메인의 다목적 모델링입니다. 우리는 또한 이 주제에 대한 해당 논문을 출판하고 있습니다. 세부 사항에 관심이 있는 친구들은 논문을 읽을 수 있습니다.

4. 다목적 융합

Baidu의 다목적 융합 진화 과정은 업계와 유사합니다. 첫 번째는 선행지식 융합으로, 간단하고 간단하지만 많은 인력이 필요하다. 그러다가 LTR로 업그레이드했는데 효과가 컸습니다. 하지만 사업이 바뀌면 잦은 조정이 필요하다는 단점도 있었고, 동시에 사업과 사용자 계층의 변화에 ​​따라 부분 주문 관계도 바뀌었습니다. 이후 순차적 최적 접근 방식을 사용하여 다중 목표 융합 가치 모델을 채택했습니다. 짧은 사용 기간을 거쳐 지금 사용하는 방식으로 업그레이드 했습니다 - ES(Evolution Strategy) 진화 학습

ES를 사용하려면 먼저 보상인 북극성을 정의해야 합니다. 지시자. Baidu의 보상은 세션 깊이(기간 + 걸음 길이)와 상호작용입니다. 지속 시간과 걸음 길이에 해당하는 비즈니스 지표는 지속 시간과 비디오 재생 볼륨입니다. 또한 작성자의 행동에 주의를 기울이는 등 사용자의 자산 축적을 나타내는 대화형 정보가 있습니다. 실제로 업데이트 후 작성자를 찾을 수 있기를 바랍니다. 소비 횟수를 늘리든, 상호 작용 횟수를 늘리든, 사용자가 이 앱을 더 오랫동안 사용할 수 있기를 바랍니다

초기 버전은 단순한 경험적 모델인 반면, 현재 온라인 ES는 다양한 시나리오와 사람들 그룹에 대한 정보를 도입하는 등 더욱 고급 계산을 수행합니다

위 내용은 Baidu 동영상 추천에 대한 실습 및 사고 영역 간 다중 목표 추정 및 융합의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!