웨이보 추천 실시간 대형모델 기술진화

1. 기술 로드맵 검토

1. 비즈니스 시나리오 및 특징

Weibo APP에서 이 팀이 담당하는 추천 비즈니스는 주로 다음과 같습니다.

① 홈페이지 탭 열의 모든 내용에 대해 정보 흐름 제품은 일반적으로 첫 번째 탭의 트래픽 비율이 더 높습니다.

② 핫 검색을 아래로 밀어서 입력하는 정보 흐름 또한 우리의 비즈니스 시나리오입니다. , 이 페이지를 포함하여 비디오 채널 등 기타 정보 흐름 탭

③ 전체 APP에서 추천 비디오를 검색하거나 클릭하여 몰입형 비디오 장면에 들어갑니다.

저희 사업은 다음과 같은 특징을 가지고 있습니다.

(1) 우선 추천 구현의 관점에서 보면,

① 많은 사업 시나리오가 있습니다.

② 사용자는 Weibo UI에서 다양한 작업과 피드백을 받을 수 있습니다. 콘텐츠를 클릭하여 시청할 수도 있고, 스트림에서 소비할 수도 있습니다. 블로거의 개인 페이지, 클릭하여 텍스트 페이지 입력, 사진 클릭, 동영상 클릭, 댓글 및 좋아요 전달 등

3 배포할 수 있는 자료의 종류는 긴 사진, 그림(한 장 또는 여러 장), 동영상(가로 또는 세로 동영상), 기사 등 다양합니다. 홈페이지.

(2) 제품 포지셔닝 측면에서:

① 서비스 핫스팟: 웨이보의 핫스팟이 터지기 전후에 트래픽 변화가 특히 큽니다. 추천은 회사의 추천 제품 요청입니다.

② 인맥 쌓기 : 추천 웨이보에서 인맥을 쌓고 싶습니다.

2. 기술 선정

아래 사진은 최근 당사의 기술 발전을 보여줍니다.

현재 추천 프레임워크에서는 수천억 개의 기능과 수조 개의 매개변수가 표준입니다. NLP 및 CV와 달리 이 두 방향에서 너무 큰 모델은 네트워크 자체의 복잡성이 높고 권장 시나리오에서 희소성이 좋으며 모델 크기가 상대적으로 크고 교육에서는 데이터 병렬성을 사용하는 경우가 많으며 각 사용자가 모든 모델을 제공할 필요가 없습니다. 매개변수.

2018년부터 2022년까지 이 팀의 기술적 발전은 주로 대규모와 실시간이라는 두 가지 측면에서 이루어졌습니다. 이를 바탕으로 복잡한 구조를 만들어 절반의 노력으로 두 배의 결과를 얻을 수 있습니다.

Weidl 온라인 학습 플랫폼에 대한 간략한 소개입니다.

주요 프로세스는 다음과 같습니다. 사용자 행동 샘플을 결합하고 학습할 모델을 제공한 다음 피드백을 위해 사용자에게 권장합니다. 데이터 흐름 우선 순위의 전반적인 설계 원칙은 더 나은 유연성을 달성하기 위해 채택되었습니다. KERNEL을 훈련하는 데 어떤 방법을 사용하든 오프라인 모델 저장과 온라인 PS 사이의 실시간 업데이트 부분은 여전히 ​​존재합니다. 손으로 쓴 LR이든 FM이든, Tensorflow든, DeepRec 훈련 모델이든 가능합니다. 해당 모델 저장소는 자체적으로 구축한 데이터 스트림 세트이며, 모델 형식도 직접 제작하므로 여러 가지가 가능합니다. 백엔드는 다음에서 다운로드할 수 있습니다. 모델 훈련은 1분 이내에 온라인으로 업데이트될 수 있으며, 다음에 사용자가 호출할 때 새 매개변수를 사용할 수 있습니다. 이러한 설계 원칙에 따라 백엔드를 쉽게 전환할 수 있습니다.

Weidl은 Weibo가 자체 개발한 머신러닝 플랫폼입니다. Bridge 모드는 이를 사용하지 않고도 다양한 딥러닝 프레임워크의 연산자를 호출할 수 있으며 자체 개발한 연산자로 대체하는 것도 편리합니다. 예를 들어 이전에 Tensorflow를 사용했을 때는 tf에서 일부 메모리 할당 및 연산자 최적화를 수행했지만 2022년 하반기에 DeepRec으로 전환할 예정입니다. DeepRec에 대해 자세히 알아보고 나면 이전 성능 최적화 포인트 중 일부를 확인할 수 있습니다. tf 기반은 DeepRec의 것과 유사합니다.

다음 그림은 비즈니스의 각 기술 포인트에 대한 모든 사람의 이해를 돕기 위해 우리 팀이 수년 동안 만든 일부 버전을 나열합니다. 첫 번째는 FM 기반 모델을 사용하여 대규모 문제를 해결하는 것입니다. 실시간 추천 문제에 이어 심도를 기반으로 복잡한 구조를 만들었습니다. 결과로 볼 때, 온라인 실시간 문제를 해결하기 위해 이전에 비심층 모델을 사용한 것 또한 큰 이점을 가져왔습니다.

정보흐름 추천은 상품 추천과 다릅니다. 정보흐름 추천은 기본적으로 대규모 실시간 심층구조입니다. 이 영역에는 몇 가지 어려움과 차이점도 있습니다. 예를 들어, 실시간 기능은 실시간 모델의 대안이 아닙니다. 또한, 온라인 학습은 몇 가지 반복 문제를 가져옵니다. 그러나 절대적인 이득을 얻기 전에는 시간이 지나면 극복될 수 있습니다.

2. 최근 대형 모델의 기술 반복

이 장에서는 비즈니스 반복 모델을 목표, 구조 및 특성 측면에서 소개합니다.

1. 다중 목표 융합

Weibo 장면에는 사용자가 클릭 상호 작용, 지속 시간, 드롭다운 등과 같은 다양한 동작을 통해 항목에 대한 사랑을 표현합니다. 목표는 반드시 해결되어야 합니다. 모델링과 추정, 그리고 마지막으로 전반적인 융합과 순위는 추천 비즈니스에 있어서 매우 중요합니다. 처음에는 정적 융합과 오프라인 매개변수 검색을 통해 이루어졌으나, 이후 강화학습 방법을 통해 동적 매개변수 검색으로 변경되었으며, 이후에는 일부 융합수식 최적화가 이루어지도록 개선되었습니다. 모델을 통한 융합 점수.

온라인 트래픽을 작은 트래픽 풀로 나누고, 현재 온라인 매개변수를 사용하여 사용자가 어떻게 반응하는지 확인하세요. 이러한 매개변수를 사용하여 피드백을 수집하고 반복합니다. 핵심 부분은 CEM과 ES를 활용한 보상 계산입니다. 나중에는 자체 개발한 알고리즘을 사용하여 자체 비즈니스 요구 사항에 적응했습니다. 온라인 학습은 매우 빠르게 변화하기 때문에 매개 변수를 적절하게 변경하지 못하면 큰 문제가 발생합니다. 예를 들어 모든 사람의 비디오 콘텐츠 선호도는 금요일 밤에서 토요일 아침으로, 일요일 밤에서 월요일 아침으로 변경되며 전체적으로 변경됩니다. 융합 매개변수는 사용자의 선호도 변화를 반영해야 합니다.

다음은 모델 최적화의 몇 가지 작은 트릭입니다. 사용자는 매일 정기적으로 초기화를 수행하는 것이 좋습니다. 그렇지 않으면 매개변수를 초기화할 때 편향된 분기로 이동할 수 있습니다. , 먼저 선험적 분석을 수행한 다음 차등 융합을 수행하여 융합 매개변수가 일관되고 반복적으로 업데이트될 수 있도록 이상 탐지 메커니즘을 추가합니다.

처음에는 덧셈식 융합을 사용했는데, 나중에는 목표 수가 늘어나면서 덧셈식 융합이 편리하지 않다는 것을 알게 되었습니다. 더 많은 목표를 추가하는 것을 지원하고 각 하위 목표를 약화시킬 수 있습니다. 영향력의 중요성, 곱셈 융합 공식은 나중에 사용됩니다. 효과는 ppt에 나와있습니다:

본 버전은 멀티 태스킹으로 업그레이드된 후 모델을 통해 타겟 융합을 수행하도록 최적화되었습니다. 모델 융합을 통해 많은 비선형적인 것들을 더 잘 포착할 수 있고 더 나은 표현력을 가질 수 있습니다. 이런 식으로 개인화된 융합도 이루어질 수 있으며, 융합되는 것들은 사용자마다 다를 것입니다.

2. 멀티 태스킹

멀티 태스킹은 2019년과 2020년부터 인기를 얻은 개념입니다. 추천 시스템은 동시에 여러 목표에 주의를 기울여야 하는 경우가 많습니다. , 비즈니스 시나리오에서 7가지 목표: 클릭, 지속 시간, 상호 작용, 완료, 부정적인 피드백, 홈페이지 입력, 풀다운 새로 고침 등 각 대상에 대한 모델을 훈련하는 것은 더 많은 리소스를 소비하고 번거롭습니다. 게다가 일부 목표는 희소하고 일부는 상대적으로 밀도가 높습니다. 모델을 별도로 구축하면 일반적으로 이러한 희소 목표는 학습이 쉽지 않습니다.

다중 작업 모델링에 대한 소개는 일반적으로 MMOE에서 시작하여 SNR, DMT, 마지막으로 전체 MM까지 수행하는 것이 좋습니다. 실제로 융합 네트워크와 같은 최적화가 수행됩니다. SNR에.

멀티태스킹을 하기 전에 해결해야 할 주요 문제는 다음과 같습니다: 다중 목적 간의 손실 사이에 충돌이 있는지, 서로 간에 시소 효과가 있는지; 샘플 공간 불일치 문제; 손실 균형 대기 문제. 실제 경험에서는 PCGrad와 UWL 방법 모두 테스트 데이터에서 효과를 나타내지만, 실제 환경으로 확대하여 온라인 학습 및 교육을 계속하면 이러한 방법의 효과는 오히려 더 빨리 사라질 것입니다. 전체 온라인 인턴십 환경에서 일부 값을 설정하는 것이 불가능하지는 않습니다. 이것이 온라인 학습과 관련이 있는지 또는 표본 크기와 관련이 있는지는 잘 모르겠습니다. MMOE만 하면 효과도 상대적으로 좋습니다. 왼쪽에는 사업상의 실제 이익 포인트가 나와 있습니다.

다음은 MMOE에서 시작된 몇 가지 기술 발전입니다. 멀티태스킹의 첫 번째 단계는 간단한 하드 연결이고 그 다음은 MMOE, SNR 또는 PLE입니다. 이는 최근 몇 년간 업계에서 비교적 성숙한 방법입니다. 이 팀은 SNR을 사용하고 두 가지 최적화를 수행합니다. 아래 그림의 하단에서 가장 왼쪽은 SNR 표준 논문의 접근 방식을 전문가 내에서 단순화했습니다. 동시에, 일부 실제 비즈니스에서 피드백된 데이터 결론의 실제 값과 추정 편차를 기반으로 일부 분석이 수행되고 일부 독립적인 전문가가 구성됩니다.

3. 멀티 시나리오 기술

다양한 추천 시나리오를 담당하고 있기 때문에 멀티 시나리오 기술을 활용하는 것이 당연합니다. 멀티 태스킹은 일부 대상이 상대적으로 희박하다는 것을 의미합니다. 다중 장면은 데이터 양이 부족하여 작은 장면의 수렴이 좋지 않은 반면 큰 장면의 수렴은 더 좋습니다. 두 장면이 거의 같은 크기이므로 중간에 간격이 있을 수 있습니다. 그 중 일부는 비즈니스에 도움이 되는 지식 전달과 관련되어 있으며 이는 최근의 뜨거운 추세이며 멀티태스킹과 기술적으로 많은 유사점을 가지고 있습니다.

각 다중 작업 모델을 기반으로 다중 장면 모델을 만들 수 있으며, 다중 작업 구조에 비해 추가된 것은 아래 그림과 같습니다. 임베딩 패스 Slot-gate는 다양한 시나리오에 대해 다양한 기능을 표현합니다. Slot-gate를 통한 출력은 전문가 네트워크 연결, 대상 작업 연결, 기능 연결의 세 부분으로 나눌 수 있습니다.

메인 모델은 주로 SNR을 사용하여 CGC를 대체하며 이는 다중 작업의 반복과 일치합니다. 다음은 인기와 인기라는 두 가지 내부 비즈니스 시나리오에서 멀티 태스킹과 멀티 시나리오를 함께 혼합한 현재 응용 프로그램입니다. 그중 홈페이지 추천이 인기 스트림이고, 디스커버리 페이지 추천이 뜨거운 스트림이다.

전체 구조는 클릭, 상호 작용 및 지속 시간이라는 세 가지 타겟 타워가 있는 SNR과 유사합니다. 이 3개의 타겟 타워는 2개의 인기 장면과 핫스팟 장면을 위해 6개의 타겟으로 구분됩니다. 또한 Slot-gate와 달리 Embeding 변환 레이어가 추가되어 특징의 중요성을 찾는 반면 Embeding 변환 레이어는 다양한 시나리오에서 임베딩 공간의 차이를 고려하여 임베딩 매핑을 수행합니다. 일부 기능은 두 장면에서 서로 다른 차원을 가지며 Embedding 변환 레이어를 통해 변환됩니다.

4. 관심 표현

관심 표현은 최근 알리바바의 DIN부터 SIM, DMT까지 많이 제안되고 있는 기술로, 사용자 행동의 주류가 되었습니다. 업계의 시퀀스 모델링.

DIN은 처음에 다양한 동작에 대한 여러 동작 시퀀스를 구성하는 데 사용되었습니다. 동작에서 서로 다른 재료에 서로 다른 가중치를 부여하기 위해 주의 메커니즘이 도입되었으며, 로컬 활성화 장치를 사용하여 사용자 시퀀스의 가중치 분포와 현재 후보로 분류된 재료를 학습하여 대중적인 정밀 순위 솔루션을 실현하고 특정 비즈니스를 달성했습니다. 이익.

DMT의 핵심은 멀티태스킹에서 Transformer를 사용하는 것입니다. 우리 팀은 단순화된 DMT 모델을 사용하고 바이어스 모듈을 제거하고 MMoE를 SNR로 교체했으며 온라인에 접속한 후 특정 비즈니스 결과를 달성했습니다.

Multi-DIN은 여러 시퀀스를 확장하여 후보 자료의 mid, tag, Authorid 등을 쿼리로 사용하고 각 시퀀스에 대해 별도로 주목을 수행하는 것입니다. 다른 기능을 다중 DIN 작업 순서 모델에 결합합니다.

동시에 실험을 진행한 결과 각 시퀀스에 대해 클릭, 지속 시간, 상호 작용 시퀀스 등을 20에서 50으로 확장하는 등 시퀀스를 길게 하면 효과가 논문의 내용과 동일합니다. 결론은 동일하지만 시퀀스가 ​​길수록 더 많은 컴퓨팅 전력 비용이 필요합니다.

사용자 수명주기의 매우 긴 시퀀스 모델링은 이전의 긴 시퀀스 모델링과 다릅니다. 기능을 요청하여 데이터를 가져오는 것이 아니라 오프라인이나 일부 검색을 통해 사용자의 긴 행동 시퀀스 기능을 구성합니다. 해당 특징을 찾아 임베딩을 생성하거나, 메인 모델과 초장기 시퀀스 모델을 별도로 모델링한 후 최종적으로 임베딩을 형성하여 메인 모델로 보냅니다.

웨이보 비즈니스에서는 초장기 시퀀스의 가치가 그다지 크지 않습니다. 인터넷에서 모두의 초점이 빠르게 바뀌기 때문입니다. 정보 흐름의 7일 이전에는 배포된 항목이 상대적으로 적습니다. 따라서 사용자 행동 순서가 너무 길면 해당 항목에 대한 사용자 선호도 추정 값이 어느 정도 약화됩니다. 하지만 빈도가 낮은 사용자나 재방문 사용자의 경우 이 결론은 어느 정도 다릅니다.

5. 기능

매우 큰 규모의 모델을 사용하면 기능 수준에서 몇 가지 문제가 발생할 수도 있습니다. 예를 들어, 일부 기능은 이론적으로는 모델에 도움이 될 것으로 생각되지만, 추가한 후의 효과는 기대에 미치지 못합니다. 이는 추천 비즈니스가 직면한 현실이기도 합니다. 모델의 규모가 매우 크기 때문에 모델에 id 클래스 정보가 많이 추가되었으며, 이는 이미 일부 사용자 선호도를 잘 표현하고 있습니다. 이때 일부 통계 기능을 추가하는 것은 사용하기가 쉽지 않을 수 있습니다. 실제로 상대적으로 사용하기 쉬운 이 팀 기능에 대해 이야기해 보겠습니다.

우선 매칭 기능 효과가 비교적 좋습니다. 사용자는 단일 자료, 단일 콘텐츠 유형, 단일 블로거에 대해 좀 더 자세한 통계 데이터를 생성할 수 있어 몇 가지 이점을 얻을 수 있습니다.

또한 전체 추천 모델이 사용자 행동을 기반으로 하기 때문에 다중 모드 기능이 더 가치가 있습니다. 전체 시스템에서 사용자 행동이 부족한 빈도가 낮고 인기가 없는 항목이 있습니다. 이번에는 더 많은 사전 지식을 도입하는 것이 더 많은 이점을 가져올 수 있습니다. 다중 양식은 NLP 및 기타 기술의 도입을 통해 일련의 의미 체계를 도입합니다. 이는 저주파 및 콜드 스타트 ​​모두에 도움이 됩니다.

이 팀은 다중 모드 기능을 도입하기 위해 두 가지 유형의 방법을 수행했습니다. 첫 번째 유형은 다중 모드 임베딩을 추천 모델에 통합하고, 이러한 기본 임베딩의 기울기를 동결하고, 다른 하나는 상위 MLP에서 업데이트하는 것입니다. 다중 모드 임베딩을 추천 모델에 통합하는 방법 중 하나는 다중 모드를 사용하여 추천 모델에 들어가기 전에 클러스터링을 수행하고 학습을 위해 클러스터 ID를 권장 모델에 넣는 것입니다. 추천 모델이지만 다중 모드의 구체적인 의미 정보도 일부 손실됩니다.

위의 두 가지 방법은 우리 사업에서 많이 시도되었습니다. 첫 번째 방법은 모델의 복잡성을 증가시키고 많은 공간 변환, 기능 중요도 찾기 등이 필요하지만 좋은 결과를 가져올 수 있습니다. 두 번째 방법은 클러스터 ID를 사용하여 학습하고 복잡성은 모델 외부에 있으며 온라인 서비스는 상대적으로 간단하고 효과는 약 90%에 도달할 수 있으며 일부 통계 기능도 클러스터 ID에서 수행할 수 있습니다.

멀티모달 기능을 추가한 후 가장 큰 장점은 콜드 스타트 ​​문제를 해결할 수 있는 고품질 저노출 소재입니다. 상대적으로 노출이 적고 모델이 완전히 학습할 수 없는 추천 자료는 다중 모드 기관에 크게 의존하여 더 많은 정보를 가져오며 이는 비즈니스 생태계에도 긍정적인 가치가 있습니다.

co-action의 동기는 deepfm, wide deep 및 기타 기능 교차 방법을 시도하는 것입니다. 교차 기능이 DNN의 부분 공유 삽입과 충돌하는 것으로 의심됩니다. Co-action은 크로스오버를 위해 수납공간을 추가하고 별도의 수납공간을 열어주는 것과 같으며, 이는 표현공간을 늘리고 사업적으로도 좋은 수익을 창출합니다.

3. 링크 표현 일관성

이 부분은 대략적인 정렬 및 호출에 관한 것입니다. 추천 비즈니스의 경우 컴퓨팅 성능이 수백만 개의 후보 세트를 정밀하게 정렬하는 것을 지원하지 못하고 리콜, 대략적인 정렬, 정밀한 정렬로 구분되지만 논리는 동일한 문제입니다. 예를 들어, 아래 그림과 같이 대략적인 정렬은 잘려지게 되며, 미세 정렬의 최종 내용은 약 1,000개 정도가 됩니다. 대략적인 정렬과 미세 정렬의 표현이 크게 다른 경우, 잘림 과정에서 미세 정렬이 수행됩니다. 앞으로는 점수가 더 높아질 것입니다. 내용이 잘렸습니다. 미세 정렬과 대략 정렬의 특징 및 모델 구조는 다릅니다. 대략적인 정렬은 벡터 검색의 대략적인 구조인 리콜 프레임워크와 일반적으로 유사합니다. 특징은 나중에 교차되며 미세 정렬과의 표현 차이는 당연합니다. 등장할 모델. 일관성을 향상할 수 있다면 양측 모두 동일한 변화 추세를 포착할 수 있기 때문에 비즈니스 지표도 상승할 것입니다.

다음 그림은 대략적인 일관성 반복 프로세스의 기술적 맥락을 보여줍니다. 위쪽은 Twin Towers의 기술 라인이고 아래쪽은 DNN의 기술 라인입니다. 쌍둥이 타워의 지형지물이 상대적으로 늦게 상호작용하기 때문에 트윈타워의 지형지물이 교차하는 방식이 많이 추가되었습니다. 그러나 벡터 검색 방법의 상한선이 너무 낮기 때문에 2022년부터 대략적인 정렬을 위한 DNN 분기가 있을 예정이며, 이는 기능 스크리닝, 네트워크 가지치기, 성능 최적화와 같은 엔지니어링 아키텍처에 더 큰 부담을 줄 것입니다. 등, 한 번에 득점하는 항목 수도 이전보다 줄어들지만 점수가 좋아지므로 더 적은 항목 수도 허용됩니다.

DSSM-autowide는 Twin Towers 기반의 Deep-FM과 유사한 크로스오버로, 이로 인해 비즈니스 지표가 증가했습니다. 그러나 다음 프로젝트에서는 새로운 크로스오버 방식을 사용합니다. 개선이 없을 것입니다.

따라서 트윈타워를 기반으로 할 수 있는 혜택은 상대적으로 제한적이라고 생각합니다. 우리는 또한 쌍둥이 타워를 기반으로 한 대략적인 다중 작업 모델을 시도했지만 여전히 쌍둥이 타워 문제를 해결할 수 없었습니다.

위의 문제를 바탕으로 우리 팀은 거친 정렬 모델을 최적화하고 DNN 및 캐스케이드 모델을 사용하여 스태킹 아키텍처를 만들었습니다.

캐스케이드 모델은 먼저 Twin Towers로 필터링한 다음 대략적인 정렬을 위해 DNN 모델로 필터링하고 잘라낼 수 있습니다. 이는 대략적인 정렬 내부에서 대략적인 정렬과 미세 정렬을 수행하는 것과 동일합니다. DNN 모델로 전환한 후에는 더 복잡한 구조를 지원하고 사용자 관심 사항의 변화에 ​​더 빠르게 적응할 수 있습니다.

캐스케이드 모델이 없으면 대략적인 DNN에서 사용할 작은 후보 세트를 선택하기가 어렵습니다. 캐스케이드에서 더 중요한 것은 샘플을 구성하는 방법입니다. 아래 그림을 볼 수 있습니다. 백만개 수준의 자료 라이브러리에서 우리는 1,000개 이내의 수천 개의 대략적인 정렬 및 미세 정렬 자료를 기억하며, 최종적으로 약 20개의 항목이 노출되었으며, 사용자의 작업 수는 전체 프로세스에서 더 큰 수준이었습니다. 사용자에게 라이브러리를 제공합니다. 캐스케이드를 수행할 때 핵심은 각 부품을 샘플링하여 캐스케이드 모델에서 학습할 수 있는 어려운 쌍과 상대적으로 간단한 쌍을 형성해야 한다는 것입니다.

다음 그림은 계단식 최적화와 전역 네거티브 샘플링이 가져오는 이점을 보여 주지만 여기서는 자세히 소개하지 않습니다.

다음으로 최근 유행하는 인과추론을 소개하겠습니다.

우리가 인과 추론을 사용하는 동기는 모두가 좋아하는 것을 사용자에게 푸시하는 것입니다. 사용자 클릭 효과는 좋지만 사용자 자신도 상대적으로 틈새 관심을 갖고 있으므로 이를 사용자에게 푸시합니다. . 사용자는 또한 틈새 재료를 선호합니다. 이 두 가지는 사용자에게는 동일하지만 플랫폼의 경우 도입될 수 있는 틈새가 더 개인화되고 첫 번째 유형은 모델을 통해 도출하기가 더 쉽습니다. .

구체적인 방법은 쌍별 샘플 쌍을 그룹화하고 베이지안 방법을 사용하여 사용자가 클릭하고 인기가 낮은 자료와 인기가 높지만 사용자가 클릭하지 않는 자료에 대해 손실 훈련 모델을 수행하는 것입니다. .

실제로는 정밀 정렬 단계보다 대략 정렬 및 회상 단계에서 수행할 때 인과 추론을 더 쉽게 얻을 수 있습니다. 그 이유는 Fine Ranking 모델이 상대적으로 복잡하기 때문입니다. Fine Ranking은 이미 좋은 개인화 기능을 갖추고 있지만, 대략적인 Ranking과 Recall을 사용하더라도 전체 모델의 개인화 능력에는 여전히 격차가 있습니다. 개인화 능력이 강한 곳에서 인과 추론을 사용하는 것의 효과는 개인화 능력이 강한 곳에서 사용하는 것보다 확실히 더 분명합니다.

IV. 기타 기술적 포인트

1. 순서 재배열

재배치는 빔 검색 방식을 사용하며 NEXT 드롭다운의 보상 기능을 결합하도록 설계되었습니다. 다양한 후보 시퀀스를 생성하기 위한 모델로, 확장 후 효과가 가장 불안정한 시퀀스를 선택하고 세부 사항을 더욱 최적화하고 있습니다.

2. 그래프 기술

그래프 기술은 주로 그래프 데이터베이스와 그래프 임베딩의 두 부분으로 구성됩니다. 추천을 위해서는 그래프 데이터베이스를 사용하는 것이 더 편리하고 저렴할 것입니다. 그래프 임베딩은 걷기 클래스의 노드를 무작위로 걷는 과정을 말하며, 그래프 데이터(일반적으로 고차원 밀집 행렬)를 저차원 밀집 벡터로 매핑합니다. 그래프 임베딩은 그래프의 토폴로지 구조, 꼭지점 간의 관계 및 기타 정보(예: 하위 그래프, 가장자리 등)를 캡처해야 하는데, 여기서는 소개하지 않습니다.

랜덤 워크, 그래프 구조, 그래프 비교 학습 및 기타 알고리즘을 기반으로 하는 알고리즘을 사용하여 사용자와 블로그 게시물, 사용자와 작성자 간의 상호 작용/관심을 불러일으킬 수 있습니다. 이미지, 텍스트, 사용자 등을 임베딩하고 모델에 기능을 추가하는 방식이 주류이며, 직접 엔드투엔드 네트워크를 구축하고 GNN을 활용해 추천하는 등 좀 더 첨단적인 시도도 있다.

아래 사진은 현재 엔드투엔드 모델인데 아직 시도 중이고 온라인 메인 트래픽 버전은 아닙니다.

아래 그림은 임베딩을 생성하기 위한 그래프 네트워크 기반이며, 오른쪽 그림은 계정의 도메인을 기준으로 유사도를 계산한 것입니다. Weibo의 경우 관심 관계를 기반으로 임베딩을 계산하는 것이 유리합니다.

5. 질의응답 세션

Q1: 추천 정보 흐름에 많은 항목이 있지만 클릭하지 않고 탐색만 합니다. 관심이 있는지 없는지 어떻게 구별합니까? 목록 페이지에 있는 항목의 체류 시간을 통해?

A1: 네, 정보 흐름 비즈니스에서는 기간이 더 중요한 최적화 지표입니다. 오늘날 사용자가 앱에 머무르는 시간을 최적화 지표로 직접 최적화하는 것은 편리하지 않습니다. 더 최적화되는 것은 항목에 머무르는 시간입니다. 지속시간을 최적화 목표로 여기지 않는다면 얕은 소비 콘텐츠를 많이 홍보하는 것이 더 쉬울 것입니다.

Q2: 학습 중에 장애 조치가 발생하면 모델의 실시간 업데이트에 일관성 문제가 발생합니까? 모델 일관성 문제를 어떻게 처리합니까?

A2: 현재 권장되는 학습 및 훈련은 CPU인 경우 글로벌 라운드에서 수행하는 경향이 없으며 함께 수집됩니다. ps로 업데이트한 후 다음 라운드를 시작합니다. 성능 문제 때문에 사람들은 기본적으로 이 작업을 수행하지 않습니다. 실시간 학습이든 온라인 학습이든 강력한 일관성을 달성할 수는 없습니다.

훈련 중에 장애 조치가 발생하면 스트리밍 훈련을 사용하면 kafka 또는 flink와 같은 데이터 스트림에 기록되어 현재 계획이 훈련되는 위치를 기록합니다. 마지막 훈련 기록도 있는데, 이는 전반적인 차이와 유사합니다.

Q3: 리콜에 정밀 정렬 순서를 사용하면 리콜 모델의 반복 제한이 낮아질까요?

A3: 반복의 상한은 재현율의 한계로 이해될 수 있습니다. 그러면 재현율의 한계는 확실히 정밀 정렬을 초과하지 않는다는 것을 이해합니다. 예를 들어 지금 컴퓨팅 성능이 무한하다면 괜찮습니다. 분류는 5백만 개의 자재를 생산하는 데 사용됩니다. 이것이 비즈니스를 처리하는 가장 좋은 방법입니까? 리콜이 그다지 큰 투자가 아닐 경우에는 그에게 가장 좋다고 생각되는 부분을 찾아주려고 노력합니다. 예를 들어 리콜에서 상위 15개를 선택하고 500만 개 중 상위 15개를 선택하도록 합니다. 상대적으로 가깝습니다. 리콜 모듈이 더 나은 작업을 수행합니다. 모두가 이것을 이해한다면 미세 정렬 순서를 기억하는 것은 온라인 반복을 줄이지 않고 상한선을 향해 움직일 것입니다. 그러나 이는 우리의 의견이기도 합니다. 귀하의 비즈니스 성향에 따라 결론이 보편적으로 적용되지 않을 수도 있습니다.

위 내용은 웨이보 추천 실시간 대형모델 기술진화의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!