사용자 성장 시나리오에서 AB 실험 시스템을 구축하는 방법은 무엇입니까?

1. 신규 사용자 시나리오 실험 시 직면하는 문제점

1. UG 파노라마

UG의 파노라마입니다.

UG 유료 광고, ASO, SEO 및 기타 채널을 통해 고객을 확보하고 트래픽을 앱으로 전환하세요. 다음으로, 초보자를 위한 몇 가지 작업과 지침을 수행하여 사용자를 활성화하고 성숙 단계로 끌어올릴 것입니다. 후속 사용자는 천천히 비활성화되거나 거부 기간에 들어가거나 이탈 기간에 들어갈 수도 있습니다. 이 기간 동안 이탈에 대한 조기 경고, 활성화 촉진을 위한 리콜, 나중에 손실된 사용자에 대한 리콜을 수행할 것입니다.

은 위 그림의 공식으로 요약할 수 있습니다. 즉, DAU는 DNU 곱하기 LT와 같습니다. UG 시나리오의 모든 작업은 이 공식에 따라 해체될 수 있습니다.

2. AB 실험 원리

AB 실험의 목적은 트래픽을 완전히 무작위로 할당하고 실험군과 대조군에 따라 서로 다른 전략을 사용하는 것입니다. 마지막으로 전체 실험의 틀을 구성하는 통계적 방법과 실험적 가설을 결합하여 과학적 결정을 내립니다. 현재 시중에 나와 있는 실험적 배포 유형은 크게 실험적 플랫폼 배포와 클라이언트 로컬 배포의 두 가지로 나뉜다.

실험적 플랫폼 배포에는 기기가 초기화 후 안정적인 ID를 얻을 수 있어야 한다는 전제 조건이 있습니다. 이를 기반으로 ID는 실험 플랫폼에 오프로드 관련 로직을 완료하도록 요청하고, 오프로드 ID를 엔드포인트에 반환하며, 엔드포인트는 수신된 ID를 기반으로 해당 전략을 수립합니다. 장점은 션트의 균일성과 안정성을 보장할 수 있는 실험 플랫폼을 갖추고 있다는 점입니다. 단점은 실험적인 분류를 수행하기 전에 장비를 초기화해야 한다는 것입니다.

또 다른 오프로드 방법은 클라이언트 측 로컬 오프로드입니다. 이 방법은 비교적 틈새적이며 주로 일부 UG 장면, 광고 화면 오프닝 장면 및 성능 초기화 장면에 적합합니다. 이러한 방식으로 클라이언트가 초기화되면 모든 오프로딩 로직이 완료됩니다. 지연이 없고 전원을 켠 후 바로 배포가 가능하다는 장점이 있습니다. 논리적으로 말하면 분포 균일성도 보장될 수 있습니다. 그러나 실제 비즈니스 시나리오에서는 배포 균일성에 문제가 있는 경우가 많습니다. 그 이유는 다음에 소개하겠습니다

3. 신규 사용자 시나리오 AB 실험이 직면한 문제

UG 실제로 UG 시나리오가 직면한 첫 번째 문제는 트래픽을 최대한 빨리 전환시키는 것입니다.

여기 트래픽 수용 페이지와 같은 예가 있습니다. 제품 관리자는 핵심 지표를 개선하기 위해 UI를 최적화할 수 있다고 생각합니다. 이러한 시나리오에서는 실험이 가능한 한 빨리 분류되기를 바랍니다.

1페이지의 오프로드 과정에서 기기가 초기화되고 ID를 획득하게 됩니다. 18.62%의 사용자는 ID를 생성할 수 없습니다. 전통적인 실험적 플랫폼 전환 방법을 사용하면 18.62%의 사용자가 그룹화되지 않아 고유한 선택 편향 문제가 발생합니다

또한 신규 사용자의 트래픽은 매우 소중하여 18.62%의 신규 사용자가 이를 할 수 없습니다. 실험에 사용되며 실험 기간 및 트래픽 활용 효율성에 큰 손실이 발생합니다.

앞으로는 실험 오프로드 문제를 최대한 빨리 해결하기 위해 클라이언트를 사용하여 실험을 로컬에서 오프로드할 예정입니다. 장점은 장치가 초기화되면 오프로딩이 완료된다는 점입니다. 원리는 먼저 단말기에서 초기화할 때 자체적으로 난수를 생성하고, 난수를 해싱한 후 같은 방식으로 그룹핑하여 실험군과 대조군을 생성할 수 있다는 것이다. 원칙적으로는 트래픽 분포가 균등해야 합니다. 그러나 위 그림의 데이터 세트를 통해 사용자 중 21% 이상이 반복적으로 다른 그룹에 진입하는 것을 확인할 수 있습니다.

Honour of Kings 또는 Douyin과 같은 매우 인기 있는 일부 제품의 사용자가 쉽게 중독되는 시나리오가 있습니다. 신규 사용자는 실험 주기 동안 여러 번 제거하고 다시 설치하게 됩니다. 방금 언급한 로컬 전환 논리에 따르면 난수 생성 및 전환을 통해 사용자가 다른 그룹에 들어갈 수 있으므로 전환 ID와 통계 ID가 일대일로 일치할 수 없습니다. 이로 인해 고르지 못한 분포 문제가 발생했습니다.

새로운 사용자 시나리오에서는 실험적인 평가 기준의 문제도 직면합니다.

이 시나리오를 대신하여 신규 사용자 트래픽의 타임 차트를 재구성했습니다. 애플리케이션 시작 시 우리는 오프로드를 선택했습니다. 균일한 분배 타이밍을 달성하고 동시에 그에 따른 전략적 효과를 생산할 수 있다고 가정합니다. 다음으로 지표 통계ID가 생성되는 시점은 전략 효과가 나타나는 시점보다 늦어야 데이터를 관찰할 수 있다. 데이터 관찰 시점이 전략 효과 시점보다 훨씬 늦어 생존자 편향이 발생함

2. 새로운 실험 시스템과 과학적 검증

위의 문제를 해결하기 위해 새로운 실험을 제안했습니다. 시스템으로 과학적으로 검증했습니다

1. 신규 사용자 시나리오 실험 전환 ID 선택

앞서 언급했듯이 신규 사용자에 대한 전환 선택 요구 사항이 상대적으로 높을 것이므로 신규 사용자 실험을 선택하는 방법은 무엇입니까? 션트 아이디? 다음은 몇 가지 원칙입니다.

• 규정 준수, 해외 사업이든 국내 사업이든 보안 규정 준수는 무엇보다 생명선을 충족해야 합니다. 그렇지 않으면 제거되면 영향이 특히 커질 것입니다. 선반에서.
• 적시성, 새로운 사용자 시나리오의 경우 시기적절해야 하며 전화를 켜자마자 전환을 얻을 수 있습니다.
• 특이성은 단일 설치 주기 내에서 션트 ID가 안정적이며 표시기 ID와 일대일 대응을 형성할 수 있습니다. 아래 그림의 데이터에서 알 수 있듯이 전환 ID와 지표 계산 구경 ID의 1:1 일치 비율은 99.79%에 도달했으며, 지표 계산 ID와 지표 계산 ID의 1:1 비율은 달성되었습니다. 전환 ID도 99.59%에 도달했습니다. 기본적으로 표준에 따라 선택된 전환ID와 지표ID가 1:1 매칭이 가능한 것을 확인할 수 있다.

2. 오프로딩 기능의 과학적 검증

오프로딩 ID를 선택한 후 오프로딩 기능은 두 가지 방법으로 완료되는 경우가 많습니다. 첫 번째는 실험 플랫폼을 통한 것이고 두 번째는 끝까지입니다.

오프로딩 ID를 확보한 후 실험 플랫폼에 오프로딩 ID를 제공하고 실험 플랫폼에서 오프로딩 기능을 완료하세요. 유통 플랫폼으로서 가장 기본적인 것은 무작위성을 검증하는 것입니다. 첫 번째는 통일성이다. 동일한 실험 계층에서 트래픽은 여러 버킷으로 균등하게 나뉘며 각 버킷의 그룹 수는 균등해야 합니다. 여기서는 단순화할 수 있는데, 하나의 레이어에 하나의 실험만 하고 이를 a, b라는 두 그룹으로 나눈다면, 통제그룹과 실험그룹의 사용자 수가 거의 같아야 하므로 균일성을 검증할 수 있습니다. 전환 능력. 둘째, 다층 실험의 경우 다층 실험이 서로 직교하고 영향을 받지 않아야 합니다. 마찬가지로 서로 다른 층의 실험 간 직교성을 검증하는 것도 필요합니다. 균일성과 직교성은 통계적 범주 테스트를 통해 검증할 수 있습니다.

전환 선택의 ID와 전환 능력을 도입한 후, 마지막으로 새로 제안된 전환 결과가 지표 결과 수준에서 AB 실험의 요구 사항을 충족하는지 확인해야 합니다.

3. 전환 결과의 과학적 검증

내부 플랫폼을 사용하여 여러 번의 AA 시뮬레이션

을 실시하여 해당 지표에 대한 실험 요구 사항을 대조군과 실험군이 충족했는지 비교했습니다. 다음으로 이 데이터 세트를 살펴보겠습니다.

우리는 t-test의 일부 지표 그룹을 샘플링했습니다. 많은 실험에서 1종 오류율은 매우 작은 확률로 설정되어야 한다는 것을 이해할 수 있습니다. .055.%, 신뢰 구간은 실제로 약 1000배여야 하며, 이는 0.0365-0.0635 사이여야 합니다. 첫 번째 열에서 샘플링된 지표 중 일부가 이 실행 범위 내에 있음을 알 수 있으므로 1종 오류율 측면에서 보면 기존 실험 시스템은 괜찮습니다.

동시에 테스트가 t 통계량에 대한 테스트임을 고려하면 해당 t 통계량은 트래픽이 많은 분포 하에서 대략 정규분포를 따라야 합니다. t-검정 통계의 정규 분포를 검정할 수도 있습니다. 여기서는 정규분포 검정을 사용했는데, 검정 결과도 0.05보다 훨씬 크다는 것을 알 수 있다. 즉, 귀무가설이 성립한다. 즉, t 통계량이 정규분포를 대략 따른다는 것이다.

각 테스트에 대해 t 통계 테스트 결과의 p값은 매우 많은 실험에서 대략 균일하게 분포됩니다. 동시에 pvalue는 균일 분포, pvalue_uniform_test에 대해 테스트할 수도 있고, 비슷한 결과를 보는 것도 같습니다. 0.05보다 훨씬 크다. 따라서 p값이 대략 균일분포를 따른다는 귀무가설도 괜찮습니다.

위의 전환 ID와 지수 계산 구경, 전환 용량 및 전환 결과 지표 결과 간의 일대일 대응은 새로 제안된 실험 전환 시스템의 과학적 성격을 검증했습니다.

3. 적용 사례 분석

다음은 UG 시나리오의 실제 적용 사례와 결합하여 앞서 언급한 세 번째 문제를 해결하기 위한 실험 평가 방법을 자세히 설명합니다

1. 평가

이것은 일반적인 UG 트래픽 수용 시나리오입니다. NUJ 신규 사용자 안내 또는 신규 사용자 작업 중에 트래픽 활용도를 높이기 위해 많은 최적화가 수행됩니다. 이때 평가기준은 유지율인 경우가 많으며, 이는 현재 업계에서 통용되는 상식입니다.

신규 사용자 다운로드부터 설치, 최초 시작까지의 과정을 가정하면 PM은 이러한 과정이 사용자, 특히 제품 사용을 경험해 본 적이 없는 사용자에게는 너무 부담스럽다고 생각합니다. 사용자는 제품에 익숙해지고 제품의 힙합 순간을 경험한 후 로그인하도록 안내합니다.

더 나아가 제품 관리자는 제품을 경험해 본 적이 없는 사용자를 대상으로 신규 사용자 로그인이나 신규 사용자 NUJ 시나리오에서 저항을 줄여보자는 또 다른 가설을 제안했습니다. 이미 제품을 경험한 사용자와 기기를 전환한 사용자의 경우에는 여전히 온라인 프로세스를 사용하며 지표 ID를 기반으로 전환하는 방법은 먼저 지표의 ID를 획득한 후 전환을 수행합니다. 이 분할 방법은 대개 균일하며 실험 결과 및 유지율과 큰 차이가 없습니다. 이러한 결과로 판단하면 종합적인 결정을 내리기는 어렵다. 이런 종류의 실험은 실제로 트래픽의 일부를 낭비하고 선택 편향의 문제를 안고 있습니다. 따라서 아래 그림은 로컬 오프로드 실험 결과를 보여주며, 그룹에 추가되는 새로운 장치의 수에는 상당한 차이가 있을 것이라고 확신합니다. 동시에 유지율의 개선이 있으나 실제로는 다른 핵심지표에서는 부정적이며, 이러한 부정적인 방향은 실제로 유지율과 밀접한 관련이 있기 때문에 이해하기 어렵습니다. 따라서 이러한 데이터를 바탕으로 설명하거나 귀속시키는 것이 어렵고, 종합적인 결정을 내리기도 어렵습니다.

반복적으로 그룹에 가입한 사용자의 상황을 관찰할 수 있으며, 20% 이상의 사용자가 다른 그룹에 반복적으로 할당된 것을 확인할 수 있습니다. 이는 AB 실험의 무작위성을 파괴하고 과학적인 비교 결정을 내리기 어렵게 만듭니다

마지막으로 제안된 새로운 션트에 대한 실험 결과를 살펴보세요.

전원을 켜면 전환할 수 있습니다. 전환 용량은 전환의 균일성과 안정성을 크게 보장할 수 있는 내부 플랫폼에 의해 보장됩니다. 실험 데이터로 판단하면, 제곱근 테스트를 수행할 때 요구 사항을 완벽하게 충족하는 것을 볼 수도 있습니다. 동시에 유효한 신규 장치의 수가 1%로 크게 증가하고 유지율도 향상되었음을 확인할 수 있습니다. 동시에, 통제그룹이나 실험그룹만 보면 최종적으로 생성된 새로운 디바이스에 대한 전환 ID를 기준으로 한 트래픽 전환율이 통제그룹보다 1% 더 높은 것을 확인할 수 있습니다. 이런 결과가 나온 이유는 실제로 실험군이 NUJ와 NUT에서 사용자의 진입점을 확대해 더 많은 사용자가 더 쉽게 들어와 제품을 경험하고 머물게 했기 때문이다.

실험 데이터를 로그인 부분과 비로그인 부분으로 나누어 실험군에 속한 사용자의 경우 제품을 경험하기 위해 비로그인 모드를 선택하는 사용자가 더 많았으며 유지율도 더 높아진 것을 알 수 있습니다. 개선되었습니다. 결과도 기대에 부합합니다

일별 표시를 보면 실제로 그룹에 가입한 사용자 수가 장기간에 걸쳐 기록됩니다. 꾸준히 증가하고 있으며 유지 지표도 개선되었습니다. 대조군에 비해 실험군은 유효장치 개수와 보유율이 향상되었다.

신규 사용자 트래픽 수용 시나리오의 경우 평가 지표는 유지 또는 단기 LT 차원에서 더 평가됩니다. 여기서 실제로 최적화는 LT 수준의 1차원 공간에서만 수행됩니다

새로운 실험 시스템에서는 1차원 최적화가 2차원 최적화로 바뀌어 전체 DNU Shenshang LT가 개선되어 전략 공간이 기존의 1차원에서 2차원으로 변경되었으며, 동시에 일부 시나리오에서는 LT의 일부 손실이 허용될 수 있습니다.

4. 요약

마지막으로 신규 사용자 시나리오에서의 실험적 역량 구축 및 실험적 평가 기준을 요약해 보겠습니다.

• UG 신규 사용자 시나리오의 기존 실험 시스템으로는 신규 사용자 트래픽 수용 전략 평가 시 직면하는 문제를 완전히 해결할 수 없으며, 새로운 실험 시스템이 필요합니다.
• 전환 ID를 선택하는 기준은 여러 가지가 있습니다. 첫 번째는 보안 준수이며, 이후 첫 시작 시 얻을 수 있으며, 세 번째는 단일 설치 주기 내에서 안정적이며 주입식이라는 것입니다. 지표 ID 관계.
• 신규 사용자 시나리오에 대한 실험적 평가는 다차원적인 최적화이며, 이전에는 기기 유지율만 평가했던 것과 달리 신규 기기의 유효 개수와 기기 유지율에서 수익이 발생합니다.
• "신규" 사용자를 수용하면 종종 엄청난 비즈니스 이점을 얻을 수 있습니다. 여기서 "신규"는 새로운 사용자뿐만 아니라 제거하고 다시 설치한 사용자도 의미합니다.

위 내용은 사용자 성장 시나리오에서 AB 실험 시스템을 구축하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!