A/B test , Uplift Modeling_1

A/B test 개요

A/B test에 관한 것, 가설설정에 필요한 세부 요소, 데이터 분석가의 역할을 중심으로 설명할 것이다.

1 ) A/B Test?

| 대조군(A) 과 실험군(B)을 비교해 더 나은 성과를 나타내는 방법이 무엇인지 측정하는 실험

 

Audience(테스트 대상)

대조군(Control) : 어떤 '처치'도 하지 않은 그룹

실험군(Vaiation) : '처치'를 한 그룹

 

여기서, '처치' 란 콘텐츠, UX/UI , 프로모션 등을 적용한 것을 의미한다.

대조군 대비 실험군이 어떤 성과를 보이느냐, 해당 성과가 더 나은 것인지 판단하는 목적으로 시행한다.

 

측정 : '전환' 즉, 의도한 액션을 취했는지를 비교

데이터 분석가의 역할 : 대조군과 실험군의 차이가 통계적으로도 유의한 지 판단

 

"A/B test 는 검증하고 싶은 최소한의 요소를 단계별로 Phase 1 Phase2로 개선하면서 검증할 때 가장 효과가 좋은 방법론"

---

 

2) '가설'  설정 부터 시작하는 프로세스

| A.B test 에 필요한 요소 : 가설(Hypothesis) , 대조군(Control), 실험군(Variation), Primary KPI, Guardrail KPI, Conversion Rate(전환율), Uplift, Confidence level(신뢰도)

| 가설에 필요한 요소 : Audience > 변경 요소 > KPI > Uplift

 

이상적인 가설의 구조

' Audience'대상으로 '어떤 요소'를 변경하면 어떤 KPI 가 +##% 증가할 것이다.' 

 

만약, '메인 플랫폼 UI를 변경하면, 매출이 +10% 증가할 것이다'라는 가설을 세웠다면,

필요한 요소는 모두 충족했지만, 바꾸는 요소에 비해 측정하고자 하는 '매출'이라는 성과지표가 직접적으로 연결되지 않는다.

메인 플랫폼 에서 매출까지 이어지는 과정에 다른 Funnel 도 많기 때문에 노이즈가 많이 발생한다.

따라서 매출보다는, 유입률 클릭률 등으로 측정할 KPI 지표를 변경하는 것이 좋겠다.

 '메인 플랫폼 UI를 변경하면, 배너 클릭률이 +10% 증가할 것이다' 

 

KPI(Primary, Guardrail)

 

- Primary KPI : 가설의 성공에 주요한 지표

- Guardrail KPI  : 떨어지면 안되는 지표, 서비스에 악영향을 주었는지를 파악하는 지표 > 지켜야 하는 지표

 

즉, '메인 플랫폼 UI를 변경하면, 배너 클릭률이 +10% 증가할 것이다'이란 가설을 설정했을 때,

Primary KPI : 배너 클릭률

Guardrail KPI  : 배너 > 구매 전환율, 구매 금액 인 것이다.

배너 클릭율이 올랐지만, 그 배너를 보고 상품을 사는 사람이 줄었다면, 이 실험이 성공했다고 보기가 어렵다

 

'실험군에서 대조군 대비 배너 클릭률(Primary KPI)이 10% 증가했으며, 배너 구매 전환율, 구매 금액(Guardrail KPI)에 부정적인 효과가 없었으므로, 최종적으로 실험군을 테스트의 Winner 로 선정한다.'

---

A/B test  Process & 결과 해석

| 현황 분석 > 개선 목표 설정 > 가설 설정 > Variation 상세 정의, 시나리오 작성 > 실험 진행 > 결과 분석 > Next Step 진행

> 데이터 분석가의 역할 : 사실상 전체 과정

 

결과 해석

KPI = Key Performance Index : 성과 지표, 어떤 것이 개선되어야 할지

Uplift & Confidence Level : 얼마나 개선되어야, 우리에게 유의미할지(실제 / 통계)

 

*MDE(Miniomum Detectable Effect) 유의

| 어떤 기업에서 리소스를 고려했을 때, 최소 전환율이 최소 얼마 이상 늘어야 한다~ 인지 최소한의 효과라도 감지하고 싶은 건지

 

Confidence Level 

| 통계적으로 유의했는지 아닌지 판단하는 요소, 비즈니스에 따라 다름(P-value 또는 베이지안 등)

 

1. 전환율 차이에 대한 검정 : 이 표본 비율 검정(p-value)

> 전환(0,1) 두 가지 상황을 판단하는 비율이므로, 비율 = 이항분포(Binomial)를 따름 -> N이 충분히 클 시 정규분포에 근사할 수 있음을 가정

> 일반적으로, p-value 가 0.05 이하이면 유의하다 판단

 

Winner 선정

1. 차이가 통계적으로 유의미한가? 이 표본 검정 시 차이가 유의한가(Confidence level)

2. 우리의 비즈니스에 유의미한 성과를 냈는가? Uplift가 초기 가설로 설정한 최소 MDE 수치를 넘었는가?

3. 모수가 충분한가? 비즈니스 환경에서 믿을 수 있는 결과인가?

---

Reference.

1. 현업에서 사용하는 A/B test (https://www.youtube.com/watch?v=TT9wMaiDUG4)

2. 데이터 과학자의 원칙(https://www.yes24.com/Product/Goods/119016899)

3. PM을 위한 데이터 분석 ( https://zzsza.github.io/data-for-pm/metric/examples.html#kpi-key-performance-indicator)