[제로베이스 PM 파트타임스쿨] 34일차 - AB_Test 진행 Proces_실험 설계_분기단위와 분석단위, Duration과 variation 설정, 실험진행과 결과 분석, 주의해야할 사항

 A는 구매를 한번도 한적이 없는 유저, B는 구매를 한번 이상 했던 유저로 나눈다면 A를 대조군, B를 실험군으로 설정한 후 구매프로세스 개선실험을 했는데 B의 구매전환율이 A에 비해 높게 나왔다면 실험에 의해 높아진거라고 볼 수 있을까?

이미 B 유저는 A보다 구매율이 높았던 유저였기 때문에 실험에 의해 B가 높아졌다고 볼 수가 없는것이다.

그래서 최대한 실험군과 대조군은 랜덤이어야한다.

 

ARPU : Average / Revenue / Per / User 유저 한명단 평균 수익

 

---

실험군이 위너가 된다면 실험 내용을 모든 유저에게 적용시켜서 노출하게 되고 반대의 경우라면 롤백한다.

variation이 버튼, ui, 이미지등 너무 많은게 변경된 것을 포함하면 어떤 요소 때문에 영향을 미쳤는지 알기가 어렵다.

---

실험군과 대조군이 너무 한쪽으로 쏠린다면(초기에는 몰릴 수 있음) 확인을 한번 해줘야한다.

50대 50으로 했는데 A가 20 B가 80 이런 경향일 경우에는 중간에 한번 확인해줘야한다.

 

대조군(control)에 유저가 5000인데 원하는 행동(구매든...)이 50이 이뤄졌어.

실험군(variation)은 5000인데 80일 경우 유의미한 실험인지?

유의미함.

 

 

대조군이 60%의 개선을 이뤄냈음