[제로베이스 PM 파트타임스쿨] 33일차 - AB_Test 진행 Process_목표 설정 및 가설 수립, 실험 설계 지표, 실험 설계 Target_User, samplesize calculator

가입화면까지 안가고 설치만한 유저도 있고 그래서 어디를 분모로 설정하는지에 따라 값이 크게 차이가 남.

디자인 및 개발이 완료되어야 가설을 테스트할 수 있어서 리소스가 들어가게 된다. 그러니까 신중히 가설을 세울 필요가 있고. 기록을 잘 해두어야한다.

---

---

서비스가 활발한 경우에는 테스트 결과 구매전환율이 좋아지면 좋지만 떨어지면 매출이 많이 줄기 때문에 테스트 모수를 아주 적게 한다. 스타트업과 같이 작은 서비스 초기 서비스는 50대 50으로 하는 경우도 있다.

---

Sample size calculator - Optimizely

Sample size calculator

 

baseline 대조군

minimum detectable effect MD가 낮으면 낮을 수록 정밀하다.

3% -> 50% 상승되는것보다 3% -> 5% 상승되는지 여부를 확인하는 것이 훨씬 더 정밀한 실험이고 훨씬 더 많은 샘플사이즈가 필요하다. MD가 높으면 실패인지 성공인지 빠르게 확인이 가능하고 MD가 낮을 수록 성공인지 실패인지 판단하기 위해 더 정밀하게 봐야하다보니 샘플사이즈가 커진다.

3%에서 50%가 상승되면 53%가 되는게 아니라 3%의 반 1.5%가 상승한 4.5%이다.(relative)

statistical signficance 보통 통계적 유의도로 95%를 사용한다.

 

강의를 듣기는 했는데 무슨소리인지 잘모르겠다. 어떤식으로 적용해야하는지도 감이 잘 안잡힌다 ㅋㅋㅋ

더 들어보고 실습을 해보면 알 수 있을까?