[A/B테스트] 16장. 실험 분석 확장

본 내용은 [A/B테스트, 론 코하비 저] 교재를 활용하여 작성되었습니다.

https://product.kyobobook.co.kr/detail/S000060625360

A/B 테스트 | 론 코하비 - 교보문고

---

본문

16장. 실험 분석 확장 (P. 251 ~ 257)

 

 

1. 개요

 회사가 후기 성숙 단계로 나아감에 따라 데이터 분석 파이프라인을 실험 플랫폼의 일부로 통합하는 것은 해당 방법론을 견고하고 일관적이며 과학적이고 신뢰가 높아지게 만든다. 이는 분석으로 많은 시간을 보내는 것을 방지한다. 이러한 방향으로 나아간다면, 데이터 처리, 계산, 시각화를 위한 일반적인 인프라단계를 이해하는 것이 유용할 것이다.

 

 

2. 데이터 처리

 계측된 원시 데이터를 계산에 적합한 상태로 만들려면 데이터를 가공해야 한다. 데이터 가공에는 다음과 같은 단계가 포함된다.

 

1) 데이터를 정렬화하고 그룹화하라.

- 사용자 요청에 의한 정보는 클라이언트 및 서버를 포함해서 다양한 시스템에 의해 기록될 수 있기 때문에 시작 단계에서 이러한 다양한 기록을 정렬, 결합한다. 처리 및 계산 단계 중에서는 데이터를 가상적으로 결합할 수 있으므로 물리적으로 구현하지 않아도 된다. 단, 출력이 디버깅, 가설 생성 등에 사용된다면 필요할 수 있다.

 

2) 데이터를 정제하라.

- 데이터를 정렬하고 그룹화하면 보다 쉽게 정제할 수 있다. 실제 사용자가 아닐 가능성이 있는 세션을 제거할 수 있다. 혹은 경험적으로 지나치게 많은 세션 수, 활동, 너무 짧은 이벤트 간 시간, 과도한 클릭 등이 포함되며, 잘못된 타임스탬프 처리 역시 이상치일 수 있다.  데이터 정제 단계에서는 데이터 수집 단계에서 발생한 손실에 대한 누락된 이벤트를 보정할 수는 없다. 또한 일부 필터링은 한 실험군에서 다른 실험군보다 더 많은 이벤트를 제거해서 샘플간 불균형을 일으킬 수 있다.

 

3) 데이터를 보강하라.

- 유용한 데이터 또는 유용한 측정값을 제공하기 위해 일부 데이터를 추출하거나 보강할 수 있다. 이벤트별, 사용자별 수준에서 다양한 데이터를 보강할 수 있는데, 중복된 이벤트를 찾아내거나, 이벤트 지속 시간을 계산하거나, 이벤트 수나 세션 지속 수를 추가하는 것이다.  이후 실험 결과에 포함시킬지, 실험 정보 등을 주석으로 처리할 수 있다.

 

 

3. 데이터 계산

 데이터 처리 이후 세그먼트 및 지표들을 계산하고 실험 효과의 추정치와 통계적 유의성 정보를 포함해서 각 실험의 요약 통계를 얻기 위한 결과를 집계할 수 있다. 또한, 어떤 세그먼트가 흥미로운지와 같은 정보도 얻을 수 있는 단계이다.

 

데이터 계산을 위한 아키텍처를 구현하는 방법은 다음과 같다.

 

1) 사용자별 통계를 계산해 저장하고, 이를 사용자를 실험에 매핑하는 테이블과 결합한다. 전체 비즈니스 보고에 사용자별 통계를 사용할 수 있다는 장점이 있다.

 

2) 다음으로는 사용자별 지표 계산을 실험 분석과 완전히 통합하는 것인데, 여기서 사용자별 지표는 별도로 계산되어 저장되지 않고 필요에 따라 계산되는 방법이다. 예로는 여러 파이프라인 간의 일관성을 보장하기 위해 지표와 세그먼트 정의를 공유할 수 있는 방법이 있다. 이 경우 실험당 더 많은 유연성을 가질 수 있으나 다양한 파이프라인에서 일관성을 유지하려면 추가적인 작업이 필요하다.

 

  실험이 조직 전체에 걸쳐 확장됨에 따라, 속도와 효율성이 더욱 중요해진다. 세그먼트 및 지표의 수가 증가하면 계산에 많은 리소스가 소모될 수 있다. 이로 인해 실험 스코어 카드 작성이 지연되면 의사결정 지연으로 이어져 큰 비용을 발생시킬 수 있다. 실험이 일반화되고 혁신사이클에 필수적일수록 지연에 대한 영향력이 커진다. 

 

 현재 우리는 준실시간 처리가 가능해졌다. 준실시간 처리는 더 간단한 지표와 계산만을 포함하며 심각한 문제를 발견하는데 사용되기도 하며 데이터 처리가 제대로 이루어지지 않은 상태의 로그 데이터에 적용되기도 한다. 준실시간 처리는 알림 및 자동 실험 종료를 작동시킬 수 있다. 

 

정확성과 신뢰성뿐 아니라 속도와 효율성 또한 보장하기 위해, 모든 실험 플랫폼에 다음 사항을 권장한다.

 

1) 공통된 지표와 정의를 통해 모두가 표준 어휘를 공유하고 동일한 데이터 직관을 확립하도록 한다.

2) 이러한 정의에 대해 한 가지 구현만을 사용하거나, 실험 또는 지속적인 비교메카니즘을 통해 일관성을 유지한다.

3) 과거의 데이터에 대한 변화를 관리해야 한다.

 

 

4. 결과 요약 및 시각화

 궁극적인 목표는 의사 결정자를 안내하기 위해 주요 지표와 세그먼트를 시각적으로 요약하고 강조하는 것이다. 요약 및 시각화 단계에서 주지해야할 사항은 다음과 같다.

 

1) SRM* 과 같은 주요 테스트를 강조해서 결과의 신뢰성 여부를 명확하게 표현하여야 한다.

2) OEC** 및 중요 지표를 강조하고, 가드레일, 품질 등을 포함한 많은 지표도 표시하라.

3) 결과가 통계적으로 유의한지 여부에 대한 명확한 표시를 포함해서 지표를 상대적 변화로 나타내라.

4) 색상코드를 사용하고 필터를 활성화하여 중요한 변경 사항이 두드러지게하라.

 

* 스토리지 자원 관리 시스템

** 종합 평가 기준, 실험 목표에 대한 정량적 측정

 

 결과 요약 및 시각화 단계는 흥미로운 세그먼트를 자동으로 강조 표시하는 등의 세그먼트 집중 분석을 통해 의사결정이 올바른지 확인하고, 제대로 작동하지 않는 세그먼트에 대한 제품을 개선할 수 있는 방법이 있는지 확인할 수 있다.

 

  시각화 자체를 넘어 실험 규모를 실제로 확장하기 위해서는 다양한 기술적 배경을 가진 사람들(엔지니어 등)이 측정 점수 표 시각화에 접근할 수 있어야 한다. 정보 접근성은 정의에 대한 공통 언어를 확립하고 투명성과 호기심의 문화를 조성함으로써 직원들이 실험을 시행하고 변화가 비즈니스에 미치는 영향을 확보할 수 있게 된다. 또한 AB테스트 결과가 재무적 성과로 나오게 되면, 이를 비즈니스와 연관시키는 방법에 대해서도 확인할 수 있다.

 

 시각화 도구는 실험별 결과를 보여주는 것 뿐만 아니라 여러 실험들에 대한 지표별 결과를 보여주는데 유용하다. 만일 실험이 특정 지표를 과하게 해치는 경우, 이해관계자들은 출시 결정에 대한 조정을 결정할 수 있을 것이다. 또한, 시각화 도구는 제도적 기억에 접근하기 위한 관문이기도 하다.

 

 중앙집중식 실험 플랫폼은 실험과 지표들 모두의 관점을 통합할 수 있다. 건강한 의사결정 프로세스를 구축하기 위해 플랫폼이 제공할 수 있는 두 가지 선택은 다음과 같다.

 

1) 개인이 관심 있는 지표를 구독할 수 있으며, 이러한 지표에 영향을 미치는 주요 실험의 요약본을 이메일로 받아볼 수 있다.

2) 실험이 부정적인 효과를 보일 경우, 실험 확대 전 실험 담당자가 측정 담당자와 논의하는 승인 프로세스를 시작할 수 있다.

 

 조직이 실험 성숙도의 유지 및 성장 단계로 이동함에 따라, 조직에서 사용하는 지표의 수는 계속 증가한다. 이럴 경우 다음과 같은 방법을 사용하는 것이 권장된다.

 

1) 지표를 계층 또는 기능별로 다른 그룹으로 분류한다.

2) 지표의 수가 증가함에 따라 다중 테스트 문제가 중요해지므로 베냐민 호흐베르크 절차*와 같은 다중 테스트 접근법에 대한 논의를 진행한다.

3) 관심지표**와 연관지표***를 주의깊게 확인하라.

 

* Benjamini-Hochberg procedure, 서로 다른 테스트에 대해 다양한 p-임계값을 사용하는 절차. 0.05 뿐만 아니라, 0.05를 테스트 수로 나눈 값 등이 포함될 수 있다.

** 특정 지표들에서 예상치 못한 움직임이 발견될 경우 이는 관심 지표가 될 수 있다.

*** 지표가 변화하거나 변화하지 않는 것은 다른 관련 지표로 설명할 수 있는 지표. 예를 들어 MAU(월간 활성화 사용자 수)가 줄어든 것에 대한 연관 지표로는 경쟁업체의 등장, 세일 종료 등이 있을 수 있다.

 

끝.

---

퀴즈

1.  다음  괄호 안에 들어갈 알맞은 말을 쓰시오.

 

1) 데이터를 (   ㄱ   )  하고 (   ㄴ   )하면 보다 쉽게 정제할 수 있다. 

2) 의사 결정자를 안내하기 위해 주요 지표와 세그먼트를 시각적으로 요약하고 강조하는 것에 대한 단계는 (    ㄷ    ) 이다.

 

 

정답 (드래그하면 보입니다.)

ㄱ- 정렬

ㄴ- 그룹화

ㄷ- 결과 요약 및 시각화