개요
신뢰 구간 너비를 포함한 실험 결과의 정밀도는 메트릭 분산에 따라 달라집니다. 정밀도를 높이는 1가지 방법은 더 많은 데이터를 수집하는 것이지만, 이는 의사결정에 필요한 시간을 증가시킵니다.
Deng et al.의 Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-Experiment Data에서 처음 제시된 CUPED(Controlled-experiment Using Pre-Experiment Data)는 실험 노출 전에 캡처된 데이터를 사용하여 메트릭 분산을 직접적으로 줄입니다.
표준 실험 분석은 처리군에 노출된 대상의 메트릭 데이터와 대조군에 있는 대상의 메트릭 데이터를 비교합니다. 해당 비교에 사용된 모든 데이터는 실험 중에 수집됩니다. 팀은 종종 실험 시작 이전의 대상에 관한 정보, 특히 과거 메트릭 데이터를 보유하고 있습니다. CUPED는 이 실험 전 데이터를 사용하여 대상에게 변형을 무작위로 할당함으로써 발생하는 메트릭 분산의 일부를 제어합니다. 예를 들어, 무작위 확률에 의해 한 변형이 다른 변형보다 더 많은 활성 대상을 가질 수 있습니다. CUPED는 변형 간의 서로 다른 활동 수준을 제어하여 이러한 무작위 변동의 영향을 줄입니다.
CUPED는 기본적으로 활성화되어 있습니다. CUPED를 활성화하면 표시되는 리프트 및 메트릭 값이 원시 데이터에서 계산된 조정되지 않은 추정치와 다를 수 있습니다. 원시 데이터가 변경되는 것은 아니며, CUPED는 분석에 사용되는 추정량만 변경합니다. 이러한 차이는 예상된 결과이며 분산 감소를 유도하는 메커니즘입니다. 실험의 통계 분석 계획에서 CUPED를 토글 전환할 수 있습니다.
CUPED 작동 방식
Datadog의 구현은 원본 CUPED 논문과 Deng et al.의 From Augmentation to Decomposition: A New Look at CUPED in 2023에 설명된 메트릭 증강 프레임워크를 기반으로 합니다.
CUPED는 메트릭에 대한 원시(비-CUPED) 리프트 추정치를 가져와 일련의 조정을 통해 증강합니다. 원시 절대 리프트 추정치Δ(메트릭에 대한 비-CUPED 처리군-대조군 차이)가 주어지면, CUPED 조정 리프트는 다음과 같습니다.
CUPED lift = Δ + adjustment_1 + adjustment_2 + ... + adjustment_n
편향이 발생하는 것을 방지하려면 조정 항을 신중하게 선택해야 합니다. 구체적으로, 이들은 기댓값이 0이어야 합니다. 실험을 여러 번 실행하고 각 실험마다 대조군과 처리군에 서로 다른 사용자 샘플을 사용하는 경우, 해당 샘플 전체의 조정 평균은 0이 됩니다. 조정값의 기댓값이 0이므로, CUPED 리프트는 비-CUPED 리프트와 동일한 목표를 지향합니다. 신중하게 선택된 계수를 사용하면 샘플링 분산을 줄이면서 목표를 지향할 수 있습니다.
각 조정은 다음과 같은 형식을 갖습니다.
adjustment_i = -theta_i * (avg. covariate in treatment - avg. covariate in control)
이 공식에서 평균값은 처리군과 대조군에서 관찰된 공변량의 평균입니다. theta_i 값은 계수 선택에서 다루는 계수입니다. 이 형식을 고려할 때, 각 조정의 기댓값이 0이어야 한다는 요구 사항은 대조군과 처리군 전반에서 각 공변량의 기댓값이 동일해야 한다는 요구 사항과 동일합니다.
'기댓값 0'에 대한 직관적 이해: CUPED의 요구 사항을 이해하는 1가지 방법은 조정을 반복적인 A/A 테스트에서 관찰된 리프트와 비교하는 것입니다.
A/A 테스트에서 사용자는 처리군과 대조군으로 무작위 배정되지만, 두 그룹의 경험은 동일합니다. 적절한 무작위 배정을 수행하면 그룹 간에 체계적인 차이가 없으므로 여러 테스트에 걸친 평균 리프트는 0이 되지만, 샘플링 노이즈로 인해 개별 A/A 테스트에서 리프트가 반드시 0이 되는 것은 아닙니다. CUPED의 핵심 가정은 조정이 A/A 테스트의 리프트와 동일한 방식으로 작동한다는 것입니다. 동일하게, 변형별 공변량 평균도 A/A 테스트에서 변형별 메트릭 평균과 동일한 방식으로 작동합니다.
기본 공변량
기본적으로 Datadog Experiments에는 다음 공변량이 포함됩니다.
- 노출 전 집계
- 실험 노출 전 30일 기간 동안 캡처된 대상별 관측치.
- 대상 속성 값
- 초기 할당 기록을 기반으로 한 대상 속성.
데이터 품질 문제가 없다면, 두 카테고리의 공변량 모두 CUPED의 가정을 충족합니다. 실험 노출 시점 이전에는 처리군과 대조군 대상의 경험에 체계적인 차이가 없으므로, 노출 전 집계는 A/A 테스트에서의 메트릭 관측값과 유사한 동작을 보입니다. 마찬가지로, 최초 노출 시점에 캡처된 대상 속성 값은 처리군 노출의 영향을 받을 수 없습니다.
Datadog은 또한 실험 전 불균형 및 차원별 표본 비율 불일치와 같은 이러한 가정의 위반을 탐지하기 위해 정기적으로 진단 검사를 실행합니다.
누락된 값 처리
실무에서는 데이터 누락이 예상됩니다. 신규 사용자는 종종 실험 전 관측값이 없으며, 일부 대상은 속성에 대해 기록된 값이 없습니다. CUPED는 원본 CUPED 논문의 섹션 4.2에 있는 접근 방식을 따라 대상을 삭제하지 않고 두 경우 모두를 처리합니다.
- 누락된 노출 전 집계: 대상의 메트릭에 대한 실험 전 데이터가 없는 경우, 해당 값은 0으로 설정됩니다. 데이터가 부분적으로만 누락된 경우에는 별도의 누락 지표 공변량도 추가됩니다. 이는 대치된 0이 조정 결과를 왜곡하도록 내버려 두는 대신, 값이 누락되었다는 사실을 CUPED가 통제하도록 돕습니다.
- 누락된 속성 값: 속성에 대한 누락된 값은 삭제되지 않고 그 자체의 카테고리 값으로 처리되므로, 기록된 속성 값이 없는 대상도 포함됩니다.
포함되는 공변량의 수
공변량은 집계로부터 생성되며, 집계는 메트릭과 동일한 것이 아닙니다. 평균 메트릭은 단일 집계이지만, 비율 메트릭은 분자와 분모라는 2개의 집계로 나뉩니다. 각 집계는 하나의 공변량을 제공하며, 데이터가 부분적으로 누락된 경우에는 누락 지표가 추가됩니다. 각 대상 속성은 누락된 경우에 대한 값을 포함하여, 값당 하나의 공변량을 제공합니다.
2개의 메트릭과 하나의 속성을 가진 실험을 예로 들어보겠습니다.
- 사용자당 수익(평균 메트릭)
- 클릭률(비율 메트릭, 클릭 수를 페이지뷰 수로 나눈 값)
- 기기 유형(
Desktop 또는 Mobile인 속성)
비율 메트릭은 분자와 분모로 나뉘기 때문에, 이 두 메트릭은 3가지 노출 전 집계를 생성합니다. 각각에 일부 데이터가 부분적으로 누락되었다고 가정하면, 이는 다음과 같은 공변량에 기여합니다.
| 소스 | 공변량 |
|---|
| 사용자당 수익(평균) | 노출 전 사용자당 수익 및 해당 누락 지표 |
| 클릭률(비율) | 노출 전 클릭 수 및 노출 전 페이지뷰, 그리고 각각에 대한 누락 지표 |
| 기기 유형(속성) | Desktop, Mobile 및 Missing |
이 실험에는 총 9개의 공변량이 포함됩니다. 3가지 노출 전 집계에서 6개, 기기 유형 속성에서 3개입니다.
조정을 안정적으로 유지하기 위해 속성의 가장 일반적인 값만 포함됩니다. 각 변형에서 가장 일반적인 10개의 값이 모든 변형에 적용되는 단일 공유 공변량 세트로 결합되며, 더 희귀한 값은 포함되지 않습니다. 값이 누락된 대상이 없을 때의 누락 지표와 같이 변동이 없는 공변량도 제외됩니다.
계수 선택
공변량이 설정된 후, Datadog은 CUPED 조정 리프트의 분산을 근사적으로 최소화하는 계수(theta_i 값)를 선택합니다. 이 조정은 기대값이 0으로 유지되면서 노이즈를 최대한 제거합니다. 모든 변형의 데이터를 풀링하여 단일 계수 세트를 추정하므로, 동일한 조정이 모든 변형과 나중에 분석되는 세그먼트에 적용되며, 이는 할당 시 기록된 대상 속성에 의해 정의됩니다.
공변량 간에 상관관계가 있을 때 작은 L2 페널티가 계수를 안정적으로 유지합니다. CUPED는 고정된 조정 계수 세트에 대해 편향되지 않으므로, 이 페널티는 리프트 추정치에 편향을 유발하지 않습니다. 이는 처리 효과 자체에 대한 계수에 L2 페널티를 적용하여 추정치에 편향을 줄 수 있는 릿지 회귀와는 다릅니다.
실무에서는 실험 데이터에서 계수를 추정하지만, CUPED는 결과를 계산할 때 이를 고정된 것으로 취급합니다. 이는 원본 CUPED 논문의 접근 방식을 따르며, 이론적으로 계수 추정에 따른 분산 기여도는 디지털 실험에 필요한 표본 크기에서 일반적으로 무시할 수 있는 수준임을 시사합니다.
CUPED는 종종 회귀 조정의 한 형태로 해석되며, 둘은 밀접하게 관련되어 있습니다. 평균 메트릭의 경우, 분산을 최소화하는 계수는 일반 최소제곱법을 사용하여 메트릭을 공변량에 회귀 분석하여 얻은 계수와 정확히 일치합니다.
그러나 CUPED는 근본적으로 모델을 사용하지 않습니다(model-free). 이는 무작위 배정된 그룹 간의 실험 전 차이가 기대치에서 0이라는 사실에만 의존하며, 공변량과 메트릭 간의 관계 형태에 대해 어떠한 가정도 하지 않습니다. CUPED를 회귀가 아닌 증강으로 구성하면 비율 및 백분위수 메트릭과 같은 고급 메트릭 유형으로 자연스럽게 확장되는 일반적인 프레임워크를 얻을 수 있습니다. 모든 경우에 일반적인 형태는 동일합니다. 비-CUPED 리프트 추정치에서 시작하여 기대값이 0인 조정 항을 추가하는 것입니다.
모든 메트릭 유형에 대한 분산 감소
Datadog의 CUPED는 평균 기반 메트릭에만 국한되지 않습니다. 동일한 프레임워크가 평균, 비율 및 백분위수 메트릭의 분산을 감소시키며, 여기에는 페이지 로드 시간의 95번째 백분위수와 같이 분포의 테일링을 대상으로 하는 메트릭도 포함됩니다. 이는 백분위수 메트릭으로 자연스럽게 확장되지 않는 회귀 기반 CUPED 구현보다 유리한 점입니다. CUPED는 더 적은 표본으로도 더 좁은 구간을 생성할 수 있으며, 여기에는 백분위수로 자연스럽게 표현되는 지연 시간 및 Core Web Vitals 메트릭도 포함됩니다.
가정 및 해석
모델링 가정
CUPED는 선형 관계, 등분산성 또는 상호작용의 부재를 가정하지 않습니다. 주요 가정은 변형 간의 공변량 평균이 기대치에서 동일하다는 것입니다. 그 외의 다른 가정들은 적절한 무작위 배정을 통한 교란 방지, 중심극한정리에 의해 추정치가 근사적으로 정규 분포를 따를 만큼 충분히 큰 표본 크기 등 일반적인 디지털 실험에서 나타나는 공통 가정과 동일합니다.
CUPED 리프트 추정치가 비-CUPED 추정치와 다른 이유
CUPED는 동일한 리프트 추정치에 더 좁은 신뢰 구간만을 결합하여 산출하는 것이 아닙니다. CUPED 추정치와 비-CUPED 추정치가 항상 동일하다면, 그 분산과 그에 따른 신뢰 구간 또한 동일할 것입니다. CUPED 결과와 비-CUPED 결과의 차이는 CUPED의 분산 감소를 유도하는 정확한 메커니즘입니다.
CUPED 결과와 비-CUPED 결과 중 선택
CUPED의 가정이 충족될 때 CUPED 결과를 사용하세요. 이 결과들은 비-CUPED 결과와 동일한 기댓값을 가지지만 분산은 더 낮습니다. 적절한 데이터 관리 관행은 가정 위반의 위험을 줄이며, 진단 검사를 통해 실험 전 불균형 및 차원 표본 비율 불일치를 탐지할 수 있습니다.
실험을 시작하기 전에 CUPED 결과와 비-CUPED 결과 중 무엇을 의사결정의 근거로 삼을지 결정하세요. 이는 선호하는 결과에 유리한 결과를 선택하는 것을 방지합니다.
CUPED 및 부적절하게 무작위 배정된 실험
CUPED는 부적절한 무작위 배정으로 인해 발생하는 편향을 수정하지 않습니다. 이 방법은 실험이 적절하게 무작위 배정되었다고 가정하므로, 체계적으로 편향된 실험에서 통계적으로 유효한 추정치를 복구할 수 없습니다. 무작위 공변량 불균형은 적절하게 무작위 배정된 실험에서도 여전히 발생하며, CUPED는 이를 수정합니다. 즉, CUPED 조정 추정치는 특정 관측된 공변량 불균형에 대해 조건부로 편향되지 않습니다.
추가 자료