グローバルリフト

概要

実験は通常、ユーザーの一部のみを対象として登録します。グローバルリフトは、「この変更をすべての対象ユーザーにリリースした場合、メトリクスの合計は全体としてどのように変化するか」という質問の答えを示します。

たとえば、ある実験でユーザーあたりの収益が 10% 向上したとしても、その実験の対象ユーザー母集団が総収益の 20% しか占めていない場合、グローバル収益への推定影響度は約 2% となります。これは変更をリリースするかどうかを決定する際に役立ちます。実験内では印象的に見える施策であっても、対象範囲が狭い場合はビジネスレベルの合計への影響が小さくなる可能性があるためです。

Datadog は、グローバルリフトを_カバレッジ_と併せて報告します。これは、メトリクスの全体値のうちどれだけが対象ユーザー母集団から得られているかを定量化する指標です。グローバルリフトは、カバレッジと実験で観測された (ローカル) リフトの積です。

ユーザー母集団

すべての実験は、ユーザー母集団を 3 つのグループに分割します。

母集団	説明
対象外	対象外のユーザー (ページが異なる、ターゲティング条件を満たしていない、またはその他の対象条件を満たしていないユーザー)。彼らの行動はどのようなロールアウトの決定にも影響されません。
対象、未登録	対象条件を満たしているが、トラフィックエクスポージャー設定により除外されたユーザー。
登録済み	施策またはコントロールバリアントに割り当てられたユーザー。

グローバルリフトは、対象ユーザー母集団 (登録済みユーザーと、対象だが登録されていないユーザーの合計) に焦点を当てて、その母集団が完全にコントロールから施策に切り替えられた場合のメトリクスへの影響を推定します。トリートメントが完全にリリースされた場合、対象ユーザー母集団は、それと対話するすべてのユーザーをキャプチャすることになります。

カバレッジ

カバレッジとは、コントロールエクスペリエンスがすべての対象ユーザーにロールアウトされた場合に、対象ユーザー母集団から得られるグローバルメトリクス合計の推定割合です。計算式は以下のとおりです。

Coverage = FER_C / TM_C

記号	定義
`FER_C`	コントロールのみのロールアウトにおける、対象ユーザー母集団全体の推定メトリクス合計
`TM_C`	コントロールのみのロールアウトにおける、推定グローバルメトリクス合計

これらの値は、観測された実験データから推定されます。

FER_C = X_C / (p_C × t_exp)

TM_C  = TM − TEM + (X_C / p_C)

記号	定義
`X_C`	コントロールバリアントにおける観測メトリクス合計
`X_T`	施策バリアントにおける観測メトリクス合計
`TEM`	観測された実験メトリクス合計: `X_T + X_C`
`TM`	すべてのユーザー (登録済みおよび未登録) における観測メトリクス合計
`t_exp`	実験に登録された対象ユーザーの割合
`p_C`	コントロールバリアントに割り当てられた登録ユーザーの割合

FER_C の直感的な理解: コントロールバリアントは、対象ユーザー母集団の代表的なサンプルです。対象ユーザーのうちコントロールグループに割り当てられた割合は p_C × t_exp です。そのため、X_C をその割合で割ることで、コントロールグループのメトリクス合計を対象ユーザー母集団全体にスケールアップできます。

TM_Cの直感的な理解: 観測されたグローバル合計 (TM) から開始し、登録ユーザーの観測されたコントリビューション (TEM) を除外し、それらのユーザーが完全なコントロールのもとで生成したと思われる値 (X_C / p_C) に置き換えます。対象外ユーザーのコントリビューションは変更されません。

グローバルリフト

グローバルリフトは、カバレッジと実験のローカルリフトの積です。

Global lift = Coverage × Local lift

ローカルリフトとは、実験内で測定された実験対象あたりの相対的なリフトです。

                (Average metric value per treatment subject) − (Average metric value per control subject)
Local lift =  ──────────────────────────────────────────────────────────────────────────────────────────
                                  (Average metric value per control subject)

例

次の観測値を持つ実験を検討します。

50/50 のトラフィック分割 (p_C = 0.5)
すべての対象ユーザーが登録されています (t_exp = 1.0)
コントロール収益: $100 (X_C)
トリートメント収益: $110 (X_T)
すべてのユーザーの総収益: $1,010 (TM)

グローバルリフトの計算は次のように進められます。

ステップ	計算	値
`TEM`	$100 + $110	$210
`FER_C`	$100 / (0.5 × 1.0)	$200
`TM_C`	$1,010 − $210 + ($100 / 0.5)	$1,000
カバレッジ	$200 / $1,000	20%
ローカルリフト	($110 − $100) / $100	10%
グローバルリフト	20% × 10%	2%