This product is not supported for your selected
Datadog site. (
).
概要
実験で測定したいメトリクスを作成します。Real User Monitoring (RUM)、Product Analytics、または独自のウェアハウスのデータを使用して、Datadog Experiments のメトリクスを作成できます。
メトリクスを作成する
データソースを選択:
前提条件
Product Analytics または RUM データからメトリクスを作成するには、アプリケーションに Datadog の クライアントサイド SDK がインストールされており、データがアクティブにキャプチャされている必要があります。SDK をまだ構成していない場合は、アプリケーションタイプを選択して開始します。
Product Analytics は、Real User Monitoring (RUM) と同じ SDK および構成を使用します。RUM のセットアップドキュメントを使用して SDK を構成した後、Product Analytics UI でメトリクスを作成します。
Product Analytics または RUM データを使用してメトリクスを作成する
実験用のメトリクスを作成するには、以下の手順を実行します。
- Datadog Product Analytics の メトリクスページ に移動します。
- Metrics タブを選択し、右上隅の Create Metric をクリックします。
- Metric name を追加し、必要に応じて Description を追加します。
- Metric definition セクションで、Select an event をクリックしてイベントピッカーを開きます。右側のチャートは、メトリクスを構成するとリアルタイムで更新されます。
- 特定のイベントを検索するか、By Type フィルターを使用してイベントタイプ別に参照します。
- ドロップダウンから集計方法を選択します。デフォルトは Count of events です。
- Add Filter をクリックして、追加のプロパティでメトリクスをフィルタリングします。
- (オプション) Additional settings セクションで、以下を行います。
- このメトリクスが重要な意思決定のために承認されていることを示すには、Mark as certified をオンにします。これには、Product Analytics 認定メトリクス書き込み権限が必要です。
- 必要に応じて Experiment settings および Units を調整します。デフォルト設定は、ほとんどのユースケースに対応しています。
- Save をクリックします。
フィルターを追加する
サービス、国、デバイスタイプなどの Event properties フィルターを選択して、メトリクスをフィルタリングできます。By Data Type フィルターを使用して、利用可能なプロパティのリストをタイプ (文字列やブール値など) で絞り込みます。
必要なプロパティが表示されない場合は、Custom property フィールドにプロパティ名 (例: @context.tracking) を入力し、Add をクリックします。
前提条件
ウェアハウスデータからメトリクスを作成するには、ウェアハウスを Datadog に接続 する必要があります。Datadog は、BigQuery、Databricks、Redshift、Snowflake をサポートしています。
ウェアハウスを接続した後、SQL モデルを作成してデータを Datadog にマッピングし、そのモデルを使用してメトリクスを作成します。
SQL モデルを作成する
SQL クエリを書き込んでデータを定義およびプレビューし、モデルを構成してデータを Datadog にマッピングします。
SQL を書き込む
まず、クエリを書き込んでデータを取得します。
- Datadog Product Analytics の メトリクスページ に移動します。
- Metric SQL Models タブを選択し、Create SQL Model をクリックします。
- Write SQL セクションで、目的のデータを返す SQL クエリを入力します。SQL エディターは
SELECT * FROM およびより高度な SQL ステートメントをサポートしています。 - Run をクリックしてデータをプレビューします。
大規模なテーブルの場合は、SQL テンプレート変数 を使用して Datadog の日付フィルターをクエリにプッシュし、実行ごとにデータウェアハウスがスキャンするデータ量を削減します。
ウェアハウスデータを Datadog にマッピングする
データをプレビューした後、それを Datadog にマッピングします。Structure your model セクションで以下を行います。
- Metric SQL Model Name を追加します (例: Revenue Orders)。
- (オプション) この SQL モデルが重要な意思決定のために承認されていることを示すには、Mark as certified をオンにします。これには、Product Analytics 認定メトリクス書き込み権限が必要です。
- ウェアハウステーブルの列を以下にマッピングします。
- Timestamp column
- メトリクスイベントに関連付けられたタイムスタンプをリストする列。
- 分析には、対象が実験に登録された後に作成された行のみが含まれます。
- Subject Type
- Datadog が実験グループをランダムに割り当てるために使用する属性。
- Subject Types ページで、サブジェクトタイプとそのデフォルトのウェアハウス列を定義できます。たとえば、個々のユーザーには
user_id を、組織アカウントには org_id を使用できます。
- Measures (オプション)
- Datadog がメトリクスに集計できるウェアハウステーブルの数値列 (例:
revenue または amount 列)。 - 各 SQL モデルには、each record メジャーが自動的に含まれます。このメジャーを使用して、特定の実験サブジェクトについてテーブル内の関連する行数をカウントします。
- Create Metric SQL Model をクリックして SQL モデルを保存します。
SQL モデルを使用してメトリクスを作成する
SQL モデルを作成したら、それを使用してメトリクスを作成します。
- Datadog Product Analytics の メトリクスページ に移動します。
- Metrics タブを選択し、右上隅の Create Metric をクリックします。
- Metric name を追加し、必要に応じて Description を追加します。
- Metric definition セクションで、Select an event をクリックしてイベントピッカーを開きます。右側のチャートは、メトリクスを構成するとリアルタイムで更新されます。
- 関連する SQL モデルを選択します。SQL モデルはそれぞれのソースの下に表示されます (例: Snowflake の下の Revenue Orders)。
- ドロップダウンから集計方法を選択します。
- (オプション) Additional settings セクションで、以下を行います。
- このメトリクスが重要な意思決定のために承認されていることを示すには、Mark as certified をオンにします。これには、Product Analytics 認定メトリクス書き込み権限が必要です。
- 必要に応じて Experiment settings および Units を調整します。デフォルト設定は、ほとんどのユースケースに対応しています。
- Save をクリックします。
集計方法
集計方法は、Datadog が各実験対象のデータをどのように要約するかを決定します。実験対象とは、Datadog が実験のためにランダム化する単位です。通常これはユーザーですが、実験の設定方法によっては、組織、Cookie、またはデバイスになる場合もあります。
Datadog Experiments は、以下の集計方法をサポートしています。
- Count of events (デフォルト)
- Count of unique users (コンバージョンメトリクスに有用)
- Sum ofイベントプロパティ (収益メトリクスに有用)
- Distinct values ofイベントプロパティ (ユニークページビューメトリクスに有用)
- イベントプロパティの Percentile (レイテンシーメトリクスに有用)
- Average ofイベントプロパティ (満足度メトリクスに有用)
Datadog は、各実験対象のメトリクスを計算します。たとえば、ユーザーごとにランダム化された実験における Count of events メトリクスは、バリアント (実験グループ) 内の全ユーザーのイベント総数をそのバリアント内のユーザー数で割って計算します。
比率メトリクス
Create Ratio をクリックすると、デフォルトの実験対象数以外の値でメトリクスを割ることができます。分母にはいずれかの集計方法を使用できます。たとえば、購入数を製品ページビュー数で割ることで、登録ユーザー全体ではなくファネルの特定のステップにおけるコンバージョンを測定できます。
Datadog は、デルタ法 を使用して分子と分母の間の相関関係を考慮します。
高度なオプション
Datadog Experiments は、以下の高度なオプションをサポートしています。これらはメトリクスを作成する際に、Additional settings > Experiment settings で変更できます。
- 期間フィルター
- デフォルトでは、Datadog はユーザーの最初の接触から実験終了までのすべてのイベントを含めます。この設定を使用して、「7 日以内のセッション」のような期間制限のある値を測定します。期間フィルターを追加すると、メトリクスには、実験が最初にユーザーを登録した時点から始まる、指定された期間内のイベントのみが含まれます。
- 希望するメトリクスの方向
- Datadog は、統計的に有意な結果を強調表示します。この設定を使用して、このメトリクスを増加させるか減少させるかを指定します。
- 外れ値の処理
- 実際のデータには、実験結果に影響を与える可能性のある極端な外れ値が含まれることがよくあります。この設定を使用して、Datadog がデータを切り捨てるしきい値を設定します。たとえば、99% の上限を設定して、メトリクスの 99 パーセンタイルですべての結果を切り捨てます。
参考資料