実験メトリクスを作成する

This product is not supported for your selected Datadog site. ().

概要

実験で測定したいメトリクスを作成します。Real User Monitoring (RUM)、Product Analytics、または独自のウェアハウスのデータを使用して、Datadog Experiments のメトリクスを作成できます。

組織でカスタムロールを使用している場合は、実験メトリクスを作成するために適切な Product Analytics 権限が必要です。

メトリクスを作成する

データソースを選択:

前提条件

Product Analytics または RUM データからメトリクスを作成するには、アプリケーションに Datadog の クライアントサイド SDK がインストールされており、データがアクティブにキャプチャされている必要があります。SDK をまだ構成していない場合は、アプリケーションタイプを選択して開始します。

Product Analytics は、Real User Monitoring (RUM) と同じ SDK および構成を使用します。RUM のセットアップドキュメントを使用して SDK を構成した後、Product Analytics UI でメトリクスを作成します。

Product Analytics または RUM データを使用してメトリクスを作成する

実験用のメトリクスを作成するには、以下の手順を実行します。

  1. Datadog Product Analytics の メトリクスページ に移動します。
  2. Metrics タブを選択し、右上隅の Create Metric をクリックします。
  3. Metric name を追加し、必要に応じて Description を追加します。
  4. Metric definition セクションで、Select an event をクリックしてイベントピッカーを開きます。右側のチャートは、メトリクスを構成するとリアルタイムで更新されます。
    1. 特定のイベントを検索するか、By Type フィルターを使用してイベントタイプ別に参照します。
  5. ドロップダウンから集計方法を選択します。デフォルトは Count of events です。
  6. Add Filter をクリックして、追加のプロパティでメトリクスをフィルタリングします。
  7. (オプション) Additional settings セクションで、以下を行います。
    1. このメトリクスが重要な意思決定のために承認されていることを示すには、Mark as certified をオンにします。これには、Product Analytics 認定メトリクス書き込み権限が必要です。
    2. 必要に応じて Experiment settings および Units を調整します。デフォルト設定は、ほとんどのユースケースに対応しています。
  8. Save をクリックします。
メトリクス名が「メトリクスの例」に設定され、「カートへ追加をクリック」イベントが選択され、集計方法のドロップダウンがイベント数に設定され、追加設定セクションがあり、右側に棒グラフのプレビューが表示され、保存ボタンが強調表示されている、メトリクスの作成ページ。

フィルターを追加する

サービス、国、デバイスタイプなどの Event properties フィルターを選択して、メトリクスをフィルタリングできます。By Data Type フィルターを使用して、利用可能なプロパティのリストをタイプ (文字列やブール値など) で絞り込みます。

必要なプロパティが表示されない場合は、Custom property フィールドにプロパティ名 (例: @context.tracking) を入力し、Add をクリックします。

メトリクス定義セクション内にフィルターパネルが開いている。選択されたすべてのプロパティ、中央にはアプリケーション ID、サービス、ブラウザ名、国などのイベントプロパティ、左側には数値、文字列、ブール値のオプションがあるデータタイプフィルター、下部にはプレースホルダー「例: @context.tracking」と表示されるテキストフィールドと追加ボタンがあるカスタムプロパティセクションが表示されている。

前提条件

ウェアハウスデータからメトリクスを作成するには、ウェアハウスを Datadog に接続 する必要があります。Datadog は、BigQuery、Databricks、Redshift、Snowflake をサポートしています。

ウェアハウスを接続した後、SQL モデルを作成してデータを Datadog にマッピングし、そのモデルを使用してメトリクスを作成します。

SQL モデルを作成する

SQL クエリを書き込んでデータを定義およびプレビューし、モデルを構成してデータを Datadog にマッピングします。

SQL を書き込む

まず、クエリを書き込んでデータを取得します。

  1. Datadog Product Analytics の メトリクスページ に移動します。
  2. Metric SQL Models タブを選択し、Create SQL Model をクリックします。
  3. Write SQL セクションで、目的のデータを返す SQL クエリを入力します。SQL エディターは SELECT * FROM およびより高度な SQL ステートメントをサポートしています。
  4. Run をクリックしてデータをプレビューします。
メトリクス SQL モデルを作成するページの SQL 書き込みセクション。収益注文テーブルから user_id、revenue_timestamp、および amount を取得する SELECT クエリが表示され、その下に USER_ID、REVENUE_TIMESTAMP、および AMOUNT 列を表示するクエリのプレビューが成功例として表示されている。

大規模なテーブルの場合は、SQL テンプレート変数 を使用して Datadog の日付フィルターをクエリにプッシュし、実行ごとにデータウェアハウスがスキャンするデータ量を削減します。

ウェアハウスデータを Datadog にマッピングする

データをプレビューした後、それを Datadog にマッピングします。Structure your model セクションで以下を行います。

  1. Metric SQL Model Name を追加します (例: Revenue Orders)。
  2. (オプション) この SQL モデルが重要な意思決定のために承認されていることを示すには、Mark as certified をオンにします。これには、Product Analytics 認定メトリクス書き込み権限が必要です。
  3. ウェアハウステーブルの列を以下にマッピングします。
    • Timestamp column
      • メトリクスイベントに関連付けられたタイムスタンプをリストする列。
      • 分析には、対象が実験に登録された後に作成された行のみが含まれます。
    • Subject Type
      • Datadog が実験グループをランダムに割り当てるために使用する属性。
      • Subject Types ページで、サブジェクトタイプとそのデフォルトのウェアハウス列を定義できます。たとえば、個々のユーザーには user_id を、組織アカウントには org_id を使用できます。
    • Measures (オプション)
      • Datadog がメトリクスに集計できるウェアハウステーブルの数値列 (例: revenue または amount 列)。
      • 各 SQL モデルには、each record メジャーが自動的に含まれます。このメジャーを使用して、特定の実験サブジェクトについてテーブル内の関連する行数をカウントします。
  4. Create Metric SQL Model をクリックして SQL モデルを保存します。
モデルの構造パネル。メトリクス SQL モデル名フィールドが「収益注文」に設定されて強調表示され、認定済みトグルとしてマークされ、タイムスタンプ列が REVENUE_TIMESTAMP に設定され、対象タイプがユーザー (@usr.id) に設定されて列セレクターで USER_ID が選択され、メジャードロップダウンに「収益注文 (各レコード)」が表示され、メトリクス SQL モデルの作成ボタンが強調表示されている。

SQL モデルを使用してメトリクスを作成する

SQL モデルを作成したら、それを使用してメトリクスを作成します。

  1. Datadog Product Analytics の メトリクスページ に移動します。
  2. Metrics タブを選択し、右上隅の Create Metric をクリックします。
  3. Metric name を追加し、必要に応じて Description を追加します。
  4. Metric definition セクションで、Select an event をクリックしてイベントピッカーを開きます。右側のチャートは、メトリクスを構成するとリアルタイムで更新されます。
    1. 関連する SQL モデルを選択します。SQL モデルはそれぞれのソースの下に表示されます (例: Snowflake の下の Revenue Orders)。
  5. ドロップダウンから集計方法を選択します。
  6. (オプション) Additional settings セクションで、以下を行います。
    1. このメトリクスが重要な意思決定のために承認されていることを示すには、Mark as certified をオンにします。これには、Product Analytics 認定メトリクス書き込み権限が必要です。
    2. 必要に応じて Experiment settings および Units を調整します。デフォルト設定は、ほとんどのユースケースに対応しています。
  7. Save をクリックします。
メトリクスの作成イベントピッカー。すべてのイベントが選択されており、左側には Snowflake、アクション、ビュー、セッション、エラー、ロングタスクなどのイベントタイプ、右側には Snowflake の下に収益注文 SQL モデルがハイライト表示されている。メジャー: amount とフィルタリング可能なディメンション: N/A が表示されている。

集計方法

集計方法は、Datadog が各実験対象のデータをどのように要約するかを決定します。実験対象とは、Datadog が実験のためにランダム化する単位です。通常これはユーザーですが、実験の設定方法によっては、組織、Cookie、またはデバイスになる場合もあります。

Datadog Experiments は、以下の集計方法をサポートしています。

  • Count of events (デフォルト)
  • Count of unique users (コンバージョンメトリクスに有用)
  • Sum ofイベントプロパティ (収益メトリクスに有用)
  • Distinct values ofイベントプロパティ (ユニークページビューメトリクスに有用)
  • イベントプロパティの Percentile (レイテンシーメトリクスに有用)
  • Average ofイベントプロパティ (満足度メトリクスに有用)
集計方法のドロップダウン。上部にユニークユーザー数 (選択済み) とイベント数が表示され、その後にメジャーを選択セクションが続き、合計、個別の値、パーセンタイル、平均のオプションがあり、右側に「イベントを実行したユーザー数」という説明が表示されている。

Datadog は、各実験対象のメトリクスを計算します。たとえば、ユーザーごとにランダム化された実験における Count of events メトリクスは、バリアント (実験グループ) 内の全ユーザーのイベント総数をそのバリアント内のユーザー数で割って計算します。

比率メトリクス

Create Ratio をクリックすると、デフォルトの実験対象数以外の値でメトリクスを割ることができます。分母にはいずれかの集計方法を使用できます。たとえば、購入数を製品ページビュー数で割ることで、登録ユーザー全体ではなくファネルの特定のステップにおけるコンバージョンを測定できます。

Datadog は、デルタ法 を使用して分子と分母の間の相関関係を考慮します。

メトリクス定義セクション。「カートに追加をクリック」イベントとイベント数の集計、フィルター追加オプション、その下に強調表示された比率作成ボタン、および認定済みとグルとしてマーク、実験設定、単位を含む、追加設定セクションが表示されている。

高度なオプション

Datadog Experiments は、以下の高度なオプションをサポートしています。これらはメトリクスを作成する際に、Additional settings > Experiment settings で変更できます。

期間フィルター
デフォルトでは、Datadog はユーザーの最初の接触から実験終了までのすべてのイベントを含めます。この設定を使用して、「7 日以内のセッション」のような期間制限のある値を測定します。期間フィルターを追加すると、メトリクスには、実験が最初にユーザーを登録した時点から始まる、指定された期間内のイベントのみが含まれます。
希望するメトリクスの方向
Datadog は、統計的に有意な結果を強調表示します。この設定を使用して、このメトリクスを増加させるか減少させるかを指定します。
外れ値の処理
実際のデータには、実験結果に影響を与える可能性のある極端な外れ値が含まれることがよくあります。この設定を使用して、Datadog がデータを切り捨てるしきい値を設定します。たとえば、99% の上限を設定して、メトリクスの 99 パーセンタイルですべての結果を切り捨てます。

参考資料