- 重要な情報
- はじめに
- 用語集
- ガイド
- エージェント
- インテグレーション
- OpenTelemetry
- 開発者
- API
- CoScreen
- アプリ内
- Service Management
- インフラストラクチャー
- アプリケーションパフォーマンス
- 継続的インテグレーション
- ログ管理
- セキュリティ
- UX モニタリング
- 管理
Google Cloud Dataflow は、ストリーム (リアルタイム) モードとバッチ (履歴) モードのどちらでも、同等の信頼性と表現力でデータを変換し、強化することができる、フルマネージド型のサービスです。
Datadog Google Cloud インテグレーションを使用して、Google Cloud Dataflow からメトリクスを収集できます。
Google Cloud Platform インテグレーションをまだセットアップしていない場合は、最初にセットアップします。それ以上のインストール手順はありません。
Google Cloud Dataflow のログは Google Cloud Logging により収集され、HTTP プッシュフォワーダーを使用して Cloud Pub/Sub へ送信されます。HTTP プッシュフォワーダーを使用した Cloud Pub/Sub をまだセットアップしていない場合は、これをセットアップしてください。
これが完了したら、Google Cloud Dataflow のログを Google Cloud Logging から Pub/Sub へエクスポートします。
gcp.dataflow.job.billable_shuffle_data_processed (gauge) | The billable bytes of shuffle data processed by this Dataflow job. Shown as byte |
gcp.dataflow.job.current_num_vcpus (gauge) | The number of vCPUs currently being used by this Dataflow job. Shown as cpu |
gcp.dataflow.job.current_shuffle_slots (gauge) | The current shuffle slots used by this Dataflow job. |
gcp.dataflow.job.data_watermark_age (gauge) | The age (time since event timestamp) of the most recent item of data that has been fully processed by the pipeline. Shown as second |
gcp.dataflow.job.elapsed_time (gauge) | Duration that the current run of this pipeline has been in the Running state so far, in seconds. When a run completes, this stays at the duration of that run until the next run starts. Shown as second |
gcp.dataflow.job.element_count (count) | Number of elements added to the pcollection so far. Shown as item |
gcp.dataflow.job.estimated_byte_count (count) | An estimated number of bytes added to the pcollection so far. Shown as byte |
gcp.dataflow.job.is_failed (gauge) | Has this job failed. |
gcp.dataflow.job.system_lag (gauge) | The current maximum duration that an item of data has been awaiting processing, in seconds. Shown as second |
gcp.dataflow.job.total_memory_usage_time (gauge) | The total GB seconds of memory allocated to this Dataflow job. Shown as gibibyte |
gcp.dataflow.job.total_pd_usage_time (gauge) | The total GB seconds for all persistent disk used by all workers associated with this Dataflow job. Shown as gibibyte |
gcp.dataflow.job.total_shuffle_data_processed (gauge) | The total bytes of shuffle data processed by this Dataflow job. Shown as byte |
gcp.dataflow.job.total_streaming_data_processed (gauge) | The total bytes of streaming data processed by this Dataflow job. Shown as byte |
gcp.dataflow.job.total_vcpu_time (gauge) | The total vCPU seconds used by this Dataflow job. |
gcp.dataflow.job.user_counter (gauge) | A user-defined counter metric. |
gcp.dataflow.quota.region_endpoint_shuffle_slot.exceeded (count) | Number of attempts to exceed the limit on quota metric dataflow.googleapis.com/regionendpointshuffle_slot. |
gcp.dataflow.quota.region_endpoint_shuffle_slot.limit (gauge) | Current limit on quota metric dataflow.googleapis.com/regionendpointshuffle_slot. |
gcp.dataflow.quota.region_endpoint_shuffle_slot.usage (gauge) | Current usage on quota metric dataflow.googleapis.com/regionendpointshuffle_slot. |
Google Cloud Dataflow インテグレーションには、イベントは含まれません。
Google Cloud Dataflow インテグレーションには、サービスのチェック機能は含まれません。
ご不明な点は、Datadog のサポートチームまでお問合せください。
お役に立つドキュメント、リンクや記事: