Google Cloud Platform
セキュリティモニタリングが使用可能です セキュリティモニタリングが使用可能です

Google Cloud Platform

Crawler Crawler

概要

Google Cloud Platform に接続して、すべての Google Compute Engine (GCE) ホストを Datadog に表示できます。GCE ホストタグと追加した GCE ラベルがホストに自動的にタグ付けされるため、Datadog のインフラストラクチャー概要にホストを表示し、分類することができます。

Datadog の GCP インテグレーションは、StackDriver からすべてのメトリクスを収集するように構築されています。Datadog では継続的にドキュメントを更新してすべてのサブインテグレーションを表示できるように努めていますが、新しいメトリクスやサービスがクラウドサービスから次々にリリースされるため、インテグレーション一覧が追い付かないことがあります。
インテグレーション説明
App Engineスケーラブルなアプリケーションを構築できる PaaS (サービスとしてのプラットフォーム)
Big Query企業向けデータウェアハウス
BigtableNoSQL ビッグデータデータベースサービス
CloudSQLMySQL データベースサービス
Cloud APIsすべての Google Cloud Platform サービス向けのプログラムインターフェイス
Cloud Composerフルマネージド型のワークフローオーケストレーションサービス
Cloud DataprocApache Spark と Apache Hadoop のクラスターを実行するためのクラウドサービス
Cloud Filestore高パフォーマンスのフルマネージド型ファイルストレージ
Cloud Firestoreモバイル、Web、およびサーバー開発向けの柔軟でスケーラブルなデータベース
Cloud Interconnectハイブリッド接続
Cloud IoTセキュリティ保護されたデバイス接続および管理
Cloud Load Balancing負荷分散型コンピューティングリソースの分配
Cloud Memorystore for Redisフルマネージド型のインメモリデータストアサービス
Cloud RouterBGP を使用して、VPC とオンプレミスネットワークとの間でルートを交換
Cloud RunHTTP 経由でステートレスコンテナを実行するマネージド型のコンピューティングプラットフォーム
Cloud Tasks分散型タスクキュー
Cloud TPU機械学習モデルのトレーニングと実行
Compute Engine高パフォーマンスの仮想マシン
Container EngineGoogle が管理する Kubernetes
DatastoreNoSQL データベース
Firebaseアプリケーション開発用のモバイルプラットフォーム
Functionsイベントベースのマイクロサービスを構築するためのサーバーレスプラットフォーム
Machine Learning機械学習サービス
Pub/Subリアルタイムメッセージングサービス
Spanner水平方向に拡張可能でグローバルな一貫性を持つリレーショナルデータベースサービス
Stackdriver Loggingリアルタイムのログ管理および分析
Storage統合型オブジェクトストレージ
VPNマネージド型のネットワーク機能

セットアップ

メトリクスの収集

インストール

Datadog <> Google Cloud インテグレーションは、サービスアカウントを使用して Google Cloud と Datadog の間の API 接続を作成します。以下では、サービスアカウントを作成し、Datadog にサービスアカウント認証情報を提供して、自動的に API 呼び出しを開始するための手順を説明します。

: 監視するプロジェクトで、Google Cloud の課金Stackdriver Monitoring APICompute Engine APICloud Asset API がすべて有効になっている必要があります。

  1. Datadog インテグレーションをセットアップする Google Cloud プロジェクトの Google Cloud 認証情報ページに移動します。
  2. _認証情報を作成_を押し、次に_サービスアカウントキー_を選択します。

  3. _サービスアカウント_のドロップダウンで、_サービスアカウント_を選択します。

  4. サービスアカウントに一意の名前を付けます。

  5. _役割_では、Compute Engine —> Compute 閲覧者、モニタリング —> モニタリング閲覧者、および Cloud Asset —> Cloud Asset 閲覧者 を選択します。Continue を押します。

: Compute Engine と Cloud Asset の役割を選択するには、サービスアカウントキー管理者である必要があります。選択されたすべての役割により、Datadog はユーザーに代わってメトリクス、タグ、イベント、ユーザーラベルを収集できます。

  1. CREATE キーを押します、キーのタイプとして JSON を選択し、_作成_を押します。このファイルはインストールを完了するために必要になるため、ファイルの保存場所をメモしておいてください。
  2. Datadog Google Cloud インテグレーションタイルに移動します。
  3. Configuration タブで、Upload Key File を選択して、このプロジェクトを Datadog と統合します。
  4. オプションで、タグを使用して、このインテグレーションから特定のホストを除外することもできます。この手順の詳細については、下記を参照してください。

  5. Install/Update を押します。

  6. 複数のプロジェクトを監視する場合は、次の方法のいずれかを使用します。

    • 複数のサービスアカウントを使用する場合は、上のプロセスを繰り返します。
    • 同じサービスアカウントを使用する場合は、手順 6 でダウンロードした JSON ファイルで project_id を更新します。次に、手順 7 ~ 10 の説明に従って、このファイルを Datadog にアップロードします。

コンフィグレーション

オプションで、Limit Metric Collection テキストボックスにタグを入力することで、Datadog にプルされる GCE インスタンスを制限できます。定義されたタグのいずれかに一致するホストだけが Datadog にインポートされます。複数のホストに一致するワイルドカード (1 文字の場合は ?、複数文字の場合は *)、または特定のホストを除外する ! を使用できます。次の例では、c1* サイズのインスタンスは含まれますが、ステージングホストは除外されます。

datadog:monitored,env:production,!env:staging,instance-type:c1.*

ログの収集

GCE または GKE で実行されているアプリケーションの場合は、Datadog Agent を使用してローカルでログを収集できます。GCP サービスのログは、Stackdriver 経由で収集され、HTTP プッシュフォワーダーを使用して Cloud Pub/Sub へ送信されます。ログを収集するには、次の 5 つの手順を行う必要があります。

  1. Google Cloud Platform インテグレーションをまだセットアップしていない場合は、最初にセットアップします。
  2. 新しい Cloud Pub/Sub を作成します。
  3. ログを Datadog へ転送する Pub/Sub をセットアップします。
  4. Stackdriver から Pub/Sub へのログのエクスポートを構成します。

警告: Pub/Sub は、Google Cloud の割り当てと制限の対象となります。Datadog では、ログ数がこの制限を上回る場合は、ログを複数のトピックに分割することをお勧めしています。この制限に近づいたときに自動的に通知されるようにモニターを設定する方法については、ログの転送を監視するセクションを参照してください。

Cloud Pub/Sub を作成する

  1. Cloud Pub/Sub コンソールに移動し、新しいトピックを作成します。

  2. トピックに export-logs-to-datadog のような明示的な名前を付け、_保存_します。

ログを Datadog へ転送する Pub/Sub を構成する

  1. Pub/Sub Topics の概要ページに戻り、左側のナビゲーションで、Subscriptions の選択を追加します。Create Subscription を選択します。
  2. サブスクリプション ID を作成し、先に作成したトピックを選択します。
  3. 配信タイプとして Push を選択し、https://gcp-intake.logs.datadoghq.com/v1/input/<DATADOG_API_KEY>/ と入力します。

  4. サブスクリプションの有効期限承認期限メッセージの保存期間デッドレター など、他のオプションを設定します。

  5. 最下部にある 作成 を押します。

これで、Pub/Sub が Stackdriver からログを受け取り、Datadog へ転送する準備ができました。

  1. Pub/Sub Topics の概要ページに戻り、左側のナビゲーションで、Subscriptions の選択を追加します。Create Subscription を選択します。
  2. サブスクリプション ID を作成し、先に作成したトピックを選択します。
  3. 配信タイプとして Push を選択し、https://gcp-intake.logs.datadoghq.eu/v1/input/<DATADOG_API_KEY>/ と入力します。

  4. サブスクリプションの有効期限承認期限メッセージの保存期間デッドレター など、他のオプションを設定します。

  5. 最下部にある 作成 を押します。

Stackdriver から Pub/Sub へログをエクスポートする

  1. Stackdriver ページに移動し、エクスポートするログを絞り込みます。
  2. シンクを作成し、シンクに適宜名前を付けます。
  3. エクスポート先として「Cloud Pub/Sub」を選択し、エクスポート用に作成された Pub/Sub を選択します。: この Pub/Sub は別のプロジェクト内に配置することもできます。

  4. 作成をクリックし、確認メッセージが表示されるまで待ちます。

: 異なるシンクを使用して、Stackdriver から同じ Pub/Sub への複数のエクスポートを作成することができます。

警告: Pub/Sub は、Google Cloud の割り当てと制限の対象となります。Datadog では、ログ数がこの制限を上回る場合は、ログを複数のトピックに分割することをお勧めしています。この制限に近づいたときに自動的に通知されるようにモニターを設定する方法については、ログの転送を監視するセクションを参照してください。

ログの転送を監視する

Pub/Sub は、Google Cloud の割り当てと制限の対象となります。Datadog では、ログ数がこの制限を上回る場合は、複数のフィルターでログをトピック毎に分割することをお勧めしています。

この割り当てに達したときに自動的に通知されるようにするには、Pub/Sub メトリクスインテグレーションを有効にし、メトリクス gcp.pubsub.subscription.num_outstanding_messages でモニターをセットアップします。Datadog へログをエクスポートするサブスクリプションでこのモニター絞り込み、このメトリクスが 1000 を超えないようにします。以下に例を示します。

収集データ

メトリクス

メトリクスについては、個別の Google Cloud インテグレーションのページを参照してください。

イベント

Google Cloud Platform によって生成されたすべてのサービスイベントが Datadog のイベントストリームに転送されます。

サービスのチェック

Google Cloud Platform インテグレーションには、サービスのチェック機能は含まれません。

タグ

タグは、Google Cloud Platform および Google Compute Engine に関するさまざまな構成オプションに基づいて、自動的に割り当てられます。自動的に割り当てられるタグを以下に示します。

  • Zone
  • Instance-type
  • Instance-id
  • Automatic-restart
  • On-host-maintenance
  • Project
  • Numeric_project_id
  • 名前

また、Datadog は以下をタグとして収集します。

  • <キー>:<値> ラベルが付けられたホスト。
  • Custom labels from Google Pub/Sub、GCE、CloudSQL、Cloud Storage のカスタムラベル

トラブルシューティング

ユーザー定義の gcp.logging メトリクスに不正なメタデータが適用される

非標準の gcp.logging メトリクス (Datadog に付属するログメトリクス以外のメトリクス) では、適用されるメタデータが Stackdriver と一致しない場合があります。

このような場合は、メタデータを手動で設定する必要があります。設定するには、メトリクスサマリーページに移動し、問題のメトリクスを検索して選択し、メタデータの横にある鉛筆アイコンをクリックします。

ご不明な点は、Datadog のサポートチームまでお問合せください。