Google Cloud Platform

概要

Google Cloud Platform に接続して、すべての Google Compute Engine (GCE) ホストを Datadog に表示できます。GCE ホストタグと追加した GCE ラベルがホストに自動的にタグ付けされるため、Datadog のインフラストラクチャー概要にホストを表示し、分類することができます。

Datadog の GCP インテグレーションは、Google Cloud Logging からすべてのメトリクスを収集するように構築されています。Datadog では継続的にドキュメントを更新してすべてのサブインテグレーションを表示できるように努めていますが、新しいメトリクスやサービスがクラウドサービスから次々にリリースされるため、インテグレーション一覧が追い付かないことがあります。
インテグレーション説明
App Engineスケーラブルなアプリケーションを構築できる PaaS (サービスとしてのプラットフォーム)
Big Query企業向けデータウェアハウス
BigtableNoSQL ビッグデータデータベースサービス
Cloud SQLMySQL データベースサービス
Cloud APIsすべての Google Cloud Platform サービス向けのプログラムインターフェイス
Cloud Composerフルマネージド型のワークフローオーケストレーションサービス
Cloud DataprocApache Spark と Apache Hadoop のクラスターを実行するためのクラウドサービス
Cloud Filestore高パフォーマンスのフルマネージド型ファイルストレージ
Cloud Firestoreモバイル、Web、およびサーバー開発向けの柔軟でスケーラブルなデータベース
Cloud Interconnectハイブリッド接続
Cloud IoTセキュリティ保護されたデバイス接続および管理
Cloud Load Balancing負荷分散型コンピューティングリソースの分配
Cloud Memorystore for Redisフルマネージド型のインメモリデータストアサービス
Cloud RouterBGP を使用して、VPC とオンプレミスネットワークとの間でルートを交換
Cloud RunHTTP 経由でステートレスコンテナを実行するマネージド型のコンピューティングプラットフォーム
Cloud Tasks分散型タスクキュー
Cloud TPU機械学習モデルのトレーニングと実行
Compute Engine高パフォーマンスの仮想マシン
Container EngineGoogle が管理する Kubernetes
DatastoreNoSQL データベース
Firebaseアプリケーション開発用のモバイルプラットフォーム
Functionsイベントベースのマイクロサービスを構築するためのサーバーレスプラットフォーム
Kubernetes Engineクラスターマネージャーとオーケストレーションシステム
機械学習機械学習サービス
Pub/Subリアルタイムメッセージングサービス
Spanner水平方向に拡張可能でグローバルな一貫性を持つリレーショナルデータベースサービス
Cloud Loggingリアルタイムのログ管理および分析
Storage統合型オブジェクトストレージ
VPNマネージド型のネットワーク機能

セットアップ

メトリクスの収集

インストール

Datadog <> Google Cloud インテグレーションは、サービスアカウントを使用して Google Cloud と Datadog の間の API 接続を作成します。以下では、サービスアカウントを作成し、Datadog にサービスアカウント認証情報を提供して、自動的に API 呼び出しを開始するための手順を説明します。

: 監視するプロジェクトで、Google Cloud の課金Cloud Monitoring APICompute Engine APICloud Asset API がすべて有効になっている必要があります。

  1. Datadog インテグレーションをセットアップする Google Cloud プロジェクトの Google Cloud 認証情報ページに移動します。

  2. Create credentials (画面上付近) をクリックし、Service account を選択します。

    設定
  3. サービスアカウントに一意の名前を付け、Create をクリックします。

  4. 役割に Compute 閲覧者、モニタリング閲覧者、Cloud Asset 閲覧者を追加し、Done をクリックします。

    : Compute Engine と Cloud Asset の役割を選択するには、サービスアカウントキー管理者である必要があります。選択されたすべての役割により、Datadog はユーザーに代わってメトリクス、タグ、イベント、ユーザーラベルを収集できます。

  5. ページ下部に表示されるサービスアカウントの中から、先ほど作成したものを選択します。Add Key -> Create new key の順にクリックし、種類として JSON を選択します。その後 Create および Save をクリックします。インストールの完了に必要となるため、このファイルの保存場所をメモしておいてください。

  6. Datadog Google Cloud インテグレーションタイルに移動します。

  7. Configuration タブで、Upload Key File を選択して、このプロジェクトを Datadog と統合します。

  8. オプションで、タグを使用して、このインテグレーションから特定のホストを除外することもできます。この手順の詳細については、下記を参照してください。

    設定
  9. Install/Update を押します。

  10. 複数のプロジェクトを監視する場合は、次の方法のいずれかを使用します。

    • 複数のサービスアカウントを使用する場合は、上のプロセスを繰り返します。
    • 同じサービスアカウントを使用する場合は、手順 6 でダウンロードした JSON ファイルで project_id を更新します。次に、手順 7 ~ 10 の説明に従って、このファイルを Datadog にアップロードします。

コンフィギュレーション

オプションで、特定のプロジェクトのドロップダウンメニューの下にある Limit Metric Collection テキストボックスにタグを入力することで、Datadog にプルされる GCE インスタンスを制限できます。定義されたタグのいずれかに一致するホストだけが Datadog にインポートされます。複数のホストに一致するワイルドカード (1 文字の場合は ?、複数文字の場合は *)、または特定のホストを除外する ! を使用できます。次の例では、c1* サイズのインスタンスは含まれますが、ステージングホストは除外されます。

datadog:monitored,env:production,!env:staging,instance-type:c1.*

詳細については、ラベルの作成と管理に関する Google のドキュメントを参照してください。

ログの収集

GCE または GKE で実行されているアプリケーションの場合は、Datadog Agent を使用してローカルでログを収集できます。GCP サービスのログは、Google Cloud Logging で収集され、HTTP プッシュフォワーダーを使用して Cloud Pub/Sub へ送信されます。ログを収集するには、次の 5 つの手順を行う必要があります。

  1. Google Cloud Platform インテグレーションをまだセットアップしていない場合は、最初にセットアップします。
  2. 新しい Cloud Pub/Sub を作成します。
  3. ログを Datadog へ転送する Pub/Sub をセットアップします。
  4. Google Cloud から Pub/Sub へのログのエクスポートを構成します。

警告: Pub/Sub は、Google Cloud の割り当てと制限の対象となります。Datadog では、ログ数がこの制限を上回る場合は、ログを複数のトピックに分割することをお勧めしています。この制限に近づいたときに自動的に通知されるようにモニターを設定する方法については、ログの転送を監視するセクションを参照してください。

Cloud Pub/Sub を作成する

  1. Cloud Pub/Sub コンソールに移動し、新しいトピックを作成します。

    トピックを作成する
  2. トピックに export-logs-to-datadog のような明示的な名前を付け、_保存_します。

ログを Datadog に転送する

  1. Pub/Sub Topics の概要ページに戻り、左側のナビゲーションで、Subscriptions の選択を追加します。Create Subscription を選択します。

  2. サブスクリプション ID を作成し、先に作成したトピックを選択します。

  3. Push メソッドを選択し、以下を入力します: https://gcp-intake.logs./api/v2/logs?dd-api-key=<DATADOG_API_KEY>&dd-protocol=gcp

    API キーを作成または Datadog オーガニゼーションの設定 -> API キーで既存の API キーを選択できます。

  4. サブスクリプションの有効期限承認期限メッセージの保存期間デッドレター など、他のオプションを構成します。

  5. 最下部にある 作成 を押します。

Pub/Sub が Google Cloud Logging からログを受け取り、Datadog へ転送する準備ができました。

Google Cloud からログをエクスポート

  1. ログエクスプローラーページに移動し、エクスポートするログを絞り込みます。

  2. Actions メニューから Create Sink を選択します。

  3. シンクに名前を設定します。

  4. エクスポート先として Cloud Pub/Sub を選択し、エクスポート用に作成された Pub/Sub を選択します。: この Pub/Sub は別のプロジェクト内に配置することもできます。

    Google Cloud Pub/Sub ログを Pub Sub へエクスポート
  5. Create Sinkをクリックし、確認メッセージが表示されるまで待ちます。

: 異なるシンクを使用して、Google Cloud Logging から同じ Pub/Sub への複数のエクスポートを作成することができます。

警告: Pub/Sub は、Google Cloud の割り当てと制限の対象となります。Datadog では、ログ数がこの制限を上回る場合は、ログを複数のトピックに分割することをお勧めしています。この制限に近づいたときに自動的に通知されるようにモニターを設定する方法については、ログの転送を監視するセクションを参照してください。

ログの転送を監視する

Pub/Sub は、Google Cloud の割り当てと制限の対象となります。Datadog では、ログ数がこの制限を上回る場合は、複数のフィルターでログをトピック毎に分割することをお勧めしています。

この割り当てに達したときに自動的に通知されるようにするには、Pub/Sub メトリクスインテグレーションを有効にし、メトリクス gcp.pubsub.subscription.num_outstanding_messages でモニターをセットアップします。Datadog へログをエクスポートするサブスクリプションでこのモニター絞り込み、このメトリクスが 1000 を超えないようにします。以下に例を示します。

Pub Sub 監視

収集データ

メトリクス

メトリクスについては、個別の Google Cloud インテグレーションのページを参照してください。

イベント

Google Cloud Platform によって生成されたすべてのサービスイベントが Datadog のイベントストリームに転送されます。

サービスのチェック

Google Cloud Platform インテグレーションには、サービスのチェック機能は含まれません。

タグ

タグは、Google Cloud Platform および Google Compute Engine に関するさまざまな構成オプションに基づいて、自動的に割り当てられます。自動的に割り当てられるタグを以下に示します。

  • Zone
  • Instance-type
  • Instance-id
  • Automatic-restart
  • On-host-maintenance
  • Project
  • Numeric_project_id
  • 名前

また、Datadog は以下をタグとして収集します。

  • <キー>:<値> ラベルが付けられたホスト。
  • Custom labels from Google Pub/Sub、GCE、Cloud SQL、Cloud Storage のカスタムラベル

トラブルシューティング

ユーザー定義の gcp.logging メトリクスに不正なメタデータが適用される

非標準の gcp.logging メトリクス (Datadog に付属するログメトリクス以外のメトリクス) に適用されるメタデータが Google Cloud Logging と一致しない場合があります。

このような場合は、メタデータを手動で設定する必要があります。それには、メトリクスサマリーページに移動し、問題となっているメトリクスを検索して選択し、メタデータの横にある鉛筆アイコンをクリックします。

ご不明な点は、Datadog のサポートチームまでお問合せください。