Google Cloud Platform

概要

Google Cloud Platform に接続して、すべての Google Compute Engine (GCE) ホストを Datadog に表示できます。GCE ホストタグと追加した GCE ラベルがホストに自動的にタグ付けされるため、Datadog のインフラストラクチャー概要にホストを表示し、分類することができます。

Datadog の GCP インテグレーションは、Google Cloud Logging からすべてのメトリクスを収集するように構築されています。Datadog では継続的にドキュメントを更新してすべてのサブインテグレーションを表示できるように努めていますが、新しいメトリクスやサービスがクラウドサービスから次々にリリースされるため、インテグレーション一覧が追い付かないことがあります。

インテグレーション	説明
App Engine	スケーラブルなアプリケーションを構築できる PaaS (サービスとしてのプラットフォーム)
Big Query	企業向けデータウェアハウス
Bigtable	NoSQL ビッグデータデータベースサービス
Cloud SQL	MySQL データベースサービス
Cloud APIs	すべての Google Cloud Platform サービス向けのプログラムインターフェイス
Cloud Composer	フルマネージド型のワークフローオーケストレーションサービス
Cloud Dataproc	Apache Spark と Apache Hadoop のクラスターを実行するためのクラウドサービス
Cloud Filestore	高パフォーマンスのフルマネージド型ファイルストレージ
Cloud Firestore	モバイル、Web、およびサーバー開発向けの柔軟でスケーラブルなデータベース
Cloud Interconnect	ハイブリッド接続
Cloud IoT	セキュリティ保護されたデバイス接続および管理
Cloud Load Balancing	負荷分散型コンピューティングリソースの分配
Cloud Memorystore for Redis	フルマネージド型のインメモリデータストアサービス
Cloud Router	BGP を使用して、VPC とオンプレミスネットワークとの間でルートを交換
Cloud Run	HTTP 経由でステートレスコンテナを実行するマネージド型のコンピューティングプラットフォーム
Cloud Tasks	分散型タスクキュー
Cloud TPU	機械学習モデルのトレーニングと実行
Compute Engine	高パフォーマンスの仮想マシン
Container Engine	Google が管理する Kubernetes
Datastore	NoSQL データベース
Firebase	アプリケーション開発用のモバイルプラットフォーム
Functions	イベントベースのマイクロサービスを構築するためのサーバーレスプラットフォーム
Kubernetes Engine	クラスターマネージャーとオーケストレーションシステム
機械学習	機械学習サービス
Pub/Sub	リアルタイムメッセージングサービス
Spanner	水平方向に拡張可能でグローバルな一貫性を持つリレーショナルデータベースサービス
Cloud Logging	リアルタイムのログ管理および分析
Storage	統合型オブジェクトストレージ
VPN	マネージド型のネットワーク機能

セットアップ

メトリクスの収集

インストール

Datadog <> Google Cloud インテグレーションは、サービスアカウントを使用して Google Cloud と Datadog の間の API 接続を作成します。以下では、サービスアカウントを作成し、Datadog にサービスアカウント認証情報を提供して、自動的に API 呼び出しを開始するための手順を説明します。

注: 監視するプロジェクトで、Google Cloud の課金、Cloud Monitoring API、Compute Engine API、Cloud Asset API がすべて有効になっている必要があります。

Datadog インテグレーションをセットアップする Google Cloud プロジェクトの Google Cloud 認証情報ページに移動します。
Create credentials (画面上付近) をクリックし、Service account を選択します。
サービスアカウントに一意の名前を付け、Create をクリックします。
役割に Compute 閲覧者、モニタリング閲覧者、Cloud Asset 閲覧者を追加し、Done をクリックします。
注: Compute Engine と Cloud Asset の役割を選択するには、サービスアカウントキー管理者である必要があります。選択されたすべての役割により、Datadog はユーザーに代わってメトリクス、タグ、イベント、ユーザーラベルを収集できます。
ページ下部に表示されるサービスアカウントの中から、先ほど作成したものを選択します。Add Key -> Create new key の順にクリックし、種類として JSON を選択します。その後 Create　および Save をクリックします。インストールの完了に必要となるため、このファイルの保存場所をメモしておいてください。
Datadog Google Cloud インテグレーションタイルに移動します。
Configuration タブで、Upload Key File を選択して、このプロジェクトを Datadog と統合します。
オプションで、タグを使用して、このインテグレーションから特定のホストを除外することもできます。この手順の詳細については、下記を参照してください。
Install/Update を押します。
複数のプロジェクトを監視する場合は、次の方法のいずれかを使用します。
- 複数のサービスアカウントを使用する場合は、上のプロセスを繰り返します。
- 同じサービスアカウントを使用する場合は、手順 6 でダウンロードした JSON ファイルで project_id を更新します。次に、手順 7 ～ 10 の説明に従って、このファイルを Datadog にアップロードします。

コンフィギュレーション

オプションで、特定のプロジェクトのドロップダウンメニューの下にある Limit Metric Collection テキストボックスにタグを入力することで、Datadog にプルされる GCE インスタンスを制限できます。定義されたタグのいずれかに一致するホストだけが Datadog にインポートされます。複数のホストに一致するワイルドカード (1 文字の場合は ?、複数文字の場合は *)、または特定のホストを除外する ! を使用できます。次の例では、c1* サイズのインスタンスは含まれますが、ステージングホストは除外されます。

datadog:monitored,env:production,!env:staging,instance-type:c1.*

詳細については、ラベルの作成と管理に関する Google のドキュメントを参照してください。

ログの収集

GCE または GKE で実行されているアプリケーションの場合は、Datadog Agent を使用してローカルでログを収集できます。GCP サービスのログは、Google Cloud Logging で収集され、HTTP プッシュフォワーダーを使用して Cloud Pub/Sub へ送信されます。ログを収集するには、次の 5 つの手順を行う必要があります。

Google Cloud Platform インテグレーションをまだセットアップしていない場合は、最初にセットアップします。
新しい Cloud Pub/Sub を作成します。
ログを Datadog へ転送する Pub/Sub をセットアップします。
Google Cloud から Pub/Sub へのログのエクスポートを構成します。

警告: Pub/Sub は、Google Cloud の割り当てと制限の対象となります。Datadog では、ログ数がこの制限を上回る場合は、ログを複数のトピックに分割することをお勧めしています。この制限に近づいたときに自動的に通知されるようにモニターを設定する方法については、ログの転送を監視するセクションを参照してください。

Cloud Pub/Sub を作成する

Cloud Pub/Sub コンソールに移動し、新しいトピックを作成します。
トピックに export-logs-to-datadog のような明示的な名前を付け、_保存_します。

ログを Datadog に転送する

Pub/Sub Topics の概要ページに戻り、左側のナビゲーションで、Subscriptions の選択を追加します。Create Subscription を選択します。
サブスクリプション ID を作成し、先に作成したトピックを選択します。
Push メソッドを選択し、以下を入力します: https://gcp-intake.logs./api/v2/logs?dd-api-key=<DATADOG_API_KEY>&dd-protocol=gcp
API キーを作成または Datadog オーガニゼーションの設定 -> API キーで既存の API キーを選択できます。
サブスクリプションの有効期限、承認期限、メッセージの保存期間、デッドレター など、他のオプションを構成します。
最下部にある 作成 を押します。

Pub/Sub が Google Cloud Logging からログを受け取り、Datadog へ転送する準備ができました。

Google Cloud からログをエクスポート

ログエクスプローラーページに移動し、エクスポートするログを絞り込みます。
Actions メニューから Create Sink を選択します。
シンクに名前を設定します。
エクスポート先として Cloud Pub/Sub を選択し、エクスポート用に作成された Pub/Sub を選択します。注: この Pub/Sub は別のプロジェクト内に配置することもできます。
Create Sinkをクリックし、確認メッセージが表示されるまで待ちます。

注: 異なるシンクを使用して、Google Cloud Logging から同じ Pub/Sub への複数のエクスポートを作成することができます。

ログの転送を監視する

Pub/Sub は、Google Cloud の割り当てと制限の対象となります。Datadog では、ログ数がこの制限を上回る場合は、複数のフィルターでログをトピック毎に分割することをお勧めしています。

この割り当てに達したときに自動的に通知されるようにするには、Pub/Sub メトリクスインテグレーションを有効にし、メトリクス gcp.pubsub.subscription.num_outstanding_messages でモニターをセットアップします。Datadog へログをエクスポートするサブスクリプションでこのモニター絞り込み、このメトリクスが 1000 を超えないようにします。以下に例を示します。

収集データ

メトリクス

メトリクスについては、個別の Google Cloud インテグレーションのページを参照してください。

イベント

Google Cloud Platform によって生成されたすべてのサービスイベントが Datadog のイベントストリームに転送されます。

サービスのチェック

Google Cloud Platform インテグレーションには、サービスのチェック機能は含まれません。

トラブルシューティング

ユーザー定義の gcp.logging メトリクスに不正なメタデータが適用される

非標準の gcp.logging メトリクス (Datadog に付属するログメトリクス以外のメトリクス) に適用されるメタデータが Google Cloud Logging と一致しない場合があります。

このような場合は、メタデータを手動で設定する必要があります。それには、メトリクスサマリーページに移動し、問題となっているメトリクスを検索して選択し、メタデータの横にある鉛筆アイコンをクリックします。

ご不明な点は、Datadog のサポートチームまでお問合せください。