AWS

Crawler

概要

Amazon Web Services (AWS) を接続すると、次のことができるようになります。

• イベントストリームで AWS ステータスの自動更新を確認する
• Agent をインストールすることなく、EC2 ホストの CloudWatch メトリクスを取得する
• EC2 ホストに EC2 固有の情報をタグ付けする
• EC2 のスケジュール設定されたメンテナンス イベントをストリームに表示する
• その他のさまざまな AWS 製品から CloudWatch メトリクスとイベントを収集する
• イベントストリームで CloudWatch アラームを確認する

AWS インテグレーションをすぐに使い始めるには、AWS スタートガイドをご確認ください。

セットアップ

以下のいずれかの方法を使用して AWS アカウントを Datadog に統合し、メトリクス、トレース、ログを収集します。

• ロールの委任 (自動): CloudFormation テンプレートを使用して、必要な AWS ロールを自動的に設定します (推奨)。
• ロールの委任 (手動): 必要なロールを手動で作成し、必要な資格情報を該当フォームにコピーします。
• アクセスキー: GovCloud または中国のみで使用

AWS IAM Permissions

AWS IAM permissions enable Datadog to collect metrics, tags, CloudWatch events, and other data necessary to monitor your AWS environment.

To correctly set up the AWS Integration, you must attach the relevant IAM policies to the Datadog AWS Integration IAM Role in your AWS account.

AWS Integration IAM Policy

The set of permissions necessary to use all the integrations for individual AWS services.

The following permissions included in the policy document use wild cards such as List* and Get*. If you require strict policies, use the complete action names as listed and reference the Amazon API documentation for your respective services.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "apigateway:GET",
                "autoscaling:Describe*",
                "backup:List*",
                "budgets:ViewBudget",
                "cloudfront:GetDistributionConfig",
                "cloudfront:ListDistributions",
                "cloudtrail:DescribeTrails",
                "cloudtrail:GetTrailStatus",
                "cloudtrail:LookupEvents",
                "cloudwatch:Describe*",
                "cloudwatch:Get*",
                "cloudwatch:List*",
                "codedeploy:List*",
                "codedeploy:BatchGet*",
                "directconnect:Describe*",
                "dynamodb:List*",
                "dynamodb:Describe*",
                "ec2:Describe*",
                "ecs:Describe*",
                "ecs:List*",
                "elasticache:Describe*",
                "elasticache:List*",
                "elasticfilesystem:DescribeFileSystems",
                "elasticfilesystem:DescribeTags",
                "elasticfilesystem:DescribeAccessPoints",
                "elasticloadbalancing:Describe*",
                "elasticmapreduce:List*",
                "elasticmapreduce:Describe*",
                "es:ListTags",
                "es:ListDomainNames",
                "es:DescribeElasticsearchDomains",
                "fsx:DescribeFileSystems",
                "fsx:ListTagsForResource",
                "health:DescribeEvents",
                "health:DescribeEventDetails",
                "health:DescribeAffectedEntities",
                "kinesis:List*",
                "kinesis:Describe*",
                "lambda:GetPolicy",
                "lambda:List*",
                "logs:DeleteSubscriptionFilter",
                "logs:DescribeLogGroups",
                "logs:DescribeLogStreams",
                "logs:DescribeSubscriptionFilters",
                "logs:FilterLogEvents",
                "logs:PutSubscriptionFilter",
                "logs:TestMetricFilter",
                "organizations:DescribeOrganization",
                "rds:Describe*",
                "rds:List*",
                "redshift:DescribeClusters",
                "redshift:DescribeLoggingStatus",
                "route53:List*",
                "s3:GetBucketLogging",
                "s3:GetBucketLocation",
                "s3:GetBucketNotification",
                "s3:GetBucketTagging",
                "s3:ListAllMyBuckets",
                "s3:PutBucketNotification",
                "ses:Get*",
                "sns:List*",
                "sns:Publish",
                "sqs:ListQueues",
                "states:ListStateMachines",
                "states:DescribeStateMachine",
                "support:DescribeTrustedAdvisor*",
                "support:RefreshTrustedAdvisorCheck",
                "tag:GetResources",
                "tag:GetTagKeys",
                "tag:GetTagValues",
                "xray:BatchGetTraces",
                "xray:GetTraceSummaries"
            ],
            "Effect": "Allow",
            "Resource": "*"
        }
    ]
}

AWS Security Audit Policy

To use Cloud Security Posture Management, attach AWS’s managed SecurityAudit Policy to your Datadog IAM role.

ログの収集

AWSサービスログを Datadog に送信する方法はいくつかあります。

• Kinesis Firehose destination: Kinesis Firehose 配信ストリームで Datadog の宛先を使用して、ログを Datadog に転送します。CloudWatch から非常に大量のログを送信する際は、このアプローチを使用することが推奨されます。
• Forwarder Lambda 関数: S3 バケットまたは CloudWatch ロググループにサブスクライブする Datadog Forwarder Lambda 関数をデプロイし、ログを Datadog に転送します。Lambda 関数からログを介して非同期でトレース、拡張カスタムメトリクス、またはカスタムメトリクスを送信するには、このアプローチを使用する必要があります。また、S3 またはデータを Kinesis に直接ストリーミングできないその他のリソースからログを送信する場合、Datadog ではこのアプローチを使用することをお勧めしています。

メトリクスの収集

メトリクスを Datadog に送信する方法は 2 つあります。

• メトリクスのポーリング: AWS インテグレーションで利用できる API ポーリングです。CloudWatch API をメトリクス別にクロールしてデータを取得し、Datadog に送信します。新しいメトリクスの取得は平均 10 分毎に行われます。
• Kinesis Firehose でのメトリクスストリーム: Amazon CloudWatch Metric Streams と Amazon Kinesis Data Firehose を使用してメトリクスを確認します。注: このメソッドには 2 - 3 分のレイテンシーがあり、別途設定が必要となります。

リソース収集

一部の Datadog 製品は、AWS リソース (S3 バケット、RDS スナップショット、CloudFront ディストリビューションなど) の構成方法に関する情報を活用します。Datadog は、AWS アカウントに対して読み取り専用の API 呼び出しを行うことにより、この情報を収集します。

クラウドセキュリティポスチャ管理

セットアップ

お使いの AWS アカウントで AWS インテグレーションの設定をまだ行っていない場合は、上記の設定プロセスを完了させ、リソース収集が有効化されていることを適宜ご確認ください。

その他の Datadog 製品で AWS インテグレーション設定を既に行っているがリソース収集をまだ有効化していない場合は、次のいずれかの操作を行ってください。

1. 自動 - CloudFormation テンプレートを更新します
   1. CloudFormation コンソールで Datadog インテグレーションのインストールに使用した主要なスタックを探し、Update を選択します
   2. Replace current template を選択します
   3. Amazon S3 URL を選択して https://datadog-cloudformation-template.s3.amazonaws.com/aws/main.yaml を入力し、next をクリックします
   4. CloudSecurityPostureManagementPermissions を true に設定し、next をクリックします。Review ページに到達するまでその他の既存のパラメーターは変更しないでください。ここで変更点をプレビューおよび確認します。
   5. 下部にある 2 つの確認ボックスをオンにし、Update stack をクリックします。
2. 手動
   1. AWS が管理する SecurityAudit ポリシーを Datadog AWS IAM ロールにアタッチします。このポリシーは AWS コンソールにあります。
3. Datadog AWS インテグレーション タイルを開いて次の操作を行います。
   1. リソース収集を有効化したい AWS アカウントをクリックします。
   2. そのアカウントの Resource collection セクションに移動し、Route resource data to the Cloud Security Posture Management product (リソースデータを Cloud Security Posture Management 製品にルーティングする) チェックボックスをオンにします
   3. タイルの下部で Update Configuration をクリックします

アラームの収集

AWS CloudWatch アラームを Datadog イベントストリームに送信する方法は 2 つあります。

• アラームポーリング: アラームポーリングは AWS インテグレーションですぐに使用でき、DescribeAlarmHistory API を介してメトリクスアラームをフェッチします。この方法に従うと、イベントソース Amazon Web Services の下にアラームが分類されます。注: クローラーは複合アラームを収集しません。
• SNS トピック: アラームを SNS トピックにサブスクライブしてから、SNS メッセージを Datadog に転送することで、イベントストリーム内のすべての AWS CloudWatch アラームを確認できます。Datadog でイベントとして SNS メッセージを受信する方法については、SNS メッセージの受信を参照してください。この方法に従うと、イベントソース Amazon SNS の下にアラームが分類されます。

収集データ

メトリクス

イベント

AWS からのイベントは、AWS サービス単位で収集されます。収集されるイベントの詳細については、お使いの AWS サービスのドキュメントを参照してください。

タグ

AWS インテグレーションにより以下のタグが収集されます。注: 一部のタグは、特定のメトリクスにのみ表示されます。

サービスのチェック

aws.status
Returns CRITICAL if one or more AWS regions are experiencing issues. Returns OK otherwise.
Statuses: ok, critical

トラブルシューティング

AWS インテグレーションに関する問題解決は、AWS インテグレーションのトラブルシューティングガイドをご参照ください。

その他の参考資料

お役に立つドキュメント、リンクや記事:

Datadog で AWS コントロールプレーン API の使用量メトリクスを監視するブログ