Amazon Redshift

概要

Amazon Redshift は、ペタバイトスケールの高速なフルマネージド型データウェアハウスサービスです。あらゆるデータをシンプルかつコスト効率よく能率的に分析できます。

このインテグレーションを有効にすると、Datadog にすべての Redshift メトリクスを表示できます。

セットアップ

インストール

Amazon Web Services インテグレーションをまだセットアップしていない場合は、最初にセットアップします。

メトリクスの収集

  1. AWS インテグレーションページで、Metric Collection タブの下にある Redshift が有効になっていることを確認します。

  2. Amazon Redshift のメトリクスを収集するために、次のアクセス許可を Datadog IAM ポリシーに追加します。

    • redshift:DescribeClusters: アカウント内のすべての Redshift クラスターを一覧表示します。
    • redshift:DescribeLoggingStatus: Redshift ログが格納されている S3 バケットを取得します。
    • tag:GetResources: Redshift クラスターのカスタムタグを取得します。

    詳細については、AWS ウェブサイト上の Redshift ポリシーを参照してください。

  3. Datadog - AWS Redshift インテグレーションをインストールします。

ログの収集

ログの有効化

ログを収集するには、まず Redshift Cluster でログを有効にします。Redshift ログを AWS S3 バケットに書き込み、Lambda 関数で使用します。詳細については、コンソールを使用して監査を構成するを参照してください。

ログを Datadog に送信する方法

  1. AWS アカウントで Datadog Forwarder Lambda 関数 をまだセットアップしていない場合は、セットアップします。

  2. Lambda 関数がインストールされたら、Redshift ログを収集する方法を以下の 2 つから選択します。

    • 自動: Datadog に権限を設定してアクセスを許可した場合、Redshift のログは自動的に管理されます。Datadog Forwarder Lambda 関数での自動ログ収集の構成については、トリガーを自動的にセットアップするを参照してください。
    • 手動: AWS コンソールで、Redshift のログが格納されている S3 バケットにトリガーを追加します。手動インストール手順を参照してください。

手動インストールの手順

  1. AWS アカウントで Datadog Forwarder Lambda 関数 をまだセットアップしていない場合は、セットアップします。
  2. 設定したら、Datadog Forwarder Lambda 関数に移動します。Function Overview セクションで、Add Trigger をクリックします。
  3. Trigger Configuration で S3 トリガーを選択します。
  4. Redshift のログが格納されている S3 バケットを選択します。
  5. イベントの種類は All object create events のままにしておきます。
  6. Add をクリックすると、Lambda にトリガーが追加されます。

ログエクスプローラーに移動して、ログを確認します。

AWS Services のログを収集する方法については、Datadog Lambda 関数で AWS Services のログを送信するを参照してください。

収集データ

メトリクス

aws.redshift.commit_queue_length
(count)		The number of transactions ahead of a transaction in the commit queue.
Shown as transaction
aws.redshift.concurrency_scaling_active_clusters
(count)		The number of concurrency scaling clusters that are actively processing queries at any given time.
aws.redshift.concurrency_scaling_seconds
(gauge)		The number of seconds used by concurrency scaling clusters that have active query processing activity.
Shown as second
aws.redshift.cpuutilization
(gauge)		The percentage of CPU utilization. For clusters, this metric represents an aggregation of all nodes (leader and compute) CPU utilization values.
Shown as percent
aws.redshift.database_connections
(gauge)		The number of database connections to a cluster.
Shown as connection
aws.redshift.health_status
(gauge)		Indicates the health of the cluster. 1 indicates healthy, and 0 indicates unhealthy.
aws.redshift.maintenance_mode
(gauge)		Indicates whether the cluster is in maintenance mode. 1 indicates on, and 0 indicates off.
aws.redshift.max_configured_concurrency_scaling_clusters
(count)		The maximum number of concurrency scaling clusters configured from the parameter group.
aws.redshift.network_receive_throughput
(rate)		The rate at which the node or cluster receives data.
Shown as byte
aws.redshift.network_transmit_throughput
(rate)		The rate at which the node or cluster writes data.
Shown as byte
aws.redshift.num_exceeded_schema_quotas
(count)		The number of schemas with exceeded quotas.
aws.redshift.percentage_disk_space_used
(gauge)		The percent of disk space used.
Shown as percent
aws.redshift.percentage_quota_used
(gauge)		The percentage of disk or storage space used relative to the configured schema quota.
Shown as percent
aws.redshift.queries_completed_per_second
(count)		The average number of queries completed per second. Reported in five-minute intervals.
Shown as query
aws.redshift.query_duration
(gauge)		The average amount of time to complete a query. Reported in five-minute intervals.
Shown as microsecond
aws.redshift.query_runtime_breakdown
(gauge)		AWS Redshift query runtime breakdown
aws.redshift.read_iops
(rate)		The average number of disk read operations per second.
Shown as operation
aws.redshift.read_latency
(gauge)		The average amount of time taken for disk read I/O operations.
Shown as second
aws.redshift.read_throughput
(rate)		The average number of bytes read from disk per second.
Shown as byte
aws.redshift.schema_quota
(gauge)		The configured quota for a schema.
Shown as byte
aws.redshift.storage_used
(gauge)		The disk or storage space used by a schema.
Shown as byte
aws.redshift.total_table_count
(count)		The number of user tables open at a particular point in time. This total does not include Spectrum tables.
Shown as table
aws.redshift.wlmqueries_completed_per_second
(count)		The average number of queries completed per second for a workload management (WLM) queue. Reported in five-minute intervals.
Shown as query
aws.redshift.wlmquery_duration
(gauge)		The average length of time to complete a query for a workload management (WLM) queue. Reported in five-minute intervals.
Shown as microsecond
aws.redshift.wlmqueue_length
(count)		The number of queries waiting to enter a workload management (WLM) queue.
Shown as query
aws.redshift.wlmqueue_wait_time
(gauge)		The total time queries spent waiting in the workload management (WLM) queue.
Shown as millisecond
aws.redshift.wlmrunning_queries
(count)		The number of queries running from both the main cluster and Concurrency Scaling cluster per WLM queue.
Shown as query
aws.redshift.write_iops
(rate)		The average number of write operations per second.
Shown as operation
aws.redshift.write_latency
(gauge)		The average amount of time taken for disk write I/O operations.
Shown as second
aws.redshift.write_throughput
(rate)		The average number of bytes written to disk per second.
Shown as byte

AWS から取得される各メトリクスには、ホスト名やセキュリティ グループなど、AWS コンソールに表示されるのと同じタグが割り当てられます。

イベント

AWS Redshift インテグレーションには、イベントは含まれません。

サービスのチェック

AWS Redshift インテグレーションには、サービスのチェック機能は含まれません。

トラブルシューティング

ご不明な点は、Datadog のサポートチームまでお問合せください。