概要

Amazon OpenSearch Service は、AWS Cloud 上で OpenSearch クラスターを簡単にデプロイ、運用、スケールできるマネージド サービスです。OpenSearch は、ログ分析、リアル タイムのアプリケーション監視、クリック ストリーム分析などの用途に適した、完全なオープン ソースの検索および分析エンジンです。

このインテグレーションを有効にすると、OpenSearch Service のカスタム タグをすべて Datadog で確認できます。なお、このインテグレーションは AWS 上の Amazon OpenSearch Service 向けであり、AWS 外でホストされているスタンドアロンの Elasticsearch インスタンス向けではありません。(そのようなインスタンスでは、代わりに Elasticsearch インテグレーション を使用してください。)

注: このインテグレーションを完全に有効にするには、’es:ListTags’、’es:ListDomainNames’、’es:DescribeElasticsearchDomains’ の権限が必要です。

セットアップ

インストール

まだ設定していない場合は、先に Amazon Web Services インテグレーション を設定してください。

メトリクス収集

  1. AWS integration ページMetric Collection タブで、ES が有効になっていることを確認します。
  2. Datadog - Amazon OpenSearch Service インテグレーション をインストールします。

ログ収集

ログを有効にする

Amazon OpenSearch Service がログを S3 バケットまたは CloudWatch に送信するよう設定します。

: S3 バケットにログを出力する場合は、Target prefixamazon_elasticsearch が設定されていることを確認してください。

ログを Datadog に送信する

  1. まだ設定していない場合は、Datadog Forwarder Lambda 関数 を設定してください。

  2. Lambda 関数をインストールしたら、AWS コンソールで Amazon Elasticsearch ログが保存されている S3 バケットまたは CloudWatch Log Group に、手動でトリガーを追加します:

収集データ

メトリクス

aws.es.2xx
(count)
HTTP 応答コード 2xx を返したドメインへのリクエスト数
単位は request
aws.es.2xx.average
(gauge)
HTTP 応答コード 2xx を返したドメインへの平均リクエスト数
単位は request
aws.es.3xx
(count)
HTTP 応答コード 3xx を返したドメインへのリクエスト数
単位は request
aws.es.3xx.average
(gauge)
HTTP 応答コード 3xx を返したドメインへの平均リクエスト数
単位は request
aws.es.4xx
(count)
HTTP 応答コード 4xx を返したドメインへのリクエスト数
単位は request
aws.es.4xx.average
(gauge)
HTTP 応答コード 4xx を返したドメインへの平均リクエスト数
単位は request
aws.es.5xx
(count)
HTTP 応答コード 5xx を返したドメインへのリクエスト数
単位は request
aws.es.5xx.average
(gauge)
HTTP 応答コード 5xx を返したドメインへの平均リクエスト数
単位は request
aws.es.alerting_degraded
(gauge)
ES アラート サービスが劣化状態にあるかどうかを示します。値が 0 の場合は ‘No’、1 の場合は ‘Yes’ です。
aws.es.alerting_index_exists
(gauge)
値が 1 の場合、.opendistro-alerting-config インデックスが存在します。初めてアラート機能を使用するまでは 0 のままです。
aws.es.alerting_index_statusgreen
(gauge)
インデックスの状態を示します。値が 1 の場合は green、0 の場合はインデックスが存在しないか、green ではありません。
aws.es.alerting_index_statusred
(gauge)
インデックスの状態を示します。値が 1 の場合は red、0 の場合はインデックスが存在しないか、red ではありません。
aws.es.alerting_index_statusyellow
(gauge)
インデックスの状態を示します。値が 1 の場合は yellow、0 の場合はインデックスが存在しないか、yellow ではありません。
aws.es.alerting_nodes_on_schedule
(gauge)
値が 1 の場合、すべてのアラート ジョブがスケジュールどおりに実行されています (またはアラート ジョブが存在しません)。
aws.es.alerting_nodes_not_on_schedule
(gauge)
値が 1 の場合、一部のジョブがスケジュールどおりに実行されていません。
aws.es.alerting_scheduled_job_enabled
(gauge)
値が 1 の場合、opendistro.scheduled_jobs.enabled クラスター設定が true であることを示します。値が 0 の場合は false で、スケジュール ジョブは無効です。
aws.es.anomaly_detection_failure_count
(count)
異常検知に失敗したリクエスト数
単位は error
aws.es.anomaly_detection_plugin_unhealthy
(gauge)
値が 1 の場合、異常検知プラグインが正常に機能していません。
aws.es.anomaly_detection_request_count
(count)
異常検知リクエスト数
単位は request
aws.es.anomaly_detectors_index_status_index_exists
(gauge)
値が 1 の場合、.opendistro-anomaly-detectors インデックスが存在します。初めて異常検知機能を使用するまでは、この値は 0 のままです。
aws.es.anomaly_detectors_index_statusred
(gauge)
値が 1 の場合、.opendistro-anomaly-detectors インデックスは red です。初めて異常検知機能を使用するまでは、この値は 0 のままです。
aws.es.anomaly_results_index_status_index_exists
(gauge)
値が 1 の場合、.opendistro-anomaly-results エイリアスが指すインデックスが存在します。初めて異常検知機能を使用するまでは、この値は 0 のままです。
aws.es.automated_snapshot_failure
(gauge)
クラスターで失敗した自動スナップショット数
単位は error
aws.es.automated_snapshot_failure.minimum
(gauge)
クラスターで失敗した自動スナップショット数の最小値
単位は error
aws.es.cluster_index_writes_blocked
(gauge)
クラスターが受信した書き込みリクエストを受け付けているか、ブロックしているかを示します。値が 0 の場合は受け付けており、1 の場合はブロックしています。
aws.es.cluster_statusgreen
(gauge)
すべてのインデックス シャードがクラスター内のノードに割り当てられているかどうかを示します。
aws.es.cluster_statusgreen.maximum
(gauge)
すべてのインデックス シャードがクラスター内のノードに割り当てられている状態の最大値を示します。
aws.es.cluster_statusgreen.minimum
(gauge)
すべてのインデックス シャードがクラスター内のノードに割り当てられている状態の最小値を示します。
aws.es.cluster_statusred
(gauge)
少なくとも 1 つのインデックスで、プライマリ シャードとレプリカ シャードの両方がクラスター内のノードに割り当てられていないかどうかを示します。
aws.es.cluster_statusred.maximum
(gauge)
少なくとも 1 つのインデックスで、プライマリ シャードとレプリカ シャードの両方がクラスター内のノードに割り当てられていない状態の最大値を示します。
aws.es.cluster_statusred.minimum
(gauge)
少なくとも 1 つのインデックスで、プライマリ シャードとレプリカ シャードの両方がクラスター内のノードに割り当てられていない状態の最小値を示します。
aws.es.cluster_statusyellow
(gauge)
レプリカ シャードがクラスター内のノードに割り当てられていないかどうかを示します。
aws.es.cluster_statusyellow.maximum
(gauge)
レプリカ シャードがクラスター内のノードに割り当てられていない状態の最大値を示します。
aws.es.cluster_statusyellow.minimum
(gauge)
レプリカ シャードがクラスター内のノードに割り当てられていない状態の最小値を示します。
aws.es.cluster_used_space
(gauge)
クラスターの使用済み総容量 (MiB)
単位は mebibyte
aws.es.cluster_used_space.average
(gauge)
クラスターの平均使用容量 (MiB)
単位は mebibyte
aws.es.cluster_used_space.minimum
(gauge)
クラスターの最小使用容量 (MiB)
単位は mebibyte
aws.es.cpucredit_balance
(gauge)
クラスター内のデータ ノードで利用可能な残りの CPU クレジット
aws.es.cpuutilization
(gauge)
クラスター内の全ノードにおける CPU 使用率の平均
単位は percent
aws.es.cpuutilization.maximum
(gauge)
クラスター内のいずれかのノードにおける CPU 使用率の最大値
単位は percent
aws.es.cpuutilization.minimum
(gauge)
クラスター内のいずれかのノードにおける CPU 使用率の最小値
単位は percent
aws.es.cross_cluster_inbound_requests
(count)
宛先ドメイン側のメトリクス。送信元ドメインから受信した接続リクエスト数
単位は request
aws.es.cross_cluster_outbound_connections
(gauge)
送信元ドメイン側のメトリクス。接続済みノード数。この数が 0 になると、その接続は正常ではありません。
aws.es.cross_cluster_outbound_requests
(count)
送信元ドメイン側のメトリクス。宛先ドメインに送信した検索リクエスト数
単位は request
aws.es.deleted_documents
(gauge)
クラスター内のすべてのインデックスで削除対象としてマークされたドキュメント総数
単位は document
aws.es.deleted_documents.maximum
(gauge)
クラスター内のすべてのインデックスで削除対象としてマークされたドキュメント数の最大値
単位は document
aws.es.deleted_documents.minimum
(gauge)
クラスター内のすべてのインデックスで削除対象としてマークされたドキュメント数の最小値
単位は document
aws.es.disk_queue_depth
(gauge)
クラスター内の全ノードにおける、EBS ボリュームへの保留中の入出力 (I/O) リクエスト数の平均
単位は request
aws.es.disk_queue_depth.maximum
(gauge)
クラスター内の各ノードにおける、EBS ボリュームへの保留中の入出力 (I/O) リクエスト数の最大値
単位は request
aws.es.disk_queue_depth.minimum
(gauge)
クラスター内の各ノードにおける、EBS ボリュームへの保留中の入出力 (I/O) リクエスト数の最小値
単位は request
aws.es.elasticsearch_requests
(count)
Elasticsearch クラスターに送られたリクエスト数
単位は request
aws.es.elasticsearch_requests.average
(gauge)
Elasticsearch クラスターに送られた平均リクエスト数
単位は request
aws.es.free_storage_space
(gauge)
クラスター内の全データ ノードにおける平均空き容量 (メガバイト)
単位は mebibyte
aws.es.free_storage_space.maximum
(gauge)
クラスター内で最も空き容量が多い単一のデータ ノードの空き容量 (メガバイト)
単位は mebibyte
aws.es.free_storage_space.minimum
(gauge)
クラスター内で最も空き容量が少ない単一のデータ ノードの空き容量 (メガバイト)
単位は mebibyte
aws.es.free_storage_space.sum
(gauge)
クラスター内の全データ ノードの空き容量合計 (メガバイト)
単位は mebibyte
aws.es.hot_storage_space_utilization
(gauge)
クラスターで使用している hot ストレージの総容量
単位は mebibyte
aws.es.hot_to_warm_migration_queue_size
(gauge)
現在 hot ストレージから warm ストレージへ移行中のインデックス数
aws.es.indexing_latency
(gauge)
シャードがインデックス処理を完了するまでにかかる平均時間 (ミリ秒)
単位は millisecond
aws.es.indexing_rate
(count)
1 分あたりのインデックス処理数
単位は operation
aws.es.invalid_host_header_requests
(count)
無効な (または欠落した) host ヘッダーを含む、Elasticsearch クラスターへの HTTP リクエスト数
単位は request
aws.es.invalid_host_header_requests.average
(gauge)
無効な (または欠落した) host ヘッダーを含む、Elasticsearch クラスターへの HTTP リクエストの平均数
単位は request
aws.es.jvmgcold_collection_count
(gauge)
‘old generation’ のガベージ コレクションが実行された回数。十分なリソースがあるクラスターでは、この値は小さいままで、増加頻度も低いはずです。
単位は garbage collection
aws.es.jvmgcold_collection_time
(gauge)
クラスターが ‘old generation’ のガベージ コレクションに費やした時間 (ミリ秒)
単位は millisecond
aws.es.jvmgcyoung_collection_count
(gauge)
‘young generation’ のガベージ コレクションが実行された回数。実行回数が多く、継続的に増えていても、クラスター運用では通常の挙動です。
単位は garbage collection
aws.es.jvmgcyoung_collection_time
(gauge)
クラスターが ‘young generation’ のガベージ コレクションに費やした時間 (ミリ秒)
単位は millisecond
aws.es.jvmmemory_pressure
(gauge)
クラスター内の全データ ノードにおける Java ヒープ使用率の平均
単位は percent
aws.es.jvmmemory_pressure.maximum
(gauge)
クラスター内のいずれかのデータ ノードにおける Java ヒープ使用率の最大値
単位は percent
aws.es.jvmmemory_pressure.minimum
(gauge)
クラスター内のいずれかのデータ ノードにおける Java ヒープ使用率の最小値
単位は percent
aws.es.kibana_healthy_nodes
(gauge)
Kibana のヘルス チェック。値が 1 の場合は正常です。値が 0 の場合は Kibana にアクセスできません。
aws.es.kmskey_error
(gauge)
値が 1 の場合、保管時暗号化に使用している KMS カスタマー マスター キーが無効化されています。保管時暗号化を有効にしているドメインでのみ利用できます。
aws.es.kmskey_inaccessible
(gauge)
値が 1 の場合、保管時暗号化に使用している KMS カスタマー マスター キーが削除されているか、Amazon ES への付与権限が取り消されています。保管時暗号化を有効にしているドメインでのみ利用できます。
aws.es.master_cpucredit_balance
(gauge)
クラスター内の専用マスター ノードで利用可能な残りの CPU クレジット
aws.es.master_cpuutilization
(gauge)
専用マスター ノードで使用されている CPU 使用率の最大値
単位は percent
aws.es.master_free_storage_space
(gauge)
このメトリクスは無関係なため、無視してかまいません。サービスではマスター ノードをデータ ノードとして使用しません。
単位は mebibyte
aws.es.master_jvmmemory_pressure
(gauge)
クラスター内の全専用マスター ノードにおける Java ヒープ使用率の最大値
単位は percent
aws.es.master_reachable_from_node
(gauge)
MasterNotDiscovered 例外を検知するためのヘルス チェック。値が 1 の場合は正常です。値が 0 の場合は /_cluster/health/ が失敗しています。
aws.es.master_reachable_from_node.maximum
(gauge)
MasterNotDiscovered 例外を検知するためのヘルス チェック。値が 1 の場合は正常です。値が 0 の場合は /_cluster/health/ が失敗しています。
aws.es.master_sys_memory_utilization
(gauge)
インスタンス メモリの使用率
単位は percent
aws.es.models_checkpoint_index_status_index_exists
(gauge)
値が 1 の場合、.opendistro-anomaly-checkpoints インデックスが存在します。初めて異常検知機能を使用するまでは、この値は 0 のままです。
aws.es.models_checkpoint_index_statusred
(gauge)
値が 1 の場合、.opendistro-anomaly-checkpoints インデックスは red です。初めて異常検知機能を使用するまでは、この値は 0 のままです。
aws.es.nodes
(gauge)
Amazon ES クラスター内のノード数
単位は node
aws.es.nodes.maximum
(gauge)
Amazon ES クラスター内のノード数の最大値
単位は node
aws.es.nodes.minimum
(gauge)
Amazon ES クラスター内のノード数の最小値
単位は node
aws.es.open_search_dashboards_healthy_nodes
(gauge)
OpenSearch Dashboards のヘルス チェック。値が 1 の場合は正常です。値が 0 の場合は Dashboards ノードにアクセスできません。
aws.es.open_search_requests
(count)
OpenSearch クラスターに送られたリクエスト数
単位は request
aws.es.open_search_requests.average
(gauge)
OpenSearch クラスターに送られた平均リクエスト数
単位は request
aws.es.read_iops
(gauge)
EBS ボリュームの読み取り処理における 1 秒あたりの入出力 (I/O) 操作数
単位は operation
aws.es.read_iops.maximum
(gauge)
各ノードにおける、EBS ボリュームの読み取り処理に対する 1 秒あたりの入出力 (I/O) 操作数の最大値
単位は operation
aws.es.read_iops.minimum
(gauge)
各ノードにおける、EBS ボリュームの読み取り処理に対する 1 秒あたりの入出力 (I/O) 操作数の最小値
単位は operation
aws.es.read_latency
(gauge)
EBS ボリュームの読み取り処理における遅延時間 (秒)
単位は second
aws.es.read_latency.maximum
(gauge)
EBS ボリュームの読み取り処理における、いずれかのノードでの最大遅延時間 (秒)
単位は second
aws.es.read_latency.minimum
(gauge)
EBS ボリュームの読み取り処理における、いずれかのノードでの最小遅延時間 (秒)
単位は second
aws.es.read_throughput
(gauge)
EBS ボリュームの読み取り処理におけるスループット (byte/秒)
単位は byte
aws.es.read_throughput.maximum
(gauge)
EBS ボリュームの読み取り処理における、いずれかのノードでの最大スループット (byte/秒)
単位は byte
aws.es.read_throughput.minimum
(gauge)
EBS ボリュームの読み取り処理における、いずれかのノードでの最小スループット (byte/秒)
単位は byte
aws.es.search_latency
(gauge)
シャードが検索処理を完了するまでにかかる平均時間 (ミリ秒)
単位は millisecond
aws.es.search_rate
(count)
ノード上のすべてのシャードに対する 1 分あたりの検索リクエスト総数
単位は request
aws.es.searchable_documents
(gauge)
クラスター内のすべてのインデックスにまたがる検索可能なドキュメント総数
単位は document
aws.es.searchable_documents.maximum
(gauge)
クラスター内のすべてのインデックスにまたがる検索可能なドキュメント数の最大値
単位は document
aws.es.searchable_documents.minimum
(gauge)
クラスター内のすべてのインデックスにまたがる検索可能なドキュメント数の最小値
単位は document
aws.es.sqldefault_cursor_request_count
(count)
_opendistro/_sql API へのページネーション リクエスト数
単位は request
aws.es.sqlfailed_request_count_by_cus_err
(count)
クライアント側の問題により失敗した _opendistro/_sql API へのリクエスト数
単位は request
aws.es.sqlfailed_request_count_by_sys_err
(count)
サーバー側の問題または機能上の制限により失敗した _opendistro/_sql API へのリクエスト数
単位は request
aws.es.sqlrequest_count
(count)
_opendistro/_sql API へのリクエスト数
単位は request
aws.es.sqlunhealthy
(gauge)
値が 1 の場合、特定のリクエストに対して SQL プラグインが 5xx 応答コードを返しているか、無効なクエリ DSL を Elasticsearch に渡していることを示します。
aws.es.sys_memory_utilization
(gauge)
インスタンスのメモリ使用率
単位は percent
aws.es.sys_memory_utilization.maximum
(gauge)
インスタンスのメモリ使用率の最大値
単位は percent
aws.es.sys_memory_utilization.minimum
(gauge)
インスタンスのメモリ使用率の最小値
単位は percent
aws.es.threadpool_bulk_queue
(count)
bulk スレッド プール内でキュー待ちとなっているタスク数
単位は task
aws.es.threadpool_bulk_rejected
(count)
bulk スレッド プールで拒否されたタスク数
単位は task
aws.es.threadpool_bulk_threads
(gauge)
bulk スレッド プールのサイズ
aws.es.threadpool_forcemerge_queue
(count)
force merge スレッド プール内でキュー待ちとなっているタスク数
単位は task
aws.es.threadpool_forcemerge_rejected
(count)
force merge スレッド プールで拒否されたタスク数
単位は task
aws.es.threadpool_forcemerge_threads
(gauge)
force merge スレッド プールのサイズ
aws.es.threadpool_index_queue
(count)
index スレッド プール内でキュー待ちとなっているタスク数
単位は task
aws.es.threadpool_index_rejected
(count)
index スレッド プールで拒否されたタスク数
単位は task
aws.es.threadpool_index_threads
(gauge)
index スレッド プールのサイズ
aws.es.threadpool_merge_queue
(count)
merge スレッド プール内でキュー待ちとなっているタスク数
単位は task
aws.es.threadpool_merge_rejected
(count)
merge スレッド プールで拒否されたタスク数
単位は task
aws.es.threadpool_merge_threads
(gauge)
merge スレッド プールのサイズ
aws.es.threadpool_search_queue
(count)
search スレッド プール内でキュー待ちとなっているタスク数
単位は task
aws.es.threadpool_search_rejected
(count)
search スレッド プールで拒否されたタスク数
単位は task
aws.es.threadpool_search_threads
(gauge)
search スレッド プールのサイズ
aws.es.threadpool_write_queue
(count)
write スレッド プール内でキュー待ちとなっているタスク数
単位は task
aws.es.threadpool_write_rejected
(count)
write スレッド プールで拒否されたタスク数
単位は task
aws.es.threadpool_write_threads
(gauge)
write スレッド プールのサイズ
aws.es.warm_cpuutilization
(gauge)
クラスター内の UltraWarm ノードにおける CPU 使用率
単位は percent
aws.es.warm_free_storage_space
(gauge)
空き warm ストレージ容量 (MiB)
単位は mebibyte
aws.es.warm_jvmmemory_pressure
(gauge)
UltraWarm ノードにおける Java ヒープ使用率の最大値
単位は percent
aws.es.warm_search_latency
(gauge)
UltraWarm ノード上のシャードが検索処理を完了するまでにかかる平均時間 (ミリ秒)
単位は millisecond
aws.es.warm_search_rate
(count)
UltraWarm ノード上のすべてのシャードに対する 1 分あたりの検索リクエスト総数
単位は request
aws.es.warm_searchable_documents
(gauge)
クラスター内のすべての warm インデックスにまたがる検索可能なドキュメント総数
単位は document
aws.es.warm_storage_space_utilization
(gauge)
クラスターが使用している warm ストレージの総容量
単位は mebibyte
aws.es.warm_sys_memory_utilization
(gauge)
warm ノードのメモリ使用率
単位は percent
aws.es.warm_to_hot_migration_queue_size
(gauge)
現在 warm ストレージから hot ストレージへ移行中のインデックス数
aws.es.write_iops
(gauge)
EBS ボリュームの書き込み処理における 1 秒あたりの入出力 (I/O) 操作数
単位は operation
aws.es.write_iops.maximum
(gauge)
EBS ボリュームの書き込み処理における、いずれかのノードでの 1 秒あたりの入出力 (I/O) 操作数の最大値
単位は operation
aws.es.write_iops.minimum
(gauge)
EBS ボリュームの書き込み処理における、いずれかのノードでの 1 秒あたりの入出力 (I/O) 操作数の最小値
単位は operation
aws.es.write_latency
(gauge)
EBS ボリュームの書き込み処理における遅延時間 (秒)
単位は second
aws.es.write_latency.maximum
(gauge)
EBS ボリュームの書き込み処理における、いずれかのノードでの最大遅延時間 (秒)
単位は second
aws.es.write_latency.minimum
(gauge)
EBS ボリュームの書き込み処理における、いずれかのノードでの最小遅延時間 (秒)
単位は second
aws.es.write_throughput
(gauge)
EBS ボリュームの書き込み処理におけるスループット (byte/秒)
単位は byte
aws.es.write_throughput.maximum
(gauge)
EBS ボリュームの書き込み処理における、いずれかのノードでの最大スループット (byte/秒)
単位は byte
aws.es.write_throughput.minimum
(gauge)
EBS ボリュームの書き込み処理における、いずれかのノードでの最小スループット (byte/秒)
単位は byte

イベント

Amazon OpenSearch Service インテグレーションにはイベントは含まれません。

サービス チェック

Amazon OpenSearch Service インテグレーションにはサービス チェックは含まれません。

トラブルシューティング

サポートが必要な場合は、Datadog サポート にお問い合わせください。