- 重要な情報
- はじめに
- 用語集
- ガイド
- エージェント
- インテグレーション
- OpenTelemetry
- 開発者
- API
- CoScreen
- アプリ内
- Service Management
- インフラストラクチャー
- アプリケーションパフォーマンス
- 継続的インテグレーション
- ログ管理
- セキュリティ
- UX モニタリング
- 管理
Supported OS
mapreduce サービスからメトリクスをリアルタイムに取得して、以下のことができます。
Mapreduce チェックは Datadog Agent パッケージに含まれています。サーバーに追加でインストールする必要はありません。
ホストで実行中の Agent に対してこのチェックを構成するには:
サーバーとポートを指定し、監視するマスターを設定するには、Agent のコンフィギュレーションディレクトリのルートにある conf.d/
フォルダーの mapreduce.d/conf.yaml
ファイルを編集します。使用可能なすべての構成オプションの詳細については、サンプル mapreduce.d/conf.yaml を参照してください。
Datadog Agent で、ログの収集はデフォルトで無効になっています。以下のように、datadog.yaml
ファイルでこれを有効にします。
logs_enabled: true
mapreduce.d/conf.yaml
ファイルのコメントを解除して、ログコンフィギュレーションブロックを編集します。環境に基づいて、 type
、path
、service
パラメーターの値を変更してください。使用可能なすべてのコンフィギュレーションオプションについては、サンプル mapreduce.d/conf.yaml を参照してください。
logs:
- type: file
path: <LOG_FILE_PATH>
source: mapreduce
service: <SERVICE_NAME>
# To handle multi line that starts with yyyy-mm-dd use the following pattern
# log_processing_rules:
# - type: multi_line
# pattern: \d{4}\-\d{2}\-\d{2} \d{2}:\d{2}:\d{2},\d{3}
# name: new_log_start_with_date
コンテナ環境の場合は、オートディスカバリーのインテグレーションテンプレートのガイドを参照して、次のパラメーターを適用してください。
パラメーター | 値 |
---|---|
<インテグレーション名> | mapreduce |
<初期コンフィギュレーション> | 空白または {} |
<インスタンスコンフィギュレーション> | {"resourcemanager_uri": "https://%%host%%:8088", "cluster_name":"<MAPREDUCE_CLUSTER_NAME>"} |
Datadog Agent で、ログの収集はデフォルトで無効になっています。有効にする方法については、Docker ログ収集を参照してください。
次に、ログインテグレーションを Docker ラベルとして設定します。
LABEL "com.datadoghq.ad.logs"='[{"source": "mapreduce", "service": "<SERVICE_NAME>"}]'
Agent の status サブコマンドを実行し、Checks セクションで mapreduce
を検索します。
mapreduce.job.elapsed_time.max (gauge) | Max elapsed time since the application started Shown as millisecond |
mapreduce.job.elapsed_time.avg (gauge) | Average elapsed time since the application started Shown as millisecond |
mapreduce.job.elapsed_time.median (gauge) | Median elapsed time since the application started Shown as millisecond |
mapreduce.job.elapsed_time.95percentile (gauge) | 95th percentile elapsed time since the application started Shown as millisecond |
mapreduce.job.elapsed_time.count (rate) | Number of times the elapsed time was sampled |
mapreduce.job.maps_total (rate) | Total number of maps Shown as task |
mapreduce.job.maps_completed (rate) | Number of completed maps Shown as task |
mapreduce.job.reduces_total (rate) | Number of reduces Shown as task |
mapreduce.job.reduces_completed (rate) | Number of completed reduces Shown as task |
mapreduce.job.maps_pending (rate) | Number of pending maps Shown as task |
mapreduce.job.maps_running (rate) | Number of running maps Shown as task |
mapreduce.job.reduces_pending (rate) | Number of pending reduces Shown as task |
mapreduce.job.reduces_running (rate) | Number of running reduces Shown as task |
mapreduce.job.new_reduce_attempts (rate) | Number of new reduce attempts Shown as task |
mapreduce.job.running_reduce_attempts (rate) | Number of running reduce attempts Shown as task |
mapreduce.job.failed_reduce_attempts (rate) | Number of failed reduce attempts Shown as task |
mapreduce.job.killed_reduce_attempts (rate) | Number of killed reduce attempts Shown as task |
mapreduce.job.successful_reduce_attempts (rate) | Number of successful reduce attempts Shown as task |
mapreduce.job.new_map_attempts (rate) | Number of new map attempts Shown as task |
mapreduce.job.running_map_attempts (rate) | Number of running map attempts Shown as task |
mapreduce.job.failed_map_attempts (rate) | Number of failed map attempts Shown as task |
mapreduce.job.killed_map_attempts (rate) | Number of killed map attempts Shown as task |
mapreduce.job.successful_map_attempts (rate) | Number of successful map attempts Shown as task |
mapreduce.job.counter.reduce_counter_value (rate) | Counter value of reduce tasks Shown as task |
mapreduce.job.counter.map_counter_value (rate) | Counter value of map tasks Shown as task |
mapreduce.job.counter.total_counter_value (rate) | Counter value of all tasks Shown as task |
mapreduce.job.map.task.elapsed_time.max (gauge) | Max of all map tasks elapsed time Shown as millisecond |
mapreduce.job.map.task.elapsed_time.avg (gauge) | Average of all map tasks elapsed time Shown as millisecond |
mapreduce.job.map.task.elapsed_time.median (gauge) | Median of all map tasks elapsed time Shown as millisecond |
mapreduce.job.map.task.elapsed_time.95percentile (gauge) | 95th percentile of all map tasks elapsed time Shown as millisecond |
mapreduce.job.map.task.elapsed_time.count (rate) | Number of times the map tasks elapsed time were sampled |
mapreduce.job.reduce.task.elapsed_time.max (gauge) | Max of all reduce tasks elapsed time Shown as millisecond |
mapreduce.job.reduce.task.elapsed_time.avg (gauge) | Average of all reduce tasks elapsed time Shown as millisecond |
mapreduce.job.reduce.task.elapsed_time.median (gauge) | Median of all reduce tasks elapsed time Shown as millisecond |
mapreduce.job.reduce.task.elapsed_time.95percentile (gauge) | 95th percentile of all reduce tasks elapsed time Shown as millisecond |
mapreduce.job.reduce.task.elapsed_time.count (rate) | Number of times the reduce tasks elapsed time were sampled |
Mapreduce チェックには、イベントは含まれません。
mapreduce.resource_manager.can_connect
Returns CRITICAL
if the Agent is unable to connect to the Resource Manager. Returns OK
otherwise.
Statuses: ok, critical
mapreduce.application_master.can_connect
Returns CRITICAL
if the Agent is unable to connect to the Application Master. Returns OK
otherwise.
Statuses: ok, critical
ご不明な点は、Datadog のサポートチームまでお問合せください。