Composite Monitor の使用例

概要

このガイドでは、Composite Monitor の代表的な使用例を紹介します。これらの例は、モニタリング環境でさまざまなユースケースに対応できるように Composite Monitor を構成する方法を示しています。

エラーレート

ヒット数が一定数を超えている場合に限り、エラーレートがしきい値を上回ったときにアラートを送る例です。

以下の 2 つのモニターを作成します:

  • Monitor A: trace.requests.request.errors / trace.requests.request.hits > X のときにアラート
  • Monitor B: trace.requests.request.hits > Y のときにアラート

Composite Monitor C: Monitor A と Monitor B の両方がアラート状態の場合にアラート (A && B)

Monitor AMonitor BComposite Monitor C
Alert エラーレートがしきい値を超過Alert ヒット数がしきい値を超過Alert
Alert エラーレートがしきい値を超過OK ヒット数がしきい値未満OK 条件が1つのみ満たされておりアラートなし
OK エラーレートがしきい値未満Alert ヒット数がしきい値を超過OK 条件が1つのみ満たされておりアラートなし

より多くの状態の組み合わせについては、Composite Monitor を参照してください。

頻繁に発生するメトリクスの監視

サービスのレイテンシーを監視するときに、トラフィックの少ない時間帯などで一時的に発生するスパイクを無視したい場合の例です。

以下の 2 つのモニターを作成します:

  • Monitor A: latency > X のときにアラート
  • Monitor B: 過去 1 時間において sum:latency{*}.rollup(count) > Y のときにアラート

Composite Monitor C: 両方の条件が満たされた場合にアラート

Monitor AMonitor BComposite Monitor C
Alert レイテンシーがしきい値超過Alert メトリクス総数が Y 超過Alert
Alert レイテンシーがしきい値超過OK メトリクス総数が Y 未満OK メトリクスが十分でない
OK レイテンシーがしきい値未満Alert メトリクス総数が Y 超過OK Latency below thresholdOK レイテンシーが問題ないがメトリクスは多い 

ステップモニター

ペアになるメトリクスが欠如した場合にアラートを送る例です。たとえば、送信/受信、ダウン/アップ、作成/解決などのログメトリクスがペアになっている場合を想定します。ペアのメトリクスが N 分以内に報告されることを想定している場合は、各モニターの評価ウィンドウを調整します。

  • Monitor A: action:create が 0 を上回ったらアラート
  • Monitor B: action:resolve が 0 を上回ったらアラート

Composite: a && !b (Monitor A がアラート && Monitor B がアラートでない) ならアラート

Monitor AMonitor BComposite Monitor C
Alert Action create > 0Alert Action resolve > 0OK
Alert Action create > 0OKAlert Action resolve が発生していない
OKAlert Action resolve > 0OK

リカバリー時の再通知

timeshift を使用した 2 つのモニターによって、リカバリー時に再通知を行う例です。

  • Monitor A: 現在のメトリクス状態
  • Monitor B: timeshift を使用した過去のメトリクス状態

Composite Monitor: !a && b (現在がアラートではなく、過去はアラート状態)

Monitor AMonitor BComposite Monitor C
Alert リアルタイムのメトリクスAlert 過去のメトリクスOK
Alert リアルタイムのメトリクスOK トリガーなしOK
OK トリガーなしAlert 過去のメトリクスAlert

通知の遅延

一定時間エラーが持続した場合にアラートを送る例です。たとえば、少なくとも 15 分間エラーが持続しているときにアラートを送る場合。

  • Monitor A: リアルタイムのメトリクス
  • Monitor B (timeshifted): X 分シフトしたメトリクス

Composite Monitor: a && b (両方がアラート状態)

Monitor AMonitor B (timeshifted)Composite Monitor C
Alert リアルタイムAlert 過去のメトリクスAlert
Alert リアルタイムOK トリガーなしOK
OK トリガーなしAlert 過去のメトリクスOK

参考資料

お役に立つドキュメント、リンクや記事: