ログをグループ化

概要

ログは個々のイベントとしても価値がありますが、イベントのサブセットに価値ある情報が存在する場合もあります。この情報を公開するには、ログをフィールドでグループ化したり、パターンを特定したり、ログをトランザクションに集計したりします。

ログクエリエディターで、クエリしたログの集計を切り替えることができます。ログのグループ化、集計、測定のために選択したフィールドは、異なる表示や集計の種類を切り替えても保存されます。

ログを棒グラフで表示し、フィールド、パターン、トランザクションにグループ化するオプションを提供

複数のクエリを追加して異なるログを同時に分析したり、クエリに数式関数を適用して詳細な分析が可能です。

: 集計はインデックス化されたログのみでサポートされます。インデックス化されていないログで集計を実行する必要がある場合は、ログからメトリクスを使用するか、アーカイブでリハイドレートを実行して、除外フィルターを一時的に無効にすることを検討してください。

フィールド

フィールドで集計する場合、クエリフィルターに一致するすべてのログが、1 つまたは複数のログファセットの値に基づいてグループに集計されます。この集計に加えて、次のメジャーを抽出できます。

  • グループごとのログの数
  • グループごとのファセットのコード化された値の一意の数
  • グループごとのファセットの数値に対する統計演算 (minmaxavgpercentiles)

: 単一のファセットに対して複数の値を持つ個々のログは、その数の集計に属します。たとえば、team:sre タグと team:marketplace タグを持つログは、team:sre 集計で 1 回、team:marketplace 集計で 1 回カウントされます。

フィールド集計は、上位リストの視覚化の 1 つのディメンションをサポートし、時系列テーブルの視覚化の最大 3 ディメンションをサポートします。複数のディメンションがある場合、上位の値は最初のディメンションに基づき決定されます。その後最初のディメンション内の上位値内の 2 番めのディメンション、次に 2 番目のディメンション内の上位値内の 3 番めのディメンションに基づき決定されます。

複数のクエリ

時系列上位リストの視覚化で、複数のクエリに対応しました。クエリエディタの横にある + Add ボタンをクリックすることで、複数のクエリを追加できます。新しいクエリを追加すると、直前のクエリとそのグループ化オプションがコピーされます。

クエリエディター内の文字をクリックして、現在の視覚化に表示するクエリを選択または選択解除することができます。

クエリエディターには 2 つのクエリがあり、1 つは A、もう 1 つは B とラベル付けされています

デフォルトでは、新しいクエリが追加されると、選択した視覚化で表示するように自動的に選択されます。

タイムラインを表示するには、Timeline for ドロップダウンでそのクエリを選択します。Use facets with ドロップダウンでクエリを選択し、ファセットパネルで値をクリックすると、検索クエリの 1 つをスコープすることができます。選択されたクエリのみが、選択されたファセットで更新されます。

クエリエディターがセレクタのタイムラインを表示し、クエリ A とクエリ B のドロップダウンオプションがあります

関数

: 関数は、時系列上位リストの視覚化のみサポートされています。

クエリエディターで Fields 集計をクリックして、ログに関数を適用します。オプションで関数を適用するファセットフィールドを選択し、そのメジャーの横にある Σ アイコンをクリックします。選択したログフィールドに適用する関数を選択または検索します。

ダッシュボードのグラフエディターでログに使用できるすべての関数は、ログエクスプローラーでログに適用することができます。

これは、除外関数を適用してログの特定の値を除外する方法の例です。

カットオフの分除外フィルターを 100 に設定したクエリ

数式

クエリエディターの横にある + Add ボタンをクリックして、1 つまたは複数のクエリに数式を適用します。次の例では、式を使用して、Merchant Tier: Enterprise / Merchant Tier: Premium の顧客のログにある Cart Id の一意の数の比率を計算します。

クエリ A をクエリ B で割る計算式のあるクエリエディター

: 複数のクエリで数式を適用するには、すべてのクエリが同じファセットでグループ化されている必要があります。上記の例では、両方のクエリが Webstore Store Name によってグループ化されています。

関数を数式に適用するには、Σ アイコンをクリックします。ここでは、全ログに占めるエラーログの割合にタイムシフト関数を適用し、現在のデータと 1 週間前のデータを比較する例を示します。

前週のタイムシフト関数を適用した数式を表示したクエリエディター

パターン

パターン集計では、類似した構造を持つ message を持つログは、まとめてグループ化されます。オプションで 1~3 つのファセットフィールドを選択すると、ログをグループに事前集計してから、そのグループ内でパターンを検出することができます。

パターンビューは、他の問題を見過ごす原因となるノイズの多いエラーパターンを検出し、フィルタリングするのに役立ちます。

ログをパターン別に分類して表示するログエクスプローラー

: パターンは、10,000 個のログサンプルに基づいて検出されます。ログを一部分に制限してパターンを表示するには、検索を絞り込みます。

パターンは、リスト集計の視覚化をサポートします。リスト内のパターンをクリックすると、パターンのサイドパネルが開き、次のことができます。

  • そのパターンからログのサンプルにアクセスする
  • 検索フィルターを追加して、このパターンからのログのみにスコープを絞る
  • grok パースルールのキックスタートを取得して、そのパターンの構造化された情報ログを抽出する
すべて表示ボタンとパースルールがハイライトされた状態のログサイドパネル

トランザクション

トランザクションは、ユーザーセッションや複数のマイクロサービスで処理されたリクエストなど、イベントのシーケンスのインスタンスに従ってインデックス化されたログを集計します。たとえば、e コマース Web サイトは、カタログ検索、カートへの追加、チェックアウトなどのさまざまなユーザーアクションにわたってログをグループ化し、requestIdorderId などの共通属性を使用してトランザクションビューを構築します。

ログをトランザクション別に分類して表示するログエクスプローラー

: トランザクションの集計は、クエリに一致するログだけでなく、関連するトランザクションに属するすべてのログも含まれるという意味で、自然なグループの集計とは異なります。

  • Duration: トランザクションの最後のログと最初のログのタイムスタンプの差。このメジャーは自動的に追加されます
  • トランザクションのログで見つかった最大重大度このメジャーは自動的に追加されます
  • 重要な項目の検索: 文字列値を持つ任意の facet について、count uniquelatestearliestmost frequent の操作を使用して、特定のログ情報を計算します。
  • 統計の取得: 任意の measure について、minmaxavgsummedianpc75pc90pc95pc99 の操作を使用して統計情報を計算します。

トランザクションは、リスト集計の視覚化をサポートします。リスト内のトランザクションをクリックすると、トランザクションのサイドパネルが開き、次のことができます。

  • そのトランザクション内のすべてのログにアクセスする
  • そのトランザクション内の特定のログを検索する
選択したトランザクション内のログを表示するトランザクションログパネル

その他の参考資料