概要

このチェックは、Datadog Agent を通じて TorchServe を監視します。

セットアップ

ホストで実行されている Agent 用にこのチェックをインストールおよび構成する場合は、以下の手順に従ってください。コンテナ環境の場合は、オートディスカバリーのインテグレーションテンプレートのガイドを参照してこの手順を行ってください。

インストール

Agent リリース 7.47.0 から、TorchServe チェックは Datadog Agent パッケージに含まれています。サーバーに追加インストールする必要はありません。

前提条件

TorchServe チェックは、3 つの異なるエンドポイントを使用して TorchServe のメトリクスとパフォーマンスデータを収集します。

• Inference API で TorchServe インスタンスの全体的な健全性ステータスを収集します。
• Management API で実行中のさまざまなモデルのメトリクスを収集します。
• TorchServe が公開する OpenMetrics エンドポイント。

TorchServe のドキュメントで説明されているように、config.properties ファイルを使用してこれらのエンドポイントを構成することができます。例:

inference_address=http://0.0.0.0:8080
management_address=http://0.0.0.0:8081
metrics_address=http://0.0.0.0:8082
metrics_mode=prometheus
number_of_netty_threads=32
default_workers_per_model=10
job_queue_size=1000
model_store=/home/model-server/model-store
workflow_store=/home/model-server/wf-store
load_models=all

このコンフィギュレーションファイルは、インテグレーションがインスタンスを監視するために使用できる 3 つの異なるエンドポイントを公開します。

OpenMetrics エンドポイント

Prometheus エンドポイントを有効にするには、2 つのオプションを構成する必要があります。

• metrics_address: メトリクス API のバインディングアドレス。デフォルトは http://127.0.0.1:8082 です。
• metrics_mode: TorchServe では log と prometheus の 2 つのメトリクスモードがサポートされています。デフォルトは log です。このエンドポイントからメトリクスを収集するには prometheus に設定する必要があります。

例:

metrics_address=http://0.0.0.0:8082
metrics_mode=prometheus

この場合、OpenMetrics のエンドポイントは次の URL で公開されます: http://<TORCHSERVE_ADDRESS>:8082/metrics

構成

これら 3 つの異なるエンドポイントは独立して監視することができ、インスタンスごとに 1 つの API をコンフィギュレーションファイルで個別に設定する必要があります。利用可能なすべての構成オプションについてはサンプル torchserve.d/conf.yaml を参照してください。

init_config:
  ...
instances:
  - openmetrics_endpoint: http://<TORCHSERVE_ADDRESS>:8082/metrics

init_config:
  ...
instances:
  - inference_api_url: http://<TORCHSERVE_ADDRESS>:8080

init_config:
  ...
instances:
  - management_api_url: http://<TORCHSERVE_ADDRESS>:8081

init_config:
  ...
instances:
  - management_api_url: http://<TORCHSERVE_ADDRESS>:8081
    limit: 25
    include: 
      - my_model.* 

init_config:
  ...
instances:
  - management_api_url: http://<TORCHSERVE_ADDRESS>:8081
    exclude: 
      - test.* 

完全な構成

init_config:
  ...
instances:
  - openmetrics_endpoint: http://<TORCHSERVE_ADDRESS>:8082/metrics
    # 独自の TorchServe メトリクスも収集します
    extra_metrics:
      - my_custom_torchserve_metric
  - inference_api_url: http://<TORCHSERVE_ADDRESS>:8080
  - management_api_url: http://<TORCHSERVE_ADDRESS>:8081
    # 正規表現にマッチするモデル名をすべて含めます
    include:
      - my_models.*
    # ただし、`-test` で終わるものはすべて除外します
    exclude: 
      - .*-test 
    # 1 時間ごとにモデルリストのみを更新します
    interval: 3600

labels:
  com.datadoghq.ad.checks: '{"torchserve":{"instances":[{"openmetrics_endpoint":"http://%%host%%:8082/metrics","extra_metrics":["my_custom_torchserve_metric"]},{"inference_api_url":"http://%%host%%:8080"},{"management_api_url":"http://%%host%%:8081","include":["my_models.*"],"exclude":[".*-test"],"interval":3600}]}}'

apiVersion: v1
kind: Pod
metadata:
  name: '<POD_NAME>'
  annotations:
    ad.datadoghq.com/torchserve.checks: |-
      {
        "torchserve": {
          "instances": [
            {
              "openmetrics_endpoint": "http://%%host%%:8082/metrics",
              "extra_metrics": [
                "my_custom_torchserve_metric"
              ]
            },
            {
              "inference_api_url": "http://%%host%%:8080"
            },
            {
              "management_api_url": "http://%%host%%:8081",
              "include": [
                ".*"
              ],
              "exclude": [
                ".*-test"
              ],
              "interval": 3600
            }
          ]
        }
      }      
    # (...)
spec:
  containers:
    - name: 'torchserve'
# (...)

検証

Agent の status サブコマンドを実行し、Checks セクションの torchserve を探します。

収集データ

メトリクス

メトリクスには、API を使って以下のプレフィックスが付けられます。

• OpenMetrics エンドポイントからのメトリクスには torchserve.openmetrics.*。
• Inference API からのメトリクスには torchserve.inference_api.*。
• Management API からのメトリクスには torchserve.management_api.*。

イベント

TorchServe インテグレーションには、Management API を使用した 3 つのイベントがあります。

• torchserve.management_api.model_added: このイベントは、新しいモデルが追加されたときに発生します。
• torchserve.management_api.model_removed: このイベントは、モデルが削除されたときに発生します。
• torchserve.management_api.default_version_changed: このイベントは、指定されたモデルにデフォルトのバージョンが設定されたときに発生します。

サービスチェック

torchserve.openmetrics.health
Returns CRITICAL if the Agent is unable to connect to the OpenMetrics endpoint, otherwise returns OK.
Statuses: ok, critical

torchserve.inference_api.health
Returns CRITICAL if the Agent is unable to connect to the Inference API endpoint or if it is unhealthy, otherwise returns OK.
Statuses: ok, critical

torchserve.management_api.health
Returns CRITICAL if the Agent is unable to connect to the Management API endpoint, otherwise returns OK.
Statuses: ok, critical

Logs

TorchServe インテグレーションは、TorchServe のサービスからログを収集し、Datadog に転送することができます。

1. Datadog Agent で、ログの収集はデフォルトで無効になっています。以下のように、datadog.yaml ファイルでこれを有効にします。

   logs_enabled: true
   

2. torchserve.d/conf.yaml ファイルのログ構成ブロックのコメントを解除して編集します。これがその例です。

   logs:
     - type: file
       path: /var/log/torchserve/model_log.log
       source: torchserve
       service: torchserve
     - type: file
       path: /var/log/torchserve/ts_log.log
       source: torchserve
       service: torchserve
   

すべてのログを収集する方法については、コンフィギュレーションファイルの例を参照してください。

TorchServe でのログ構成については、TorchServe 公式ドキュメントを参照してください。

トラブルシューティング

ご不明な点は、Datadog のサポートチームまでお問合せください。