Federator.ai

Federator.ai

Crawler Crawler

Linux OS Supported

概要

ProphetStor Federator.ai は AI ベースのソリューションで、企業が Kubernetes 上のアプリケーションのリソースを管理、最適化、オートスケールする手助けをします。Federator.ai は高度な機械学習アルゴリズムでアプリケーションのワークロードを予測することで、ベストなタイミングで適切な量のリソースをスケーリングし、アプリケーションのパフォーマンスを最適化します。

  • Kafka などのアプリケーションに対応する AI ベースのワークロード予測
  • ワークロード予測、アプリケーション、Kubernetes などの関連するメトリクスに基づくリソースの提案
  • Datadog Watermark Pod Autoscaler (WPA) によるアプリケーションコンテナの自動スケーリング

ProphetStor Federator.ai のインテグレーションにより、ユーザーは Federator.ai ダッシュボードから Kafka メッセージの生成率/消費率、およびメッセージ生成率の予測を簡単に追跡できます。Federator.ai は、予測またはメッセージ生成率に基づいて、Kafka コンシューマーレプリカを自動的にスケーリングして、ワークロードを処理します。これを視覚化できる Federator.ai ダッシュボードには、推奨されるコンシューマーレプリカと現在のコンシューマーレプリカの数が表示さます。さらにダッシュボードには、全体的なコンシューマーラグと、メッセージがコンシューマーによって受信されるまでの平均レイテンシーも表示され、パフォーマンスを監視しやすくなっています。

ProphetStor Federator.ai クラスターの概要

cluster_overview_dashboard

  • クラスターのリソース使用量予測と推奨

    • この表は、クラスターのリソース計画のための、CPU/メモリの負荷予測の最大値/最小値/平均値、および Federator.ai からの CPU/メモリリソースの推奨使用量を示しています。
  • クラスターノードのリソース使用量予測と推奨

    • この表は、ノードのリソース計画のための、CPU/メモリの負荷予測の最大値/最小値/平均値、および Federator.ai からの CPU/メモリリソースの推奨使用量を示しています。
  • ノードの現在/予測メモリ使用量 (日次)

    • このグラフは、Federator.ai からの予測メモリ使用量とノードのメモリ使用量(日次)を示しています。
  • ノードの現在/予測メモリ使用量 (週次)

    • このグラフは、Federator.ai からの予測メモリ使用量とノードのメモリ使用量(週次)を示しています。
  • ノードの現在/予測メモリ使用量 (月次)

    • このグラフは、Federator.ai からの予測メモリ使用量とノードのメモリ使用量(月次)を示しています。
  • ノードの現在/予測 CPU 使用量 (日次)

    • このグラフは、Federator.ai からの予測 CPU 使用量とノードの CPU 使用量(日次)を示しています。
  • ノードの現在/予測 CPU 使用量 (週次)

    • このグラフは、Federator.ai からの予測 CPU 使用量とノードの CPU 使用量(週次)を示しています。
  • ノードの現在/予測 CPU 使用量 (月次)

    • このグラフは、Federator.ai からの予測 CPU 使用量とノードの CPU 使用量(月次)を示しています。

ProphetStor Federator.ai アプリケーションの概要

application_overview_dashboard

  • 今後 24 時間の負荷予測

    • この表は、コントローラーのリソース計画のための、今後 24 時間の CPU/メモリの負荷予測の最大値/最小値/平均値、および Federator.ai からの CPU/メモリリソースの推奨使用量を示しています。
  • 今後 7 日間の負荷予測

    • この表は、コントローラーのリソース計画のための、今後 7 日間の CPU/メモリの負荷予測の最大値/最小値/平均値、および Federator.ai からの CPU/メモリリソースの推奨使用量を示しています。
  • 今後 30 日間の負荷予測

    • この表は、コントローラーのリソース計画のための、今後 30 日間の CPU/メモリの負荷予測の最大値/最小値/平均値、および Federator.ai からの CPU/メモリリソースの推奨使用量を示しています。
  • 現在/予測 CPU 使用量 (日次)

    • このグラフは、Federator.ai からの予測 CPU 使用量とコントローラーの CPU 使用量(日次)を示しています。
  • 現在/予測 CPU 使用量 (週次)

    • このグラフは、Federator.ai からの予測 CPU 使用量とコントローラーの CPU 使用量(週次)を示しています。
  • 現在/予測 CPU 使用量 (月次)

    • このグラフは、Federator.ai からの予測 CPU 使用量とコントローラーの CPU 使用量(月次)を示しています。
  • 現在/予測メモリ使用量 (日次)

    • このグラフは、Federator.ai からの予測メモリ使用量とコントローラーのメモリ使用量(日次)を示しています。
  • 現在/予測メモリ使用量 (週次)

    • このグラフは、Federator.ai からの予測メモリ使用量とコントローラーのメモリ使用量(週次)を示しています。
  • 現在/予測メモリ使用量 (月次)

    • このグラフは、Federator.ai からの予測メモリ使用量とコントローラーのメモリ使用量(月次)を示しています。
  • 現在/理想/推奨のレプリカ

    • このグラフは、Federator.ai からの推奨レプリカと、コントローラーの理想的なレプリカおよび現在のレプリカを示しています。
  • メモリの使用量/リクエスト/上限 vs 推奨メモリ上限

    • このグラフは、Federator.ai からの推奨メモリ上限と、コントローラーの現在のメモリ使用量、要求された使用量、および制限された使用量を示しています。
  • CPU 使用量/リクエスト/上限 vs 推奨 CPU 上限

    • このグラフは、Federator.ai からの推奨 CPU 上限と、コントローラーの現在の CPU 使用量、要求された使用量、および制限された使用量を示しています。
  • CPU 使用量/使用率上限

    • このグラフは、コントローラーの CPU 使用率と、CPU 使用率が上限を上回っている/下回っていることを視覚的にを示しています。

ProphetStor Federator.ai Kafka の概要

dashboard_overview

  • 推奨レプリカと現在/理想的なレプリカ

    • この時系列グラフは、Federator.ai からの推奨レプリカと、システム内の必要なレプリカと現在のレプリカを示しています。
  • 生成と消費と生成予測

    • この時系列グラフは、Kafka メッセージの生成率と消費率、および Federated.ai によって予測された生成率を示しています。
  • Kafka コンシューマーラグ

    • この時系列グラフは、すべてのパーティションからのコンシューマーラグの合計を示しています。
  • コンシューマーキューレイテンシー (ミリ秒)

    • この時系列グラフは、コンシューマーが受信するまでのメッセージキュー内のメッセージの平均レイテンシーを示しています。
  • デプロイメモリ使用量

    • この時系列グラフは、コンシューマーのメモリ使用量を示しています。
  • デプロイ CPU 使用量

    • この時系列グラフは、コンシューマーの CPU 使用量を示しています。

ProphetStor Federator.ai コスト分析の概要

cost_analysis_overview

  • 現在のクラスターコストおよび現在のクラスターコンフィギュレーション

    • この表は、クラスターの現在のコストと環境コンフィギュレーションを示しています。
  • 推奨クラスター - AWS および推奨クラスターコンフィギュレーション - AWS

    • この表は、Federator.ai からの推奨 AWS インスタンスコンフィギュレーションと、推奨 AWS インスタンスのコストを示しています。
  • 推奨クラスター - Azure および推奨クラスターコンフィギュレーション - Azure

    • この表は、Federator.ai からの推奨 Azure インスタンスコンフィギュレーションと、推奨 Azure インスタンスのコストを示しています。
  • 推奨クラスター - GCP および推奨クラスターコンフィギュレーション - GCP

    • この表は、Federator.ai からの推奨 GCP インスタンスコンフィギュレーションと、推奨 GCP インスタンスのコストを示しています。
  • 最高コストのネームスペース ($/日)

    • このグラフは、現在のクラスターのネームスペースの最高コスト(日次)を示しています。
  • 最高予測コストのネームスペース ($/月)

    • このグラフは、現在のクラスターのネームスペースの最高予測コスト(月次)を示しています。

セットアップ

インストール

  1. OpenShift/Kubernetes クラスターにログインします

  2. 次のコマンドで OpenShift/Kubernetes 用の Federator.ai をインストールします

    $ curl https://raw.githubusercontent.com/containers-ai/prophetstor/master/deploy/federatorai-launcher.sh | bash
    
    $ curl https://raw.githubusercontent.com/containers-ai/prophetstor/master/deploy/federatorai-launcher.sh | bash
    ...
    Please enter Federator.ai version tag [default: latest]:
    Please enter the path of Federator.ai directory [default: /opt]:
    
    Downloading v4.5.1-b1562 tgz file ...
    Done
    Do you want to use a private repository URL? [default: n]:
    Do you want to launch the Federator.ai installation script? [default: y]:
    
    Executing install.sh ...
    Checking environment version...
    ...Passed
    Enter the namespace you want to install Federator.ai [default: federatorai]:
    .........
    Downloading Federator.ai alamedascaler sample files ...
    Done
    ========================================
    Which storage type you would like to use? ephemeral or persistent?
    [default: persistent]:
    Specify log storage size [e.g., 2 for 2GB, default: 2]:
    Specify AI engine storage size [e.g., 10 for 10GB, default: 10]:
    Specify InfluxDB storage size [e.g., 100 for 100GB, default: 100]:
    Specify storage class name: managed-nfs-storage
    Do you want to expose dashboard and REST API services for external access? [default: y]:
    
    ----------------------------------------
    install_namespace = federatorai
    storage_type = persistent
    log storage size = 2 GB
    AI engine storage size = 10 GB
    InfluxDB storage size = 100 GB
    storage class name = managed-nfs-storage
    expose service = y
    ----------------------------------------
    Is the above information correct [default: y]:
    Processing...
    
    (snipped)
    .........
    All federatorai pods are ready.
    
    ========================================
    You can now access GUI through https://<YOUR IP>:31012
    Default login credential is admin/admin
    
    Also, you can start to apply alamedascaler CR for the target you would like to monitor.
    Review administration guide for further details. 
    ========================================
    ========================================
    You can now access Federatorai REST API through https://<YOUR IP>:31011
    The default login credential is admin/admin
    The REST API online document can be found in https://<YOUR IP>:31011/apis/v1/swagger/index.html
    ========================================
    
    Install Federator.ai v4.5.1-b1562 successfully
    
    Downloaded YAML files are located under /opt/federatorai/installation
    
    Downloaded files are located under /opt/federatorai/repo/v4.5.1-b1562
    
  3. Federator.ai ポッドが正しく実行されていることを確認します

    $ kubectl get pod -n federatorai
    
  4. Federator.ai GUI にログインします。URL とログイン資格情報は、ステップ 2 の出力で確認できます。

コンフィギュレーション

  1. Datadog に接続して使用するには、Datadog アカウントが必要です。アカウントをお持ちでない場合は、Datadog Web サイトにアクセスして、無料のトライアルアカウントにサインアップしてください。

  2. お使いのアカウントで Datadog にログインし、Datadog API を使用するための API キーとアプリケーションキーを取得します。

  3. クラスターごとのメメトリクスデータソース用に Federator.ai を構成します。

    • Federator.ai GUI を起動->Configuration->Clusters->plus_icon “Add Cluster” をクリック
    • API キーとアプリケーションキーを入力する

    add_cluster_window

  4. 詳細については、Federator.ai - インストールおよびコンフィギュレーションガイドおよびユーザーガイドを参照してください。

収集データ

メトリクス

federatorai.integration.status
(gauge)
integration status for showing Federator.ai health status.
federatorai.recommendation
(gauge)
recommended deployment/statefulset replicas.
federatorai.prediction.kafka
(gauge)
Workload prediction for Kafka metrics.
federatorai.kafka.broker_offset_rate
(gauge)
The delta of kafka.broker_offset timeseries in one minute.
federatorai.kafka.consumer_offset_rate
(gauge)
The delta of kafka.consumer_offset timeseries in one minute.
federatorai.prediction.node
(gauge)
Workload prediction for a Kubernetes node.
federatorai.prediction.node.avg
(gauge)
The average value of workload predictions for a Kubernetes node over a prediction window.
federatorai.prediction.node.min
(gauge)
The minimum value of workload predictions for a Kubernetes node over a prediction window.
federatorai.prediction.node.max
(gauge)
The maximum value of workload predictions for a Kubernetes node over a prediction window.
federatorai.prediction.controller
(gauge)
Workload prediction for a specific controller
federatorai.prediction.controller.avg
(gauge)
The average value of workload predictions for a specific controller over a prediction window.
federatorai.prediction.controller.min
(gauge)
The minimum value of workload predictions for a specific controller over a prediction window.
federatorai.prediction.controller.max
(gauge)
The maximum value of workload predictions for a specific controller over a prediction window.
federatorai.prediction.nginx_ingress_controller_request_rate
(gauge)
Workload prediction of request rate for the upstream service of Nginx ingress
federatorai.resource_planning.node
(gauge)
Workload predictions for resource planning of a Kubernetes node.
federatorai.resource_planning.controller
(gauge)
Workload predictions for resource planning of a Kubernetes controller.
federatorai.recommendation.instance
(gauge)
Cost of a recommended cloud instance.
federatorai.cost_analysis.instance.cost
(gauge)
Cost analysis for a cloud instance.
federatorai.cost_analysis.namespace.cost
(gauge)
Cost analysis for a namespace in a Kubernetes cluster
federatorai.prediction.namespace.cost
(gauge)
Cost prediction for a namespace in a Kubernetes cluster
federatorai.kubernetes.cpu.usage.total.controller
(gauge)
The number of cores (in millicore) used by the Kubernetes controller.
federatorai.kubernetes.memory.usage.controller
(gauge)
The memory usage (in bytes) of the Kubernetes controller.
federatorai.kubernetes.cpu.usage.total.node
(gauge)
The number of cores (in millicore) used by the Kubernetes node.
federatorai.kubernetes.memory.usage.node
(gauge)
The memory usage (in bytes) of the Kubernetes node.

サービスのチェック

Federator.ai には、サービスのチェック機能は含まれません。

イベント

Federator.ai には、イベントは含まれません。

トラブルシューティング

ご不明な点は、ProphetStor Federator.ai ドキュメントをご覧いただくか、Datadog サポートまでお問い合わせください。