Source HTTP/S Server

Ce produit n'est pas pris en charge par le site Datadog que vous avez sélectionné. ().
Disponible pour:

Logs

Présentation

Utilisez la source HTTP/S Server d’Observability Pipelines pour collecter des logs client HTTP.

Vous pouvez également envoyer des logs fournis par AWS avec le Datadog Lambda Forwarder vers Observability Pipelines.

Prérequis

To use Observability Pipelines’ HTTP/S Server source, you need the following information available:

  • The HTTP/S server address, such as 0.0.0.0:9997. The Observability Pipelines Worker listens to this socket address for your HTTP client logs.
  • The HTTP authentication password.

Configuration

Pour la gestion des secrets : Saisissez uniquement les identifiants pour l'adresse du HTTP/S Server et, le cas échéant, le nom d'utilisateur et le mot de passe pour l'autorisation simple (également appelée basique) ainsi que la clé de mot de passe TLS. Ne saisissez pas les valeurs réelles.

Configurez cette source lorsque vous configurez un pipeline. Vous pouvez configurer un pipeline dans l’interface utilisateur, en utilisant l’API ou avec Terraform. Les instructions de cette section concernent la configuration de la source dans l’UI.

Après avoir sélectionné la source HTTP/S Server dans l’interface utilisateur du pipeline :

  1. Saisissez l’identifiant de l’adresse du HTTP/S Server. Si vous le laissez vide, le default est utilisé.
    • Remarque : Saisissez uniquement l’identifiant de l’adresse. Ne saisissez pas l’adresse réelle.
  2. Sélectionnez votre stratégie d’autorisation. Si vous avez sélectionné Plain :
    • Saisissez les identifiants de votre nom d’utilisateur et de votre mot de passe pour le HTTP/S Server. Si vous le laissez vide, le default est utilisé.
  3. (Facultatif) Configurez des jetons d’authentification. Consultez Configurer des jetons d’authentification pour plus de détails.
  4. Sélectionnez le décodeur que vous souhaitez utiliser sur les messages HTTP. Vos logs client HTTP doivent être dans ce format. Remarque : Si vous sélectionnez le décodage bytes, le log brut est stocké dans le champ message.
If you enter secret identifiers and then choose to use environment variables, the environment variable is the identifier entered and prepended with DD_OP_. For example, if you entered PASSWORD_1 for a password identifier, the environment variable for that password is DD_OP_PASSWORD_1.

Paramètres optionnels

Activer TLS

Toggle the switch to Enable TLS.

  • If you are using Secrets Management, enter the identifier for the key pass. See Secret defaults for the default used if the field is left blank.
  • Enter the following certificate and key files:
    • Server Certificate Path: The path to the certificate file that has been signed by your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
    • (Optional) CA Certificate Path: The path to the certificate file that is your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
    • (Optional) Private Key Path: The path to the .key private key file that belongs to your Server Certificate Path in DER, PEM, or CRT (PKCS #8) format.
    • Notes:
      • The configuration data directory /var/lib/observability-pipelines-worker/config/ is automatically appended to the file paths. See Advanced Worker Configurations for more information.
      • The file must be readable by the observability-pipelines-worker group and user.
  • (Optional) Toggle Verify certificate to require connecting clients to present a valid client certificate. This enforces mutual TLS (mTLS), where the Worker verifies the identity of each connecting client.

Configurer les jetons d’authentification

Si vous stockez des jetons en tant qu’identifiants dans l’en-tête d’autorisation de votre requête HTTP, vous pouvez configurer le Worker pour vérifier si les requêtes HTTP entrantes possèdent un jeton valide. Les événements de requête qui ne possèdent pas de jeton valide sont abandonnés. Le Worker peut également rechercher un chemin d’endpoint ou une adresse IP au lieu d’un en-tête.

Remarque : Vous ne pouvez pas configurer de jetons d’authentification avec la stratégie d’autorisation Plain.

To configure authentication tokens, enable the Configure authentication tokens toggle:

  1. Click Manage Tokens and then Add Token.
  2. Enter the identifier for your token key.
    Note: If you are using environment variables, the environment variable for this token is the identifier you entered prepended with DD_OP_.
  3. (Optional) Enter a field and value if you want to add additional information to logs that are successfully authenticated with this specific token.
  4. Select the path to the token in the Path to Token dropdown menu:
    • Header for a custom header or an authorization header, such as "Authorization: Basic ABCDEF1234567=".
      • Optionally, enter the header name. Note: The header name is case insensitive.
    • Address for an IP address.
    • Path for an endpoint path.

Valeurs par défaut des secrets

These are the defaults used for secret identifiers and environment variables.

    • Identifiant de l’adresse du HTTP/S Server :
      • Référence l’adresse de socket, telle que 0.0.0.0:9997, sur laquelle l’Observability Pipelines Worker écoute les logs client HTTP.
      • L’identifiant par défaut est SOURCE_HTTP_SERVER_ADDRESS.
    • Identifiant de la phrase secrète TLS du HTTP/S Server (lorsque TLS est activé) :
      • L’identifiant par défaut est SOURCE_HTTP_SERVER_KEY_PASS.
    • Si vous utilisez une authentification simple :
      • Identifiant du nom d’utilisateur du HTTP/S Server :
        • L’identifiant par défaut est SOURCE_HTTP_SERVER_USERNAME.
      • Identifiant du mot de passe du HTTP/S Server :
        • L’identifiant par défaut est SOURCE_HTTP_SERVER_PASSWORD.
    • HTTP/S server address:
      • The Observability Pipelines Worker listens to this socket address, such as 0.0.0.0:9997, for your HTTP client logs.
      • The default environment variable is DD_OP_SOURCE_HTTP_SERVER_ADDRESS.
    • If you are using plain authentication:
      • HTTP/S endpoint authentication username.
        • The default environment variable is DD_OP_SOURCE_HTTP_SERVER_USERNAME.
      • HTTP/S endpoint authentication password.
        • The default environment variable is DD_OP_SOURCE_HTTP_SERVER_PASSWORD.

    Envoyez les logs fournis par AWS avec le Datadog Lambda Forwarder vers Observability Pipelines

    Pour envoyer des logs fournis par AWS vers Observability Pipelines avec la source HTTP/S Server :

    Note : ceci est disponible pour les versions de Worker 2.15 ou ultérieures.

    Configurez un pipeline

    1. Navigate to Observability Pipelines.
    2. Select the HTTP Server source:
      1. Select None in the dropdown menu for Authorization strategy.
      2. Select JSON in the dropdown menu for Decoding.
    3. After you set up your destinations and processors, click Next: Install.
    4. On the Install page, enter the HTTP/S Server listener address, such as 0.0.0.0:9997.
    5. Follow the rest of the instructions on the page to install the Worker based on your platform.

    Déployez le Datadog Lambda Forwarder

    Follow the Datadog Forwarder CloudFormation installation instructions to deploy the Datadog Forwarder. After you have filled in DdApiKey and selected the appropriate DdSite, go to the Log Forwarding (Optional) section. Enter the following information in that section to configure the Forwarder for sending logs to Observability Pipelines:

    1. In the DdUrl field, enter the DNS or IP address of the load balancer or your VM. Note: Datadog recommends fronting your Worker with a load balancer.
    2. Enter the port in the DdPort field, such as 9997.
    3. If you want to encrypt traffic from the Datadog Forwarder to your Observability Pipelines Worker load balancer, you need to create an HTTPS listener and manage a certificate on your load balancer. Consult your cloud provider’s documentation. For example in AWS, see Create an HTTPS listener for your Application Load Balancer for more information.
    4. If you do not need to maintain encryption between the Datadog Forwarder and load balancer, select true in the DdNoSsl dropdown menu.
    5. Click Create stack, and wait for the creation to complete.
    6. You can find the installed forwarder Lambda function under the stack’s Resources tab with the logical ID Forwarder.
    7. Set up triggers for the installed Datadog Forwarder.