Présentation

Utilisez la destination Microsoft Sentinel d’Observability Pipelines pour envoyer des logs à Microsoft Sentinel. Consultez API d’ingestion de logs pour connaître les limites d’appel d’API dans Microsoft Sentinel.

Prérequis

Pour configurer la destination Microsoft Sentinel, vous devez créer un espace de travail dans Azure si ce n’est pas déjà fait. Dans cet espace de travail :

1. Ajouter Microsoft Sentinel à l’espace de travail.
2. Créer un endpoint de collecte de données (DCE).
3. Créer un espace de travail Log Analytics dans l’espace de travail si ce n’est pas déjà fait.
4. Suivez les instructions correspondant au type de tableau vers lequel vous souhaitez envoyer des données.
   1. Créez un fichier JSON pour les paramètres de votre règle de collecte de données (DCR). Consultez Règle de collecte de données (DCR) pour plus d’informations et Tableaux Azure pris en charge pour connaître tous les tableaux disponibles vers lesquels vous pouvez envoyer des données.

      • Dans la propriété streamDeclarations, vous devez lister tous les champs de log que vous souhaitez mapper à la colonne du tableau Azure correspondante. Consultez Déclarations de flux pour plus d’informations.

      • Dans la propriété transformKql, vous devez lister tous les champs du log qui sont supprimés et non mappés au tableau. Consultez Propriétés du flux de données pour plus d’informations.

      • Remarque : Chaque champ de log doit être listé dans l’une de ces propriétés : soit streamDeclarations, soit transformKql ; sinon, le log est supprimé. Consultez Surveiller la collecte de données DCR dans Azure Monitor pour savoir comment configurer une alerte lorsque des logs sont supprimés.

      • Par exemple, ce fichier JSON (dcr-commonsecuritylog.json) ajoute les champs de log à mapper au tableau CommonSecurityLog :

        {
            "location": "eastus",
            "kind": "Direct",
            "properties": {
            "dataCollectionEndpointId": "<DCE_RESOURCE_ID>",
            "streamDeclarations": {
                "Custom-CommonSecurityLog": {
                "columns": [
                    { "name": "TimeGenerated",      "type": "datetime" },
                    { "name": "DeviceVendor",       "type": "string"   },
                    { "name": "DeviceProduct",      "type": "string"   },
                    { "name": "DeviceVersion",      "type": "string"   },
                    { "name": "DeviceEventClassID", "type": "string"   },
                    { "name": "Activity",           "type": "string"   },
                    { "name": "LogSeverity",        "type": "string"   },
                    { "name": "SourceIP",           "type": "string"   },
                    { "name": "DestinationIP",      "type": "string"   },
                    { "name": "Message",            "type": "string"   },
                    { "name": "source_type",        "type": "string"   },
                    { "name": "path",               "type": "string"   },
                    { "name": "timestamp",          "type": "string"   }
                ]
                }
            },
            "destinations": {
                "logAnalytics": [
                {
                    "workspaceResourceId": "<WORKSPACE_RESOURCE_ID>",
                    "name": "LogAnalyticsDest"
                }
                ]
            },
            "dataFlows": [
                {
                "streams":      ["Custom-CommonSecurityLog"],
                "destinations": ["LogAnalyticsDest"],
                "transformKql": "source | project-away source_type, path, timestamp",
                "outputStream": "Microsoft-CommonSecurityLog"
                }
            ]
            }
            ```
        

      • Replace the placeholders:

        • <DCE_RESOURCE_ID> with the ID of the DCE resource you created in step 2. Run the az monitor data-collection endpoint show command to get the DCE resource ID. For example:

          az monitor data-collection endpoint show \
          --name "<DCE_NAME>" \
          --resource-group <RESOURCE_GROUP> \
          --subscription <SUBSCRIPTION_ID> \
          --query "id"
          

        • <WORKSPACE_RESOURCE_ID> with the ID of the Logs Analytics Workspace you created in step 3. Run the az monitor log-analytics workspace show command to get the Workspace resource ID. For example:

          az monitor log-analytics workspace show \
          --workspace-name "<DCE_NAME>" \
          --resource-group <RESOURCE_GROUP> \
          --subscription <SUBSCRIPTION_ID> \
          --query "id"
          

      • See CommonSecurityLog Columns for a full list of commonsecuritylog table columns.

   2. Exécutez la commande az monitor data-collection rule create Azure CLI pour créer une DCR avec le fichier JSON que vous avez créé à l’étape précédente. Par exemple, avec le fichier d’exemple dcr-commonsecuritylog.json :

      az monitor data-collection rule create \
          --resource-group "myResourceGroup" \
          --location "eastus" \
          --name "myCollectionRule" \
          --subscription "mysubscription" \
          --rule-file "\path\to\json\dcr-commonsecuritylog.json"
      

   1. Dans l’espace de travail Log Analytics, accédez à Settings > Tables.
   2. Cliquez sur + Créer.
   3. Définissez un tableau personnalisé (par exemple, MyOPWLogs).
      • Remarques :
        - Une fois le tableau configuré, le préfixe Custom- et le suffixe _CL sont automatiquement ajoutés au nom du tableau. Par exemple, si vous avez défini le nom du tableau dans Azure comme étant MyOPWLogs, le nom complet du tableau est stocké sous la forme Custom-MyOPWLogs_CL. Vous devez utiliser le nom complet du tableau lorsque vous configurez la destination Microsoft Sentinel des Observability Pipelines.
        - Le nom complet du tableau se trouve dans le JSON de ressource de la DCR sous streamDeclarations.
   4. Sélectionnez Nouveau log personnalisé (basé sur DCR).
   5. Cliquez sur Créer une nouvelle règle de collecte de données et sélectionnez la DCE que vous avez créée précédemment.
   6. Cliquez sur Next.
   7. Téléchargez un exemple de log JSON. Pour cet exemple, le JSON suivant est utilisé pour le Schéma et Transformation, où TimeGenerated est requis :

      {
          "TimeGenerated": "2024-07-22T11:47:51Z",
          "event": {}
      }
      

   8. Cliquez sur Créer.
5. Dans Azure, accédez à Microsoft Entra ID.
   1. Cliquez sur Ajouter > Inscription d’application.
   2. Cliquez sur Créer.
   3. Sur la page de présentation, cliquez sur Informations d’identification du client : Ajouter un certificat ou un secret.
   4. Cliquez sur Nouveau secret client.
   5. Entrez un nom pour le secret et cliquez sur Ajouter. Remarque : Assurez-vous de noter le secret client, qui est masqué après 10 minutes.
   6. Notez également l’ID de locataire et l’ID client. Vous avez besoin de ces informations, ainsi que du secret client, lorsque vous configurez la destination Microsoft Sentinel pour Observability Pipelines.
6. Dans la page Règles de collecte de données du portail Azure, recherchez et sélectionnez la DCR que vous avez créée précédemment.
   1. Cliquez sur Access Control (IAM) dans la navigation de gauche.
   2. Cliquez sur Ajouter et sélectionnez Ajouter une attribution de rôle.
   3. Ajoutez le rôle Éditeur de métriques de surveillance.
   4. Sur la page Membres, sélectionnez Utilisateur, groupe ou principal de service.
   5. Cliquez sur Sélectionner des membres et recherchez l’application que vous avez créée lors de l’étape d’enregistrement de l’application.
   6. Cliquez sur Vérifier + attribuer. Remarque : Il peut s’écouler jusqu’à 10 minutes avant que la modification IAM ne prenne effet.

Le tableau ci-dessous résume les informations Azure et Microsoft Sentinel dont vous avez besoin lorsque vous configurez la destination Microsoft Sentinel pour Observability Pipelines :

Configuration

Configurez la destination Microsoft Sentinel lorsque vous configurez un pipeline. Vous pouvez configurer un pipeline dans l’UI, en utilisant l’API, ou avec Terraform. Les étapes de cette section sont configurées dans l’interface utilisateur.

Après avoir sélectionné la destination Microsoft Sentinel dans l’interface utilisateur du pipeline :

1. Saisissez l’identifiant de votre secret client Microsoft Sentinel. Si vous le laissez vide, le default est utilisé.
2. Saisissez l’identifiant de votre endpoint de collecte de données Microsoft Sentinel. Si vous le laissez vide, le default est utilisé.
3. Saisissez l’ID client de votre application, tel que 550e8400-e29b-41d4-a716-446655440000.
4. Saisissez l’ID de répertoire de votre locataire, tel que 72f988bf-86f1-41af-91ab-2d7cd011db47. Il s’agit de l’ID de locataire Azure AD.
5. Saisissez le nom complet du tableau vers lequel vous envoyez les logs. Un exemple de nom de tableau : Custom-MyOPWLogs_CL.
6. Saisissez l’ID immuable de la règle de collecte de données (DCR), tel que dcr-000a00a000a00000a000000aa000a0aa.

Mise en tampon facultative

Toggle the switch to enable Buffering Options. Enable a configurable buffer on your destination to ensure intermittent latency or an outage at the destination doesn’t create immediate backpressure, and allow events to continue to be ingested from your source. Disk buffers can also increase pipeline durability by writing data to disk, ensuring buffered data persists through a Worker restart. See Destination buffers for more information.

• If left unconfigured, your destination uses a memory buffer with a capacity of 500 events.
• To configure a buffer on your destination:
  1. Select the buffer type you want to set (Memory or Disk).
  2. Enter the buffer size and select the unit.
     1. Maximum memory buffer size is 128 GB.
     2. Maximum disk buffer size is 5 TB.
        • Note: For Worker versions 2.20.x and older, the maximum disk buffer size is 500 GB.
  3. In the Behavior on full buffer dropdown menu, select whether you want to block events or drop new events when the buffer is full.

Valeurs par défaut des secrets

These are the defaults used for secret identifiers and environment variables.

Comment fonctionne la destination

Traitement par lots d’événements

Un lot d’événements est vidé lorsque l’un de ces paramètres est atteint. Consultez Regroupement d’événements par destination pour plus d’informations.