Índices

Documentación > Log Management > Configuración de log > Índices

Los índices de registros brindan un control preciso sobre su presupuesto de Log Management al permitirle segmentar los datos en grupos de valor para diferentes retenciones, cuotas, seguimiento de uso y facturación. Los índices se encuentran en la página de configuración en la sección Índices. Haga doble clic en ellos o haga clic en el botón edit para ver más información sobre la cantidad de registros que se indexaron en los últimos 3 días, así como el período de retención para esos registros:

Puede usar logs indexados para búsquedas por facetas, patrones, análisis y hacer un seguimiento.

Múltiples índices

De forma predeterminada, cada cuenta nueva obtiene un único índice que representa un conjunto monolítico de todos sus registros. Datadog recomienda usar múltiples índices si necesita:

Múltiples períodos de retención
Múltiples cuotas diarias, para un control de presupuesto más preciso.

El Log Explorer admite consultas en múltiples índices.

Agregar índices

Use el botón New Index para crear un nuevo índice. Existe un número máximo de índices que puede crear para cada cuenta, establecido en 100 de forma predeterminada.

Nota: Los nombres de índice deben comenzar con una letra y solo pueden contener letras minúsculas, números o el carácter ‘-’.

Comuníquese con el soporte de Datadog si necesita aumentar el número máximo de índices para su cuenta.

Eliminar índices

Para eliminar un índice de su organización, use el icono Delete en la bandeja de acciones del índice. Solo los usuarios con el permiso Logs delete data pueden usar esta opción.

No puede volver a crear un índice con el mismo nombre que el eliminado.

Nota: El índice eliminado ya no aceptará nuevos registros entrantes. Los registros en el índice eliminado ya no están disponibles para realizar consultas. Después de que todos los registros hayan caducado de acuerdo con el período de retención aplicable, el índice ya no aparecerá en la página de Índices.

Filtros de índices

Los filtros de índice permiten un control dinámico sobre qué registros fluyen hacia qué índices. Por ejemplo, si crea un primer índice filtrado por el atributo status:notice, un segundo índice filtrado por el atributo status:error y uno final sin ningún filtro (el equivalente a *), todos sus registros status:notice irían al primer índice, todos sus registros status:error al segundo índice y el resto iría al final.

Nota: Los registros ingresan al primer índice cuyo filtro coincida, utilice arrastrar y soltar en la lista de índices para reordenarlos según su caso de uso.

Filtros de exclusión

De forma predeterminada, los índices de registros no tienen filtro de exclusión: es decir, todos los registros que coinciden con el Filtro de índice se indexan.

Pero debido a que no todos sus registros son igual de valiosos, los filtros de exclusión controlan qué registros que fluyen hacia su índice deben eliminarse. Los registros excluidos se descartan de los índices, pero aún fluyen a través de Livetail y pueden usarse para generar métricas y archivarse.

Para agregar un filtro de exclusión:

Navegue a Log Indexes.
Expanda el índice para el cual desea agregar un filtro de exclusión.
Haga clic en Add an Exclusion Filter.

Los filtros de exclusión se definen mediante una consulta, una regla de muestreo y un interruptor de activo/inactivo:

La consulta predeterminada es *, lo que significa que todos los registros que fluyen en el índice serían excluidos. Reduzca el alcance del filtro de exclusión a solo un subconjunto de registros con una consulta de registro.
La regla de muestreo predeterminada es Exclude 100% of logs coincidente con la consulta. Adapte la tasa de muestreo del 0% al 100% y decida si la tasa de muestreo se aplica a registros individuales o a un grupo de registros definidos por los valores únicos de cualquier atributo.
- Si la tasa de muestreo se aplica a registros individuales, el muestreo se realiza según la existencia de ID de traza en los registros, si están presentes. En este escenario, los registros muestreados tienen una mayor probabilidad de correlacionarse con trazas muestreadas, para promover datos de telemetría unificados.
- Si se elige el valor único de un ID de traza para el muestreo, el comportamiento es el mismo que en los registros individuales.
El interruptor predeterminado está activo, lo que significa que los registros que fluyen en el índice se descartan realmente de acuerdo con la configuración del filtro de exclusión. Cambie esto a inactivo para ignorar este filtro de exclusión para los nuevos registros que fluyen en el índice.

Nota: Los filtros de índice para registros solo se procesan con el primer filtro de exclusión activo que coincida. Si un registro coincide con un filtro de exclusión (incluso si el registro no se descarta mediante muestreo), ignora todos los filtros de exclusión siguientes en la secuencia.

Use arrastrar y soltar en la lista de filtros de exclusión para reordenarlos según su caso de uso.

Ejemplos

Switch off, switch on

Es posible que no necesite sus registros de DEBUG hasta que realmente los requiera cuando su plataforma sufra un incidente, o desee observar cuidadosamente la implementación de una versión crítica de su aplicación. Configure un filtro de exclusión del 100% en el status:DEBUG, y actívelo y desactívelo desde la interfaz de usuario de Datadog o a través de la API cuando sea necesario.

Esté atento a las tendencias

¿Qué sucede si no desea conservar todos los registros de las solicitudes de su servidor de acceso web? Podría optar por indexar todos los registros 3xx, 4xx y 5xx, pero excluir el 95% de los registros 2xx: source:nginx AND http.status_code:[200 TO 299] para hacer un seguimiento de las tendencias. Consejo: Transforme los registros de acceso web en KPI significativos con una métrica generada a partir de sus registros, contando el número de solicitudes y etiquetadas por código de estado, navegador y país.

Muestreo consistente con entidades de nivel superior

Tiene millones de usuarios conectándose a su sitio web todos los días. Y aunque no necesita observabilidad de cada usuario, aún desea mantener el panorama completo para algunos. Configure un filtro de exclusión que se aplique a todos los registros de producción (env:production) y excluya los registros del 90% de los @user.email:

Puede usar APM junto con Logs, gracias a la inyección de ID de traza en los registros. En cuanto a los usuarios, no necesita conservar todos sus registros, pero asegurarse de que los registros siempre brinden el panorama completo de una traza es fundamental para la resolución de problemas. Configure un filtro de exclusión aplicado a los registros de su servicio instrumentado (service:my_python_app) y excluya los registros del 50% de los Trace ID; asegúrese de usar el remapeador de ID de traza en sus canalizaciones.

Para garantizar la consistencia del muestreo en múltiples índices:

Cree una regla de exclusión en cada índice.
Use la misma tasa de muestreo y el mismo atributo que define la entidad de nivel superior para todas las reglas de exclusión.
Verifique dos veces las reglas de exclusión, los filtros y el orden respectivo (los registros solo pasan por la primera regla de exclusión que coincida).

En el siguiente ejemplo:

En general, todos los registros con un request_id específico se conservan o se excluyen (con un 50% de probabilidad).
Los registros con una etiqueta threat:true o compliance:true se conservan independientemente del request_id.
DEBUG los registros se indexan de forma coherente con la regla de muestreo request_id, a menos que el filtro de exclusión de registros de depuración esté habilitado, en cuyo caso se muestrean.
Se conserva el 50% de los 2XX registros de acceso web con un request_id real. Todos los demás 2XX registros de acceso web se muestrean según la regla del filtro de exclusión del 90%.

Actualizar retención de registros

La configuración de retención del índice determina cuánto tiempo se almacenan los registros y cuánto tiempo se pueden buscar en Datadog. Puede establecer la retención en cualquier valor permitido en la configuración de su cuenta.

Para habilitar la adición de retenciones adicionales que no se encuentren en su contrato actual, comuníquese con el equipo de Customer Success en: success@datadoghq.com. Una vez habilitadas las retenciones adicionales, debe actualizar los periodos de retención de sus índices.

Nota: Para utilizar retenciones que no se encuentren en su contrato actual, la opción debe ser habilitada por un administrador en la configuración de su organización.

Establecer cuota diaria

Puede establecer una cuota diaria para limitar estrictamente la cantidad de registros que se almacenan en un índice por día. Esta cuota se aplica a todos los registros que deberían haberse almacenado (por ejemplo, después de aplicar los filtros de exclusión). Una vez alcanzada la cuota diaria, los registros ya no se indexan, pero siguen estando disponibles en livetail, enviados a sus archivos y utilizados para generar métricas a partir de registros.

Puede configurar o eliminar esta cuota en cualquier momento al editar el índice:

Establecer una cuota diaria en millones de registros
(Opcional) Establecer una hora de restablecimiento personalizada; de forma predeterminada, las cuotas diarias de los índices se restablecen automáticamente a las 2:00pm UTC
(Opcional) Establecer un umbral de advertencia como porcentaje de la cuota diaria (mínimo 50%)

Nota: Los cambios en las cuotas diarias y los umbrales de advertencia entran en vigor de inmediato.