Gestionar el ciclo de vida de su recopilador de logs

Descripción general

La solución de gestión del ciclo de vida del recopilador de logs de New Relic permite la gestión de su infraestructura de recopilación de logs en diversos entornos. Con esta solución, puede configurar y monitorear el ciclo de vida de su recopilador de logs.

Ahora tiene la capacidad de gestionar todo el ciclo de vida de su recolector de logs. Esto incluye monitorear su salud y configurar o implementar cambios según sea necesario.

Esta solución es útil para equipos DevOps , administradores de sistemas y gerentes de operaciones de TI que requieren visibilidad sobre su infraestructura de recopilación de logs. Tiene acceso a herramientas que mejoran sus capacidades de observabilidad y mantienen el rendimiento tanto en entornos en contenedores como en locales.

Soluciones para diversas necesidades

• Monitoreo del estado del recopilador de logs: la de la Fluent Bit entidad UI proporciona capacidades de monitoreo para el recopilador de logs.

• resolución de problemas: Puede solucionar problemas y corregir problemas de configuración con su recopilador de logs empleando la Fluent Bit de entidad UI, que ayuda a identificar y resolver problemas.

• Configuración e implementación remota: con New Relic Control, puede gestionar de forma centralizada la configuración Fluent Bit , actualizarla e implementar cambios de forma remota.

  

Gestiona tu recopilador Fluent Bit para el clúster de Kubernetes

La solución de gestión del ciclo de vida del recopilador de logs actualmente brinda soporte para entornos Kubernetes . Le permite:

• Recopila y procesa logs de todas tus aplicaciones en contenedores.
• Agregue metadatos relacionados con Kubernetes a sus logs.
• Emplee el diseño liviano de Fluent Bit para procesar grandes volúmenes de datos sin consumir muchos recursos.

Requisitos previos

Antes de instalar y configurar Fluent Bit para logging con New Relic, cerciorar de tener los siguientes requisitos previos:

• Acceso a un clúster de Kubernetes
• Las herramientas y licencias necesarias para la instalación y configuración
• Configuración de red y políticas de seguridad para permitir la comunicación con New Relic extremo
• Una cuenta de New Relic

Para obtener más información sobre estos requisitos, consulte Reenviar sus logs a New Relic.
Para obtener información sobre la configuración de New Relic Control, consulte Primeros pasos con New Relic Control.

Configuración

Para instalar el agente Fluent Bit en el clúster de Kubernetes:

• Instalar la integración de New Relic Kubernetes. Esta integración incluye el complemento Kubernetes para logs.
• Emplee las opciones de configuración disponibles en el repositorio de newrelic-logging durante la instalación guiada.

Para obtener más información, consulte Habilitar Kubernetes para la administración de logs.

Instale Fluent Bit con control de flota

Si está comenzando con control de flota, primero configurará su configuración de Agent Control. Este proceso incluye la instalación del agente Fluent Bit y otros componentes esenciales.

Para usar Fluent Bit con Agent Control, habilite el reenvío de logs como parte de la instalación de Agent Control, como se muestra en la configuración de muestra:

global:
cluster: "YOUR_CLUSTER_NAME"
licenseKey: "YOUR_LICENSE_KEY"
userKey: "YOUR_USER_KEY"

# Values related to the agent control's Helm chart release.
# `https://github.com/newrelic/helm-charts/blob/master/charts/agent-control/values.yaml`
agent-control-deployment:
  identityClientId: ""
  identityClientSecret: ""
  config:
      fleet_control:
      # Optional: Specify a fleet_id (entity guid) to automatically connect to an existing fleet.
      fleet_id: ""
      auth:
          # New Relic organization ID where agent will connect to.
          organizationId: "YOUR_ORGANIZATION_ID"
      
      # List of managed agents that will be deployed. The key represents the name of the agent and the value holds the configuration.
  subAgents:
    infrastructure:
      type: newrelic/com.newrelic.infrastructure:0.1.0
      content:
        # Ref: `https://github.com/newrelic/helm-charts/tree/master/charts/nri-bundle`
        # Recommended: check and define an explicit chart version (latest stable)
        chart_version: "*"   
        # chart_values:
        #   newrelic-infrastructure:
        #   enableProcessMetrics: true
    logs:
        type: newrelic/io.fluentbit:0.1.0
        content:
        # Ref: `https://github.com/newrelic/helm-charts/tree/master/charts/newrelic-logging`
        # Recommended: check and define an explicit chart version (latest stable)
        chart_version: "*"
        chart_values:
            newrelic-logging:
              sendMetrics: true
  agent-operator:
    type: com.newrelic.k8s_agent_operator:0.1.0
    content:
      chart_version: "*"

Recuerde descomentar la configuración necesaria y reemplazar el marcador de posición como YOUR_CLUSTER_NAME y YOUR_LICENSE_KEY con sus valores reales.

Gestionar y desplegar la configuración a través de control de flota

Para agregar una configuración nueva o editar una existente Fluent Bit , use control de flota. Las tareas de alto nivel para gestionar e implementar una configuración son:

Crear una configuración

Para crear una configuración de Fluent Bit, siga estos pasos:

1. En New Relic, ve a Todas las capacidades, busca New Relic Control y fíjalo a un costado.
2. En New Relic Control, abra configuración.
3. Haga clic en Create configuration.
4. Para crear una configuración desde cero, haga clic en New en el menú desplegable. Si tiene una configuración de Fluent Bit existente y desea aprovecharla, clónela haciendo clic en Clone.
5. En el cuadro de diálogo Crear configuración, cerciorar de que Kubernetes esté seleccionado como entorno, seleccione Fluent Bit como tipo de agente e ingrese un nombre para la configuración. Luego haga clic en Continue.
6. En la columna de configuración, copie la plantilla de configuración y luego personalícela según sus requisitos. Para obtener más detalles, consulte los parámetros admitidos.
7. Almacene sus cambios. Su configuración se agregará a la lista de configuraciones en la página de configuración.
8. Para editar su configuración, seleccione los tres puntos (…) junto a ella, haga clic en Editar configuración y realice los cambios. Luego haga clic en Almacenar.

Crear un despliegue

1. En New Relic Control, abre Fleets.
2. Seleccione la flota para la que desea crear una configuración de Fluent Bit.
3. Haga clic en Create a deployment.
4. En la página Nueva implementación, ingrese un nombre y una descripción de la implementación y luego haga clic en Add a configuration.
5. Seleccione Fluent Bit como tipo de agente, seleccione la configuración que desea implementar y luego haga clic en Next.
6. Seleccione la versión de configuración.

7. Haga clic en Add to deployment.

8. Haga clic en Start deployment.

Ver flota

En Flotas, seleccione la flota específica con la que desea trabajar. Esto abre la página de detalles de la flota. La pestaña Resumen muestra las entidades que forman parte de tu flota. Para ver los detalles del agente o despliegue, emplee la pestaña agente o despliegue.

Monitorea la salud y el rendimiento de tu recolector de logs

El monitoreo efectivo del rendimiento del agente Fluent Bit es crucial para la administración de logs y la optimización dentro de sus entornos Kubernetes . Al rastrear claves métricas, puede identificar problemas potenciales y facilitar la resolución de problemas.

Clave de rendimiento métrica a seguir

• Tasa de rendimiento del log: mide la eficiencia del flujo de log y resalta cualquier interrupción. Incluye una evaluación general del rendimiento, que se desglosa por complementos de entrada y salida para mostrar el flujo de registros y bytes procesados.
• Utilización del búfer de memoria: ayuda a identificar las restricciones de recursos que afectan el procesamiento del log. Incluye el uso del buffer, la instancia de desbordamientos, la longitud de la cola y la utilización general del proceso y de la memoria del contenedor.
• Contenedor de eventos y bucles de retroceso: alertas sobre condiciones anormales o fallas en el pod de log, incluidos errores, registros descartados y reintentos. Esta información valiosa ayuda a identificar y abordar problemas que puedan interrumpir el procesamiento del log.

Puede monitorear la salud y el rendimiento de su Fluent Bit agente en el Fluent Bit de entidad dashboard. Aquí te explicamos cómo puedes acceder:

Vía integración y agente

1. Abra la pestaña Installed . Verá la lista de agentes e integraciones actualmente instalados.
2. Emplee el campo de entidad de búsqueda o el filtro Tipo para limitar la lista al agente Fluent Bit .
3. Seleccione el agente que desea verificar.

Vía toda la entidad

1. Encuentre el agente que desea monitorear en el grupo Fluent Bit - Kubernetes.
2. Seleccione el agente.

Vía Fleet

1. En New Relic Control, abre Fleets.
2. Identificar y seleccionar la flota que cuenta con la instrumentación Fluent Bit.
3. En la pestaña de agente, seleccione el agente Fluent Bit .

Ejemplo de caso de uso: Eficiencia del flujo de logs

Imagine que los logs de su clúster de Kubernetes no llegan a New Relic al ritmo habitual. El flujo de log típico puede ser de alrededor de 150.000 logs por minuto, pero las observaciones actuales sugieren una caída notable. A continuación se explica cómo puede abordar esta situación, aprovechando las herramientas de monitoreo New Relic Control y Fluent Bit para diagnosticar y resolver el problema.

Paso 1: Monitorear el rendimiento del log

Comience por comprobar la velocidad a la que se reenvían los logs. Las discrepancias pueden indicar interrupciones en el proceso de reenvío de logs.

Paso 2: Analizar contenedor métrica y evento

Acceda a la descripción general Kubernetes para identificar cualquier evento anormal o resetear en el pod de log. Los reinicios frecuentes o los eventos de advertencia, como las interrupciones del bucle de bloqueo, pueden interrumpir el flujo de logs e indicar problemas subyacentes.

Paso 3: Verificar el uso de la memoria

Examina el consumo de memoria de tu agente Fluent Bit . Un uso alto o errático de la memoria puede indicar errores de configuración o limitaciones de recursos que deben abordar.

Paso 4: Emplee control de flota para resolver problemas

Emplee control de flota para revisar los cambios de configuración recientes. Identificar y corregir cualquier configuración errónea, como límites de memoria incorrectos, puede resolver el cuello de botella y mejorar el rendimiento del log.

Paso 5: Volver a implementar y verificar

Luego de realizar los ajustes de configuración necesarios en control de flota, inicie un nuevo despliegue para aplicar los cambios. Emplee la vista de entidad Fluent Bit para monitorear el tiempo real métrica y observar el impacto de la nueva configuración. Busque una recuperación en el rendimiento del log y estabilidad en el uso de la memoria, lo que indica que los problemas se resolvieron.

Actualice su agente Fluent Bit

Actualice su agente Fluent Bit periódicamente para aprovechar las últimas características, mejoras de rendimiento y parches de seguridad. Podrás aprender directamente desde la New Relic UI cuando haya una versión más nueva disponible.

Antes de actualizar, cerciorar de tener una copia de seguridad de su configuración actual. Revise las notas de la versión o la documentación para comprender las nuevas características o cambios.

Pasos para comprobar si estás actualizado

1. En su cuenta New Relic , haga clic en Integrations & Agents y luego abra la pestaña Installed .
   Verá la lista de agentes e integraciones actualmente instalados.
2. Emplee el campo de entidad de búsqueda o el filtro Tipo para limitar la lista al agente Fluent Bit .
3. Identifique el agente que requiere una actualización.
4. Haga clic en Update from vx.y.x to X.Y.Z.
5. En el panel lateral que se desliza, haga clic en Ver notas de la versión.
6. En la página de notas de la versión de Fluent Bit, tenga en cuenta la última versión del gráfico Helm.
7. De regreso en New Relic, cierre el panel lateral y haga clic en la flota que contiene al agente. Abre el resumen de la flota en New Relic Control.
8. Seleccione la configuración Fluent Bit.
9. Actualice la versión del gráfico en el archivo de configuración según la versión del gráfico que anotó anteriormente y almacene los cambios.
10. Desplegar la configuración.

Luego de la actualización, verifique la recopilación y el procesamiento de logs para confirmar que el agente funciona como se espera. Emplee las herramientas de monitoreo de New Relic para verificar que todo esté funcionando.