Logs en el contexto APM

Hay varias formas de informar sus registros a New Relic. Usar nuestro agente APM es una forma popular, especialmente para equipos más pequeños y equipos DevOps que valoran el beneficio de no tener que usar ninguna otra administración de logsherramienta.

Logs en el contexto APM

Nuestro APMagente tiene una característica llamada logs in context. Para obtener más información sobre los beneficios de esta característica, consulte logs en el contexto.

Para el agente APM, nuestra característica de logs en el contexto hace algunas cosas:

• Decora el registro de tu aplicación con New Relic metadatos importantes (como span.id, trace.id, hostname, entity.guid, entity.name) que te permiten ver tus log datos en varias New Relic UI experiencias .
• Reenvía su registro directamente a New Relic, por lo que no necesita ninguna herramienta de terceros.
• Reporta algo de log métrica. Estos se muestran en el Logs gráfico de la APM Summary UI página .

Nuestras versiones actuales de agente APM tienen estas características habilitadas de forma predeterminada.

Tienes control sobre todos los aspectos de esta característica a través de la configuración del agente APM. Por motivos por los que quizás desee desactivar uno o más de estos, consulte Limitaciones. Por ejemplo, si desea que un agente APM agregue metadatos New Relic , puede usar la característica de decoración log , mientras que al mismo tiempo deshabilita el reenvío de registros y en su lugar usa otro agente de registro (por ejemplo, nuestro agente de infraestructura, o un agente de registro externo).

Los detalles de implementación y las instrucciones de configuración varían según el agente (consulte los detalles del agente).

Para obtener más información sobre el poder del logs en el contexto, consulte este caso de uso de ejemplo. El ejemplo describe cómo un equipo de ingeniería utilizó el logs en el contexto para solucionar el bajo tiempo de respuesta de su aplicación y la creciente tasa de errores.

Para ver cómo el logs en el contexto puede ayudarle a encontrar la causa raíz de un problema en sus aplicaciones y hosts, mire este breve vídeo (aprox. 3:40 minutos):

Empezar

Para configurar el inicio de APMlogs en el contexto:

1. Si aún no tiene una, cree una cuenta New Relic. Es gratis, para siempre.
2. Instale un agente APM y asegúrese de tener la última versión del agente APM.
3. Las versiones más recientes de nuestro agente APM tienen el logs en el contexto (adición de metadatos y reenvío) habilitado de forma predeterminada. Es posible que en ocasiones tengas que realizar algunas actualizaciones en el archivo de configuración del agente para que el registro funcione correctamente. Para obtener detalles sobre esto, consulte Habilitar el registro para su agente.

¡Eso es todo! Inicie la resolución de problemas de su aplicación con el logs en el contexto de APM yendo a la APM UI y buscando los log datos asociados.

API del agente APM

Si su framework de registro no está disponible con nuestras soluciones de logs en el contexto existentes, puede configurar su biblioteca de registro utilizando llamada API para anotar su registro.

Configuración log del agente APM

Nuestro último APMagente tiene el logs en el contexto (decoración log y reenvío de registros) habilitado de forma predeterminada. Aquí hay información sobre el agente APM que admite el logs en el contexto y el reenvío de registros:

• Los procedimientos de logs en el contexto Go para el agente v3.17.0 o superior
• Los procedimientos de logs en el contexto de Java para agente v7.6.0 o superior
• Los procedimientos de logs en el contexto .NET para agente v9.8.0 o superior
• Procedimientos de logs en el contexto de Node.js para agente v8.11.0 o superior
• Procedimientos de logs en el contexto PHP para agente v10.1.0 o superior
• Procedimientos de logs en el contexto de Python para agente v7.12.0.176
• Los procedimientos de logs en el contexto Ruby para agente v8.6.0 o superior

Si no puede o no quiere utilizar el reenvío de logs de APM , puede reenviar su logutilizando otra solución.

Limitaciones

Las características de logs en el contexto APM están habilitadas de forma predeterminada. Esto puede tener un impacto negativo en su seguridad, cumplimiento, facturación o rendimiento del sistema.

A continuación se muestran algunas limitaciones conocidas adicionales:

• Con la excepción del agente Node.js, el APMreenvío de registros no envía el log completo. Conozca los detalles del reenvío de registros.
• El registro de inicio no está disponible hasta que se carga el agente.
• Si está utilizando Kubernetes, tenga en cuenta que decoramos el registro mediante instrumentación, no desde la Kubernetes API. Esto es independiente y aparte del cierre de sesión de escritura en el sistema de archivos. El registro nunca toca el host ni existe en un lugar donde se pueda llamar a la API .
• Cuando se lanza una excepción desde su aplicación, actualmente no verá el rastreo del stack en el logs en el contexto asociado para Java o .NET agente. Como solución alternativa, puede cambiar las reglas del filtro de caída.
• Fluentd puede agregar el processID de la entidad que generó el log, pero el registro APM no puede verlo. Además, en Kubernetes, se llama a la API para agregar metadatos, pero estos datos no se pueden ver desde la aplicación. Si necesita los metadatos de la entidad, le recomendamos que utilice el inicio de logs en el contexto automático, pero no envíe el registro desde la aplicación. En su lugar, continúe usando Fluentd, Fluent Bit u otra solución para reenviar el archivo de registro.

Si necesita ajustar la configuración predeterminada, consulte Desactivar el registro automático.

Garantizar la privacidad de los datos

Nuestro proceso de ingesta log enmascara automáticamente tarjetas de crédito, números de seguridad social, identificaciones nacionales, etc. Para obtener más información, consulte nuestra documentación de seguridad para administración de logs.

También puede crear reglas personalizadas para enmascarar o hash datos confidenciales en su registro con nuestra característica de ofuscación. Esto es fundamental cuando no es práctico o imposible restringir el acceso a datos confidenciales, o cuando New Relic nunca debe almacenar algunos datos. Lea nuestra documentación sobre ofuscación para obtener más información.

Detalles sobre el reenvío de logs

Para todos los APMagentes (excepto Node.js), la opción de reenvío de registros no reenvía el log completo. Para obtener detalles sobre lo que se envía con el reenvío de registros, consulte el colapsador a continuación.

{
  "v": "x",
  "level": "x",
  "name": "x",
  "hostname": "x",
  "pid": 01,
  "timestamp": "x",
  "message": "x",
  "bunches": "of custom stuff"
}

{
  "timestamp": "x",
  "message": "x",
  "span.id": "x",
  "trace.id": "x",
  "hostname": "x",
  "entity.guid": "x",
  "entity.name": "x"
}

Si necesita más log reportados, las opciones incluyen:

• Configure el agente APM para incluir datos log específicos.
• Mantenga la decoración log en su lugar pero desactive el reenvío de registros del agente APM y en su lugar utilice su propia solución de reenvío de registros.

Para obtener más información sobre estas opciones, consulte los documentos del contexto de inicio de sesión específicos del agente.

Log métrico

Cuando configura un APMagente, obtiene automáticamente un cuadro de logging métrico en la página APM Summary:

Este gráfico muestra un recuento de registros. Si no desactivó el reenvío de log , puede hacer clic en los enlaces de los gráficos que lo llevarán al registro en sí. Incluso si deshabilita el reenvío de log , este gráfico aún muestra el registro potencial que podría inspeccionar si tuviera habilitado el reenvío de log .

Las métricas de registro se reportan a través del atributo apm.service.logging.lines , como se muestra en la siguiente consulta:

SELECT count(apm.service.logging.lines) FROM Metric WHERE (entity.guid = 'AN_ENTITY_GUID') LIMIT MAX SINCE 60 seconds AGO TIMESERIES

Si no desea ver el gráfico métrico de logging, puede desactivarlo, pero no a nivel de cuenta. Para deshabilitar el logging métrico, consulte los documentos de configuración APM dedicados para su agente (por ejemplo, esta opción de configuración logging_metrics para PHP).

Evitar registros duplicados

El uso de la funcionalidad de logs en el contexto aumentará la ingesta de datos. Dependiendo del modelo de precios de su cuenta, esto puede tener un impacto en sus límites de ingesta y facturación.

Consulte nuestra guía de actualización para obtener más información sobre cómo evitar el envío de registros duplicados.

Para obtener más información, siga los procedimientos para desactivar su reenviador de logs específico.

Administre sus límites de ingesta

Example: Su equipo de ingeniería está resolviendo un problema con su aplicación, por lo que aumenta temporalmente el volumen de registro recopilado por el agente APM para proporcionar un registro más granular. Sin embargo, si deja límites más altos durante varios días, esto podría provocar el envío de datos innecesarios que aumentarán su factura.

Para evitar sorpresas, le recomendamos que utilice la consultaNRQL para crear una condición de alerta para realizar un seguimiento de sus límites de ingesta. Por ejemplo:

Ver límites de datos y uso en UI

Para revisar sus límites de datos en la UI: en el menú de usuario, haga clic en Manage your data > Limits. O, para ver su uso, haga clic en View your usage.

Consulta NRQL : ejemplo de costo estimado

Ver consulta relacionada con costos.

Alerta NRQL : ejemplo de umbral de uso

Para crear una alerta cuando su uso exceda un umbral mensual fijo para gigabytes de datos, agregue esta consulta NRQL a su condición de alerta:

FROM NrMTDConsumption SELECT latest(GigabytesIngested) WHERE productLine = 'DataPlatform'

Copia

Ejemplo: el poder de logs en el contexto

A continuación se muestra un caso de uso detallado del uso APMlogs en el contexto para llegar a la causa raíz de un problema.

Example scenario: El ingeniero de guardia recibe una notificación de alerta New Relic sobre el tiempo de respuesta deficiente y el aumento de la tasa de errores en su aplicación. Necesitan descubrir la causa raíz detrás del aumento de errores y latencia, para poder decidir si sacar un host problemático del equilibrio de carga o revertir la versión más reciente.

Para iniciar la resolución de problemas, van a la New Relic UI.

¿Cuándo y dónde comenzaron los errores?

Cuando el ingeniero mira la página APM Summary de la aplicación, ve muchos más registros de errores que conducen al aumento del tiempo de respuesta. Quieren ver si el registro puede exponer la causa raíz del problema.

How can they quickly decide what's related to the problem?

No han configurado la recopilación log . Pero el agente de Java para su aplicación se actualizó recientemente para incluir el logs en el contexto APM, por lo que la aplicación ahora recibe automáticamente metadatos de registro y vinculación. Las métricas que aparecen en la UI facetan el recuento por gravedad log . (Esto lo establecen las capacidades integradas de decoración log del agente de Java).

What entities are related?

En la misma página UI , hacen clic en el gráfico Logs para poder revisar la vista Log summary. Esta vista les muestra cuándo se han recopilado registros instrumentados y cuándo esos registros tenían un nivel de gravedad Error o peor. También les muestra una lista de patrones de logs y qué porcentaje de todos los logs se ajustan a cada patrón.

¿Qué patrones surgen en el registro?

En la UI Log patterns, han comenzado a aparecer mensajes de error raros con frecuencia y ahora aparecen en la lista. Esto ayuda al ingeniero a concentrarse en el registro problemático en lugar de en todas las ruidosas actualizaciones de estado.

What patterns should they focus on?

El ingeniero nota un patrón de logs interesante y quiere ver solo el tronco que se ajusta a este patrón. Hacen clic en él para agregar el valor del patrón como filtro al registro que se muestra. Esto reduce el enfoque.

¿Qué pueden revelar más detalles log ?

El ingeniero quiere ver todos los valores contenidos en el log , por lo que hace clic en la vista Log details. Esto les ayuda a validar que el log en sí sea significativo. También les permite profundizar más en el entorno Kubernetes donde se ejecuta la aplicación o directamente en cualquier rastreo distribuido o APMerror relacionado con el log .

El ingeniero decide mirar el error APM donde puede ver un rastreo del stack completo. También pueden ver el registro desde su UI Errors inbox.

¿Qué datos de prueba adicionales ayudarán a solucionar el problema?

El equipo de resolución de problemas ha estado realizando pruebas para aislar la causa, pero no se han recopilado todos los logs para la transacción de prueba. La recopilación log predeterminada en el archivo de configuración de su agente de Java (aproximadamente 10 000 logs por minuto en application_logging:forwarding:max_samples_stored:) ha sido útil para validar que los servicios tienen un problema. Pero ahora necesitan aumentar el muestreo a un número mayor para una resolución de problemas más detallada.

Problema resuelto. ¿Ahora que?

El equipo de resolución de problemas determina que el problema se debe a un cambio introducido recientemente, por lo que revierten ese código. Para ahorrar recursos y consumir gastos, rechazan la recopilación log para application_logging:forwarding:max_samples_stored: en su archivo de configuración, pero mantienen el muestreo de log en ejecución en caso de que el problema se repita.

El equipo de resolución de problemas también actualiza sus runbooks para que apunten a la página Log patterns filtrada para esta aplicación y agregan el runbook a su condición de alerta. La próxima vez que reciban una alerta similar a esta situación, podrán utilizar estas lecciones aprendidas para una resolución de problemas más rápida.