Monitoreo de IA de eBPF

El agente eBPF de New Relic extiende el mismo enfoque sin código y agnóstico al lenguaje que utiliza para eBPF APM a la capa de IA de su stack. Una vez que se instala el agente, detecta automáticamente las llamadas salientes que sus servicios realizan a los proveedores de LLM directamente desde el kernel de Linux, y reporta la telemetría de rendimiento, costo y confiabilidad de GenAI sin ningún SDK, cambio de código o agente de monitoreo de IA dedicado.

Esta telemetría aparece en la misma entidad eBPF descubierta automáticamente que ya reporta los datos de APM, red y logs, lo que le brinda una vista única y unificada del estado de un servicio junto con su uso de IA. Esto es especialmente útil para detectar workloads de GenAI que no sabía que existían: servicios de terceros, aplicaciones legacy o código que no le pertenece y que se comunican silenciosamente con un proveedor de LLM.

Característica clave

• Detección de GenAI sin código: descubre automáticamente las llamadas salientes a proveedores de LLM (como OpenAI, Azure OpenAI y Amazon Bedrock) a nivel del kernel, sin necesidad de SDK, bibliotecas wrapper ni cambios de código.

• Funciona a la perfección junto con el APM de eBPF: viene con el agente eBPF, por lo que no necesita desplegar ni administrar un agente independiente para comenzar a recopilar la telemetría de GenAI. Tiene la opción de habilitar/deshabilitar el monitoreo de workloads de IA de eBPF (desactivado por defecto).

• Detección automática y retroceso: suprime su propia telemetría de IA cuando un agente APM de lenguaje ya está instrumentado y reporta datos de monitoreo de IA para el mismo servicio, lo que evita la duplicación de datos. Este es el mismo patrón que el agente eBPF ya utiliza para los datos de APM, red y logs.

• Captura opcional de símbolo y respuesta: cuando se habilita, el agente captura solo los metadatos de GenAI, como el modelo, el proveedor, el uso de tokens, la latencia y los errores. Una configuración independiente le permite capturar además el contenido completo del símbolo y la finalización cuando lo necesite para la depuración o la revisión de calidad.

• Vista de entidad unificada: la telemetría de GenAI aparece en la misma entidad que los datos de APM de eBPF, métricas de red y logs, por lo que no necesita correlacionar entre múltiples entidades para comprender el comportamiento de un servicio.

Proveedores de LLM compatibles

El monitoreo de IA de eBPF actualmente detecta y reporta las llamadas salientes a estos proveedores de LLM:

• Google Gemini
• OpenAI
• Claude antrópico
• Amazon Bedrock

La detección ocurre a nivel del kernel, según las llamadas HTTP que sus servicios realizan a las API de estos proveedores, por lo que no se requiere ningún SDK de proveedor ni biblioteca de cliente. Las llamadas a otros proveedores no se reportan como telemetría de GenAI.

Casos de uso

• Para ingenieros de plataforma: obtenga un inventario de cada servicio en el entorno que esté llamando a un proveedor de LLM, incluidos los que no posee o no sabía que estaban habilitados para IA.

• Para equipos con workloads opacas o de terceros: monitoree el uso, el costo y la latencia de GenAI para aplicaciones legacy o binarios de proveedores que no puede instrumentar directamente.

• Para la supervisión de costos y rendimiento de la IA: identifique las llamadas de GenAI que consumen muchos token o que responden lentamente en todo su entorno antes de decidir dónde invertir en una instrumentación de monitoreo de IA más profunda y a nivel de código.

• Para visibilidad de seguridad y cumplimiento: comprenda cuáles de los servicios envían datos a proveedores de IA externos, para que pueda decidir dónde aplicar reglas de ofuscación o descarte. Consulte Datos confidenciales y monitoreo de IA de eBPF a continuación.

Habilitar el monitoreo de IA de eBPF

Aunque la capacidad está desactivada por defecto, puede habilitarla fácilmente —con un control independiente para capturar el contenido completo del símbolo y la respuesta— desde el flujo de instalación guiada o editando la configuración del agente directamente.

Instalación

Tanto el flujo de instalación guiada del host de Linux como el de Kubernetes incluyen dos interruptores para el monitoreo de IA:

• Enable eBPF AI Monitoring: Activa el monitoreo de workloads de GenAI. Deshabilitado por defecto.
• Enable recording model inputs and outputs: Captura el contenido completo del mensaje (símbolos y finalizaciones) para las interacciones de GenAI. Desactivado de forma predeterminada y solo disponible una vez que Enable eBPF AI Monitoring está activado. Úselo con precaución, ya que esto envía el texto real del símbolo y la respuesta a New Relic.

Configurar manualmente

Si no utiliza la instalación guiada, establezca estos parámetros en la configuración del agente:

• ai_monitoring.enabled: controla los reportes de telemetría de GenAI. Valores aceptados: "true" (enviar siempre), "false" (no enviar nunca), "auto" (enviar solo cuando ningún agente APM de lenguaje o agente OTel ya esté reportando datos de monitoreo de IA para la entidad).
• ai_monitoring.genAICaptureMessageContent: cuando true, captura el contenido completo del símbolo y la finalización para las interacciones de GenAI. Solo tiene efecto cuando ai_monitoring.enabled es true o auto. Úselo con precaución.

En los hosts de Linux que utilizan el script de instalación, configure las variables de entorno ai_monitoring.enabled y ai_monitoring.genAICaptureMessageContent equivalentes en su lugar. Esto refleja el patrón ya utilizado por reportApmData, reportNetworkMetrics y reportLogs. Para obtener la lista completa de parámetros, consulte la sección Parámetros de configuración de la guía de instalación de Linux o instalación de Kubernetes.

Ver los datos de monitoreo de IA de eBPF

Puede ver los datos de monitoreo de IA de eBPF en la UI de New Relic APM:

1. Vaya a one.newrelic.com > APM & Services.
2. Seleccione la entidad de eBPF para el servicio que está llamando a un proveedor de LLM.
3. Haga clic en AI monitoring en la navegación de la izquierda, luego seleccione AI traces.

Datos confidenciales y monitoreo de IA de eBPF

Si deja Enable recording model inputs and outputs desactivado (el valor predeterminado), el agente nunca captura el contenido del símbolo o de la finalización, solo metadatos como el modelo, el proveedor, los recuentos de token y la latencia. Esto evita enviar texto confidencial del símbolo o de la respuesta a New Relic en primer lugar.

Si activa la grabación porque necesita ese contenido para la depuración o la revisión de calidad, la ofuscación de datos y el descarte de información confidencial solo están disponibles a través del Gateway de Control de pipelines (PCG) mediante OpenTelemetry Transformation Language (OTTL). El flujo de datos directo de eBPF a New Relic no incluye ofuscación integrada para los datos de monitoreo de IA. Comuníquese con el representante de cuenta para agregar PCG al pedido.

Por ejemplo, esta configuración redacta el contenido de finalización capturado de una interacción de GenAI (ajuste el nombre del atributo para que coincida con lo que reporta el agente eBPF. Consulte la referencia de atributos del agente eBPF para conocer los nombres exactos de los atributos):

transform/Traces:
  trace_statements:
  - statements:
    - replace_pattern(attributes["gen_ai.completion"], ".+", "***REDACTED***")
    conditions:
    - attributes["gen_ai.completion"] != nil

Este ejemplo oculta solo el atributo de finalización que se muestra. Para obtener reglas de ofuscación y descarte adicionales o personalizables, incluidas reglas para el contenido del símbolo, proveedores de modelos específicos u otros atributos, configure el procesador OTTL Transform admitido directamente por PCG. Consulte Redactar PII para obtener más ejemplos.

Artículos relacionados