Enviar las trazas de GenAI a New Relic con OpenTelemetry

Una vez que la aplicación comienza a enviar trazas de GenAI de OpenTelemetry (OTel) a New Relic, la vista de monitoreo de IA muestra:

Cada llamada a LLM realizada por su servicio —símbolo, finalización, modelo, latencia, recuentos de tokens, motivo de finalización.
Llamadas a herramientas y pasos del agente como parte de la traza de solicitud completa, para que puedas ver por qué un modelo tomó una decisión.
Errores, fallas de límite de tasa y llamadas lentas mostrados junto con el resto de tus datos de APM.

No se requiere ningún agente de New Relic. Si la aplicación ya emite trazas de OpenTelemetry, ya tiene casi todo listo.

Antes de que empieces

Necesitarás:

Una clave de licencia de ingesta de New Relic.
Una aplicación que llama a un LLM. A continuación se muestran ejemplos de Python para OpenAI, Anthropic, LangChain y AWS Bedrock. Otros lenguajes con instrumentación de OpenTelemetry GenAI funcionan de la misma manera.
Salida de red desde la aplicación al extremo OTLP de New Relic para la región en el puerto 443. Para obtener la lista completa de extremos regionales (EE. UU., UE y JP), puertos compatibles y configuraciones de compresión, consulte Enviar datos a New Relic mediante el protocolo OpenTelemetry (OTLP).

Importante

Las instrumentaciones de GenAI de OTel pueden capturar los símbolos y las finalizaciones exactos que los usuarios envían y reciben. Esto puede incluir PII, credenciales o datos regulados. La captura de contenido está desactivada por defecto. Antes de activarla, revise las políticas de manejo de datos de la organización y consulte Controle qué símbolos y finalizaciones se envían.

Apunte su exportador de OpenTelemetry a New Relic

Configure estas variables de entorno en el proceso que ejecuta su aplicación:

bash

$# Replace with your region's OTLP endpoint — see the prerequisites above for the full list
$export OTEL_EXPORTER_OTLP_ENDPOINT="<<YOUR_OTLP_ENDPOINT>>"
$export OTEL_EXPORTER_OTLP_HEADERS="api-key=$NEW_RELIC_LICENSE_KEY"
$
$# Name that will identify this service in New Relic
$export OTEL_SERVICE_NAME="my-genai-service"

Agregue el paquete de instrumentación correcto

Elija la sección que coincida con lo que usa su aplicación. Puede combinar más de uno — por ejemplo, una aplicación de LangChain que llama a Bedrock instalaría ambos.

Sugerencia

Los nombres y las versiones exactos de los paquetes evolucionan rápidamente en el ecosistema GenAI de OpenTelemetry. Consulte siempre el registro de contribuciones de Python de OpenTelemetry y la documentación de monitoreo de IA de New Relic para conocer el paquete que el equipo admite actualmente.

Instale la instrumentación de GenAI de OpenAI oficial del proyecto OpenTelemetry, luego ejecute su aplicación con opentelemetry-instrument o llame al instrumentador explícitamente:

from opentelemetry.instrumentation.openai_v2 import OpenAIInstrumentor
OpenAIInstrumentor().instrument()

from openai import OpenAI
OpenAI().chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Hello"}],
)

Instale una instrumentación de Anthropic de OpenTelemetry (disponible en el registro de contribuciones de OpenTelemetry y en distribuciones de la comunidad como OpenLLMetry). Luego:

from opentelemetry.instrumentation.anthropic import AnthropicInstrumentor
AnthropicInstrumentor().instrument()

import anthropic
anthropic.Anthropic().messages.create(
    model="claude-sonnet-4-5",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello"}],
)

La instrumentación de LangChain cubre la cadena, cualquier llamada a herramientas y el cliente del modelo subyacente en un solo paquete. Instale la instrumentación de LangChain de la comunidad de su elección y habilítela al inicio:

from opentelemetry.instrumentation.langchain import LangchainInstrumentor
LangchainInstrumentor().instrument()

Sus cadenas ChatOpenAI, ChatAnthropic o similares existentes generarán una traza automáticamente. Los pasos de la herramienta y del agente aparecen como spans secundarios bajo la invocación de la cadena principal.

El tráfico de Bedrock pasa a través del SDK de AWS. Instale la instrumentación de OpenTelemetry del SDK de AWS (botocore) y habilítela:

from opentelemetry.instrumentation.botocore import BotocoreInstrumentor
BotocoreInstrumentor().instrument()

import boto3, json
boto3.client("bedrock-runtime", region_name="us-east-1").invoke_model(
    modelId="anthropic.claude-3-5-sonnet-20241022-v2:0",
    body=json.dumps({
        "anthropic_version": "bedrock-2023-05-31",
        "max_tokens": 256,
        "messages": [{"role": "user", "content": "Hello"}],
    }),
)

Verifique que su versión instalada emita atributos de GenAI (gen_ai.system, gen_ai.request.model y uso de token) para las llamadas de Bedrock — la compatibilidad ha llegado de manera incremental en las distintas versiones.

Verifique que sus datos estén llegando

Reinicie su aplicación para que las nuevas variables de entorno y la instrumentación surtan efecto.
Desencadene una pequeña cantidad de tráfico real — un puñado de finalizaciones de chat es suficiente.

En New Relic, abra Query Your Data y ejecute:

SELECT count(*) FROM Span
WHERE gen_ai.system IS NOT NULL OR gen_ai.provider.name IS NOT NULL
SINCE 30 minutes ago
FACET service.name, gen_ai.operation.name

En unos pocos minutos (2-5 min) debería ver filas facetadas por el nombre del servicio y la operación (p. ej., chat, completion, embeddings).
Vaya a APM & Services > AI Monitoring y seleccione el servicio para ver cómo se completa la vista AI Traces.

Controle qué símbolos y finalizaciones se envían

De forma predeterminada, la mayoría de las instrumentaciones de GenAI de OpenTelemetry no capturan el texto de los símbolos o las finalizaciones. Los spans incluirán el modelo, los recuentos de token, la latencia y el estado, pero no los cuerpos de los mensajes.

Para que el contenido del mensaje sea visible en el monitoreo de IA, habilítelo explícitamente. El nombre del indicador depende del paquete de instrumentación que instaló —consulte la documentación de ese paquete específico. Los ejemplos comunes incluyen:

OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT=true para instrumentaciones mantenidas por OpenTelemetry.
TRACELOOP_TRACE_CONTENT=true para instrumentaciones de la comunidad (familia OpenLLMetry).

Antes de habilitar la captura de contenido en producción:

Revise los datos que contienen los símbolos. Si los usuarios envían PII, credenciales o datos regulados, recomendamos usar filtros de descarte u ofuscación a nivel de atributo para eliminar o aplicar hash a campos específicos antes de que se envíen a New Relic. Consulte la documentación de manejo de datos de New Relic.
Verifique los requisitos de retención y cumplimiento de la organización (GDPR, HIPAA, PCI, etc.).

Si solo necesita visibilidad de latencia, token y errores —no cuerpos de mensajes—, deje la captura de contenido deshabilitada.

Solucionar problemas

Lo que ve	Qué intentar
La consulta en el paso 3 devuelve cero filas	Confirme que su extremo OTLP coincida con la región de su cuenta y que el encabezado `api-key` contenga una clave de licencia de ingesta válida (no una clave de usuario).
Llegan los spans, pero la vista de monitoreo de IA está vacía para el servicio	Es posible que los spans no estén etiquetados con los atributos de GenAI esperados. Actualice el paquete de instrumentación o comuníquese con el soporte de New Relic con un span de muestra.
Los símbolos largos se cortan	Genere `OTEL_ATTRIBUTE_VALUE_LENGTH_LIMIT` y `OTEL_SPAN_ATTRIBUTE_VALUE_LENGTH_LIMIT` del lado de la aplicación.
Faltan los recuentos de token	El proveedor de LLM los devolvió, pero su versión de instrumentación aún no los registra. Actualice el paquete de instrumentación.
El monitoreo de IA muestra trazas, pero los símbolos/finalizaciones están en blanco	La captura de contenido está deshabilitada. Consulte Controlar qué símbolos y finalizaciones se envían.
Espera que el monitoreo de IA esté disponible, pero la vista no aparece	Comuníquese con el equipo de cuentas de New Relic para confirmar que el monitoreo de IA esté habilitado en la cuenta.

Obtener ayuda

Si no puede avanzar después de completar los pasos anteriores:

Abra un caso de soporte de New Relic e incluya una carga de span de muestra y el nombre de su servicio.
Comunícate con el equipo de tu cuenta de New Relic para preguntas de configuración a nivel de cuenta.
Para preguntas generales sobre OpenTelemetry GenAI, las convenciones semánticas de OpenTelemetry GenAI son la referencia autorizada.

Te ofrecemos esta traducción automática para facilitar la lectura.