Encuentra y consulta datos de Kafka en New Relic

Una vez que su monitoreo de Kafka esté configurado con OpenTelemetry, sus métricas aparecerán en múltiples ubicaciones en New Relic. Esta guía le muestra dónde encontrar sus datos y cómo consultarlos de manera efectiva.

Navegue a sus datos de Kafka

Tus métricas de Kafka aparecen en varios lugares de la plataforma New Relic, cada uno optimizado para diferentes casos de uso:

1. Explorador de entidades

Ideal para: Verificaciones rápidas de estado y relaciones entre entidades

Ir a one.newrelic.com > All capabilities > On host integrations
Ver los tipos de entidad de broker, clúster y temas de Kafka

Entity explorer showing Kafka broker, cluster, and topics entity types

2. Colas y Streams

Ideal para: Monitoreo enfocado en cola de mensajes

Ir a one.newrelic.com > All capabilities > Queues & Streams
Filtre por provider=opentelemetry y haga clic en la fila de la cuenta donde instrumentó Kafka para ver sus datos

Queues & Streams view showing Kafka data filtered by OpenTelemetry provider

/* ### 3. Servicios de terceros Ideal para: Monitoreo enfocado en la integración 1. Vaya a <DNT>**[one.newrelic.com](https\://one.newrelic.com) > All capabilities > Infrastructure > Third-party services**</DNT> 2. Select <DNT>**Kafka (OpenTelemetry)**</DNT> > <DNT>**OTel Kafka Dashboard**</DNT> <img title="Servicios de terceros de Kafka OTel" alt="Vista de servicios de terceros que muestra la integración de Kafka (OpenTelemetry)" src="/images/infrastructure_screenshot-crop_otel-kafka-third-party-integrations.webp" /> */

3. Dashboards predefinidos

Ideal para: Monitoreo y visualización completos

Ir a one.newrelic.com > Dashboards > Recommended dashboards (View all)
Buscar "OTel Kafka Dashboard"

Pre-built dashboard showing Kafka cluster health, network throughput, and broker metrics

Consultar datos de Kafka con NRQL

Use NRQL para crear consultas y dashboards personalizados para sus datos de Kafka.

Ver todas las métricas de Kafka:

FROM Metric SELECT *
WHERE instrumentation.provider='opentelemetry'
AND kafka.cluster.name IS NOT NULL
LIMIT 100

Monitorear clúster específico:

FROM Metric SELECT *
WHERE kafka.cluster.name = 'production-cluster'
AND instrumentation.provider='opentelemetry'

Retraso del consumidor por grupo:

FROM Metric SELECT latest(kafka.consumer_group.lag)
WHERE instrumentation.provider='opentelemetry'
FACET kafka.consumer_group.name, kafka.topic.name
SINCE 1 hour ago TIMESERIES

Alerta de retraso alto del consumidor:

FROM Metric SELECT max(kafka.consumer_group.lag)
WHERE instrumentation.provider='opentelemetry'
AND kafka.consumer_group.name = 'your-consumer-group'

Recuento de brokers activos:

FROM Metric SELECT latest(kafka.brokers)
WHERE instrumentation.provider='opentelemetry'
AND kafka.cluster.name = 'your-cluster'
TIMESERIES

Particiones con replicación insuficiente:

FROM Metric SELECT latest(kafka.partition.under_replicated)
WHERE instrumentation.provider='opentelemetry'
FACET kafka.topic.name SINCE 1 hour ago

Rendimiento de mensajes por tema:

FROM Metric SELECT rate(sum(kafka.topic.messages), 1 minute) as 'Messages/min'
WHERE instrumentation.provider='opentelemetry'
FACET kafka.topic.name SINCE 1 hour ago TIMESERIES

E/S de red por broker:

FROM Metric SELECT rate(sum(kafka.network.io.bytes), 1 minute) as 'Bytes/min'
WHERE instrumentation.provider='opentelemetry'
FACET kafka.broker.id, direction SINCE 1 hour ago TIMESERIES

Consultas avanzadas

Para obtener ejemplos de consultas más completos organizados por área de enfoque de monitoreo:

Obtenga estadísticas de clúster de alto nivel:

FROM Metric SELECT
  latest(kafka.brokers) AS 'Active Brokers',
  latest(kafka.cluster.topic.count) AS 'Total Topics',
  latest(kafka.cluster.partition.count) AS 'Total Partitions'
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
TIMESERIES

Monitoree el estado y el liderazgo de cada broker:

FROM Metric SELECT
  latest(kafka.partition.under_replicated) AS 'Under-replicated Partitions',
  latest(kafka.broker.leader.count) AS 'Leader Count',
  latest(kafka.partition.count) AS 'Total Partitions'
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
FACET broker.id
TIMESERIES

Realice un seguimiento del estado general del clúster y el estado de la partición:

FROM Metric SELECT
  latest(kafka.partition.offline) AS 'Offline Partitions',
  latest(kafka.cluster.partition.count) AS 'Total Partitions',
  latest(kafka.cluster.topic.count) AS 'Total Topics'
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
TIMESERIES

Supervise las tasas de mensajes y el rendimiento de los datos por tema:

FROM Metric SELECT
  rate(sum(kafka.prod.msg.count), 1 minute) AS 'Messages/min',
  rate(filter(sum(kafka.topic.io), WHERE direction = 'in'), 1 minute) AS 'Bytes In/min',
  rate(filter(sum(kafka.topic.io), WHERE direction = 'out'), 1 minute) AS 'Bytes Out/min'
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
FACET topic
TIMESERIES

Rastrear el retraso del grupo de consumidores y los retrasos de procesamiento:

FROM Metric SELECT
  latest(kafka.consumer_group.lag_sum) AS 'Total Lag'
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
FACET group
TIMESERIES

Monitorear los tiempos de procesamiento de solicitudes y el rendimiento:

FROM Metric SELECT
  latest(kafka.request.time.avg) AS 'Avg Latency',
  latest(kafka.request.time.99p) AS '99th Percentile'
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
FACET type
TIMESERIES

Supervisar las métricas de JVM para los brokers de Kafka:

FROM Metric SELECT
  (latest(jvm.memory.heap.used) / latest(jvm.memory.heap.max)) * 100 AS 'Heap Usage %',
  rate(sum(jvm.gc.collections.count), 1 minute) AS 'GC Count/min'
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
FACET broker.id
TIMESERIES

Crea dashboards personalizados

Combine múltiples consultas para crear dashboards de monitoreo de Kafka completos:

Ve a one.newrelic.com > Dashboards
Haga clic en "Create a dashboard"
Agregue widgets usando las consultas NRQL anteriores
Organiza los widgets por área de enfoque:
- Estado del clúster: recuento de brokers, particiones con replicación insuficiente, estado del controlador
- Rendimiento del consumidor: Retraso, rendimiento, membresía del grupo
- Métricas de temas: tasas de mensajes, recuentos de particiones, estado de replicación
- Utilización de recursos: E/S de red, métricas de JVM, uso de disco

Configurar alerta

Sugerencia

New Relic proporciona alertas de métricas doradas preconfiguradas para Kafka. Al crear una nueva condición de alerta, seleccione Guided mode → Host integrations → Kafka (brokers, clúster o temas) para ver las plantillas de alerta recomendadas.

También puede crear alertas personalizadas utilizando consultas NRQL:

Alerta cuando el retraso del consumidor excede tu umbral aceptable:

FROM Metric SELECT
  latest(kafka.consumer_group.lag_sum)
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
FACET group

Umbral recomendado: Alerta cuando el retraso > 10,000 mensajes para grupos de consumidores críticos.

Alerta cuando las particiones pierden la replicación:

FROM Metric SELECT
  sum(kafka.partition.under_replicated)
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'

Umbral recomendado: Alerta cuando alguna partición se vuelve con replicación insuficiente (> 0).

Alerta inmediatamente cuando las particiones se desconecten:

FROM Metric SELECT
  latest(kafka.partition.offline)
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'

Umbral recomendado: Alerta inmediatamente cuando alguna partición se desconecta (> 0).

Alerta cuando las particiones caen por debajo del mínimo de réplicas en sincronización:

FROM Metric SELECT
  latest(kafka.partition.under_min_isr)
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
FACET broker.id

Umbral recomendado: Alerta cuando alguna partición cae por debajo del ISR mínimo (> 0).

Alerta cuando el uso del heap es crítico:

FROM Metric SELECT
  (latest(jvm.memory.heap.used) / latest(jvm.memory.heap.max)) * 100
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
FACET broker.id

Umbral recomendado: Alerta cuando el uso del montón es > 85% durante períodos prolongados.

Alerta sobre altas tasas de fallas de solicitudes:

FROM Metric SELECT
  rate(sum(kafka.request.failed), 1 minute)
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
FACET type

Umbral recomendado: Alerta cuando la tasa de fallas > 1% del total de solicitudes.

Alerta sobre elecciones de líder impuras (indica fallas del agente):

FROM Metric SELECT
  rate(sum(kafka.unclean.election.rate), 1 minute)
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'

Umbral recomendado: Alerta sobre cualquier elección de líder impura (> 0).

Próximos pasos

Referencia de métricas de Kafka: lista completa de métricas disponibles con descripciones
Crea condiciones de alerta NRQL - Configura la monitorización proactiva
Tutorial de NRQL: aprenda técnicas de consulta avanzadas

Te ofrecemos esta traducción automática para facilitar la lectura.

Encuentra y consulta datos de Kafka en New Relic

Navegue a sus datos de Kafka

1. Explorador de entidades

2. Colas y Streams

3. Dashboards predefinidos

Consultar datos de Kafka con NRQL

Consultas básicas

Monitoreo del retraso del consumidor

Consultas de estado del broker

Monitoreo de desempeño

Consultas avanzadas

Descripción general del clúster

Estado del broker

Estado del clúster

Rendimiento de temas y E/S

Retraso del consumidor

Latencia de la solicitud

Estado de JVM

Crea dashboards personalizados

Configurar alerta

Sugerencia

Alto retraso del consumidor

Particiones subreplicadas

Particiones sin conexión

Particiones por debajo del ISR mínimo

Uso elevado de memoria JVM

Fallos de solicitud

Elecciones de líder impuras

Próximos pasos

Te ofrecemos esta traducción automática para facilitar la lectura.

Encuentra y consulta datos de Kafka en New Relic

Navegue a sus datos de Kafka .css-21sua1{background:none;border:none;width:0;padding:0;}

1. Explorador de entidades

2. Colas y Streams

3. Dashboards predefinidos

Consultar datos de Kafka con NRQL

Monitoreo del retraso del consumidor

Consultas de estado del broker

Monitoreo de desempeño

Consultas avanzadas

Descripción general del clúster

Estado del broker

Estado del clúster

Rendimiento de temas y E/S

Retraso del consumidor

Latencia de la solicitud

Estado de JVM

Crea dashboards personalizados

Configurar alerta

Sugerencia

Alto retraso del consumidor

Particiones subreplicadas

Particiones sin conexión

Particiones por debajo del ISR mínimo

Uso elevado de memoria JVM

Fallos de solicitud

Elecciones de líder impuras

Próximos pasos

Navegue a sus datos de Kafka