Monitoree clústeres de Apache Kafka con OpenTelemetry Collector para obtener visibilidad en tiempo real y una transmisión de datos confiable. Esta solución independiente del proveedor evita el costoso tiempo de inactividad en entornos autohospedados y de Kubernetes.
Opciones del colector
New Relic admite dos distribuciones de OpenTelemetry Collector para el monitoreo de Kafka, y ambas ofrecen una funcionalidad idéntica con los mismos archivos de configuración y capacidades de monitoreo.
- NRDOT Collector (recomendado): La distribución de New Relic de OpenTelemetry Collector con soporte de New Relic para asistencia. Para obtener más información, consulta el repositorio de GitHub de NRDOT Collector.
- OpenTelemetry Collector: La distribución de la comunidad upstream. Para obtener más información, consulte el repositorio de GitHub de OpenTelemetry Collector Contrib.
Seleccione el colector que mejor se adapte a sus requisitos operativos y de soporte, luego proceda a configurar el monitoreo para su entorno.
Supervise sus clústeres de Kafka con dashboards integrales que muestran el estado del clúster, el estado del broker, las métricas de los temas y el rendimiento del grupo de consumidores.
¿Por qué supervisar Kafka?
- Evite interrupciones: reciba alertas sobre fallas de intermediarios, particiones con poca replicación y temas fuera de línea antes de que causen tiempo de inactividad
- Optimice el rendimiento: identifique el retraso del consumidor, los productores lentos y los cuellos de botella de la red que afectan la velocidad de procesamiento de datos
- Planifique la capacidad: realice un seguimiento del uso de recursos, las tasas de mensajes y los recuentos de conexiones para escalar de forma proactiva
- Asegure la integridad de los datos: supervise el estado de la replicación y el equilibrio de la partición para evitar la pérdida de datos
Caso de uso común
El monitoreo de Kafka le ayuda a detectar problemas antes de que afecten a su negocio. Reciba alertas cuando los picos de retraso del consumidor amenacen los dashboards en tiempo real, las fallas del broker pongan en riesgo la pérdida de datos o los cuellos de botella de la red ralenticen las tuberías de datos críticos. Esencial para transacciones financieras, procesamiento de datos de IoT, comunicación de microservicios, plataformas de comercio electrónico y análisis en tiempo real.
Empezar
Elija su entorno Kafka para comenzar a monitorear. Cada guía de configuración incluye requisitos previos, pasos de configuración y consejos para la solución de problemas.
Cómo funciona
El recolector recopila continuamente datos de rendimiento utilizando componentes especializados:
Recopilación de datos:
Receptor de métricas de Kafka: Se conecta al puerto bootstrap de Kafka para la salud del clúster, el retraso del consumidor, las métricas de los temas y el estado de las particiones
Recopilación de métricas JMX: recopila el rendimiento del broker, datos de la JVM e información operativa valiosa a través de:
- Kafka autohospedado: agente de Java de OTel o Prometheus JMX Exporter en la JVM del bróker
- Kubernetes (autogestionado): agente de Java de OTel o Prometheus JMX Exporter mediante contenedor init
- Kubernetes (Strimzi): Prometheus JMX Exporter mediante Strimzi
KafkaMetricsConfig
| Agente de Java de OTel | Prometheus JMX Exporter | |
|---|---|---|
| Arquitectura | Basado en push | Basado en extracción |
| Protocolo | OTLP (gRPC o HTTP) | Scrape HTTP (puerto predeterminado 9404) |
| Configuración | Archivo de configuración de JMX (.yaml) | Configuración YAML con patrones de métricas |
| Disponibilidad | Autohospedado, Kubernetes autogestionado | Autohospedado, Kubernetes autogestionado, Kubernetes Strimzi |
Métricas clave: retraso del consumidor, salud del broker, tasas de solicitudes, rendimiento de red, estado de replicación de particiones, utilización de recursos y datos de rendimiento de la JVM.
Para obtener nombres de métricas, descripciones y recomendaciones de alertas completas, consulte la referencia de métricas de Kafka.
Opcional: Añadir la supervisión a nivel de aplicación
Monitoree las aplicaciones de productor y consumidor para una visibilidad completa de productores → brokers → consumidores.
Agrega: latencia de solicitudes, métricas de rendimiento, tasa de errores y rastreo distribuido.
Configuración: use el agente de Java de OpenTelemetry para la instrumentación de Kafka sin código.
Próximos pasos
Configurar la supervisión:
Después de la configuración: