La supervisión de Kafka proporciona visibilidad en tiempo real de sus clústeres de Apache Kafka para garantizar una transmisión de datos confiable y evitar el tiempo de inactividad costoso en los sistemas distribuidos. Al usar OpenTelemetry Collector, obtienes una supervisión integral a través de un enfoque flexible y neutral para el proveedor que funciona en entornos autohospedados y Kubernetes con Strimzi.
Supervise sus clústeres de Kafka con dashboards integrales que muestran el estado del clúster, el estado del broker, las métricas de los temas y el rendimiento del grupo de consumidores.
¿Por qué supervisar Kafka?
- Evite interrupciones: reciba alertas sobre fallas de intermediarios, particiones con poca replicación y temas fuera de línea antes de que causen tiempo de inactividad
- Optimice el rendimiento: identifique el retraso del consumidor, los productores lentos y los cuellos de botella de la red que afectan la velocidad de procesamiento de datos
- Planifique la capacidad: realice un seguimiento del uso de recursos, las tasas de mensajes y los recuentos de conexiones para escalar de forma proactiva
- Asegure la integridad de los datos: supervise el estado de la replicación y el equilibrio de la partición para evitar la pérdida de datos
Caso de uso común
Ya sea que esté transmitiendo transacciones financieras, procesando datos de sensores de IoT o manejando la comunicación de microservicios, la supervisión de Kafka lo ayuda a detectar problemas antes de que afecten a su negocio. Reciba alertas cuando los picos de retraso del consumidor amenacen los dashboards en tiempo real, cuando las fallas del broker pongan en riesgo la pérdida de datos o cuando los cuellos de botella de la red ralenticen las tuberías de datos críticas. Esta supervisión es esencial para plataformas de comercio electrónico, sistemas de análisis en tiempo real y cualquier aplicación donde los retrasos o fallas en la entrega de mensajes puedan afectar la experiencia del usuario o las operaciones comerciales.
Empezar
Elija su entorno Kafka para comenzar a monitorear. Cada guía de configuración incluye requisitos previos, pasos de configuración y consejos para la solución de problemas.
Cómo funciona
El OpenTelemetry Collector se conecta a su clúster de Kafka utilizando dos receptores especializados:
Recopilación de datos:
- El receptor de métricas de Kafka se conecta al puerto de inicio de Kafka para la salud del clúster, el retraso del consumidor, las métricas de temas y el estado de la partición
- Receptor JMX se conecta a los puertos JMX del broker para obtener métricas de rendimiento, datos de JVM e información operativa detallada
Flujo de datos:
- Los recolectores recopilan métricas de ambos receptores simultáneamente
- Los datos se procesan, enriquecen y se agrupan para una transmisión eficiente
- Las métricas se exportan a New Relic a través del exportador OTLP
- New Relic crea entidades automáticamente y rellena los dashboards
Lo que obtienes: Las métricas clave incluyen el retraso del consumidor, el estado del broker, las tasas de solicitud, el rendimiento de la red, el estado de la replicación de la partición y la utilización de recursos.
Para obtener nombres de métricas, descripciones y recomendaciones de alertas completas, consulte la referencia de métricas de Kafka.
Opcional: Añadir la supervisión a nivel de aplicación
La configuración de supervisión anterior rastrea el estado y el rendimiento de tu clúster de Kafka. Para obtener una imagen completa de cómo fluyen los datos a través de su sistema, también puede supervisar las aplicaciones que envían y reciben mensajes de Kafka.
La supervisión de la aplicación añade:
- Latencias de solicitud desde sus aplicaciones a Kafka
- Métricas de rendimiento a nivel de aplicación
- Tasas de error y rastreos distribuidos
- Visibilidad completa de productores → brokers → consumidores
Configuración rápida: Use el Agente Java de OpenTelemetry para la instrumentación de Kafka sin código. Para una configuración avanzada, consulte la documentación de instrumentación de Kafka.
Próximos pasos
¿Listo para comenzar a supervisar tus clústeres de Kafka?
Configurar la supervisión:
- Kafka autohospedado - Supervisa Kafka que se ejecuta en máquinas físicas o virtuales
- Kubernetes con Strimzi - Supervise Kafka implementado en Kubernetes
Después de la configuración:
- Encuentra y consulta tus datos - Navega por la interfaz de usuario de New Relic y escribe consultas NRQL
- Explorar las métricas de Kafka - Referencia completa de métricas con recomendaciones de alertas