Kafka monitoreo integración

La integración New Relic Kafka en el host informa datos métricos y de configuración de su servicio Kafka. Instrumentamos todos los elementos clave de su clúster, incluidos los corredores (tanto ZooKeeper como Bootstrap), productores, consumidores y temas.

Para instalar la integración de monitoreo de Kafka, debe seguir los siguientes pasos:

1. Prepárese para la instalación.
2. Instalar y activar la integración.
3. Configurar la integración.
4. Buscar y utilizar datos.
5. Opcionalmente, consulte los ajustes de configuración de Kafka.

Compatibilidad y requisitos

Versiones Kafka

Nuestra integración es compatible con Kafka versión 3 o inferior.

Tenga en cuenta la política EOL de Apache Kafka, ya que puede experimentar resultados inesperados si utiliza una versión de End of Life Kafka.

Sistema operativo soportado

• Windows

  

• linux

  

Para obtener una lista completa de versiones específicas de Windows y Linux, consulte la tabla de sistemas operativos compatibles.

Requisito del sistema

• Una cuenta New Relic . ¿No tienes uno? ¡Registrate gratis! No se requiere tarjeta de crédito.

• Si Kafka no se ejecuta en Kubernetes o Amazon ECS, puede instalar el agente de infraestructura en un host con sistema operativo Linux o Windows o en un host capaz de acceder de forma remota al lugar donde está instalado Kafka. De lo contrario:

  • Si está funcionando

    

  • Si está funcionando

    

• Java versión 8 o superior.

• JMX habilitado en todos los corredores.

• Solo consumidores y productores basados en Java y con JMX habilitado.

• El número total de temas de monitorización debe ser inferior a 10.000.

Requisitos de conectividad

La integración debe configurarse y permitirse conectarse a:

• Hosts enumerados en zookeeper_hosts a través del protocolo Zookeeper, utilizando el mecanismo de autenticación de Zookeeper, si autodiscover_strategy está configurado en zookeeper.
• Hosts definidos en bootstrap_broker_host a través del protocolo Kafka, utilizando los mecanismos de autenticación/transporte del intermediario Kafka, si autodiscover_strategy está configurado en bootstrap.
• Todos los intermediarios del clúster a través del protocolo y puerto de Kafka, utilizando los mecanismos de autenticación/transporte de los intermediarios de Kafka.
• Todos los intermediarios del clúster a través del protocolo y puerto JMX, utilizando los mecanismos de autenticación/transporte especificados en la configuración JMX de los intermediarios.
• Todos los productores/consumidor especificados en productores y consumidor sobre el protocolo y puerto JMX, si desea monitoreo de productor/consumidor. La configuración de JMX para el consumidor debe ser la misma que para los corredores.

Prepárese para la instalación

Kafka es una pieza compleja de software que se construye como un sistema distribuido. Por este motivo, debe asegurarse de que la integración pueda contactar con todos los hosts y servicios necesarios para que los datos se recopilen correctamente.

Instalar y activar la integración.

Para instalar la integración de Kafka, siga las instrucciones para su entorno:

Instalación de linux

1. Siga las instrucciones para instalar una integración y reemplace la variable INTEGRATION_FILE_NAME con nri-kafka.

2. Cambie el directorio a la carpeta de configuración de integración ejecutando:

   bash

   Copia

   $
   cd /etc/newrelic-infra/integrations.d

3. Copie el archivo de configuración de muestra ejecutando:

   bash

   Copia

   $
   sudo cp kafka-config.yml.sample kafka-config.yml

4. Edite el archivo de configuración kafka-config.yml con su editor favorito. Vea algunos ejemplos de archivos de configuración..

Otros ambientes

Notas adicionales:

• Advanced: integración también están disponibles en formato tarball para permitir la instalación fuera de un administrador de paquetes.

• On-host integrations do not automatically update. Para obtener mejores resultados, actualice periódicamente el paquete de integración y el agente de infraestructura.

Configurar la integración

Hay varias formas de configurar la integración, dependiendo de cómo se instaló:

• Si se habilita a través de

  

• Si se habilita a través de

  

• Si está instalado en el host, edite la configuración en el archivo de configuración YAML de la integración, kafka-config.yml. La configuración de formato YAML de una integración es donde puede colocar las credenciales de inicio de sesión requeridas y configurar cómo se recopilan los datos. Las opciones que cambie dependen de su configuración y preferencia. El archivo de configuración tiene configuraciones comunes aplicables a todas las integraciones como interval, timeout, inventory_source. Para leer todo sobre estas configuraciones comunes, consulte nuestro documento Formato de configuración .

Al igual que con otras integraciones, un archivo de configuración kafka-config.yml puede tener muchas instancias de la integración recopilando diferentes corredores, consumidores y productores métricos. Puede ver ejemplos de configuración con una o varias instancias en los archivos de muestrakafka-config.yml

Las configuraciones específicas relacionadas con Kafka se definen usando la sección env de cada instancia en el archivo de configuración kafka-config.yml . Estas configuraciones controlan la conexión a sus Brokers, Zookeeper y JMX, así como otras configuraciones y características de seguridad. La lista de configuraciones válidas se describe en la configuración de Kafka.

La integración tiene dos modos de operación en cada instancia, que son mutuamente excluyentes, que puedes configurar con el parámetro CONSUMER_OFFSET :

• Colección de compensación del consumidor: establezca CONSUMER_OFFSET = true para recopilar KafkaOffsetSample.
• Modo de recopilación principal: establezca CONSUMER_OFFSET = false para recopilar el resto de las muestras: KafkaBrokerSample, KafkaTopicSample, KafkaProducerSample, KafkaConsumerSample.

Los valores para estas configuraciones se pueden definir de varias maneras:

• Agregando el valor directamente en el archivo de configuración. Esta es la forma más común.
• Reemplazar los valores de las variables de entorno usando la notación {{ }} . Lea más sobre el uso de transferencias de variables de entorno con integración en el host o vea el ejemplo para el reemplazo de variables de entorno.
• Utilizando la gestión de secretos. Utilícelo para proteger información confidencial, como contraseñas que quedarían expuestas en texto sin formato en el archivo de configuración. Para obtener más información, consulte gestión de secretos.

Monitoreo de compensación

Al configurar CONSUMER_OFFSET = true, de forma predeterminada, solo se recopilarán las métricas de los grupos de consumidores con consumidor activo (y consumidor métrica). Para recopilar también la métrica de grupos de consumidores con consumidor inactivo debes configurar INACTIVE_CONSUMER_GROUP_OFFSET en true.

Cuando un grupo de consumidores está monitoreando más de un tema, es valioso tener el grupo de consumidores métrica separado por temas, especialmente si uno de los temas tiene un consumidor inactivo, porque entonces es posible detectar en qué tema el grupo de consumidores está teniendo rezago y si hay son consumidores activos para ese grupo de consumidores y tema.

Para obtener la métrica del grupo de consumidores separada por tema, debe establecer CONSUMER_GROUP_OFFSET_BY_TOPIC en true (el valor predeterminado es false).

Para obtener más información sobre cómo configurar el monitoreo de compensación, consulte Configurar la colección KafkaOffsetSample.

Archivos de muestra kafka-config.yml

integrations:
  - name: nri-kafka
    env:
      CLUSTER_NAME: testcluster1
      KAFKA_VERSION: "1.0.0"
      AUTODISCOVER_STRATEGY: zookeeper
      ZOOKEEPER_HOSTS: '[{"host": "localhost", "port": 2181}, {"host": "localhost2", "port": 2181}]'
      ZOOKEEPER_PATH: "/kafka-root"
      DEFAULT_JMX_USER: username
      DEFAULT_JMX_PASSWORD: password
      TOPIC_MODE: all
    interval: 15s
    labels:
      env: production
      role: kafka
    inventory_source: config/kafka

integrations:
  - name: nri-kafka
    env:
      CLUSTER_NAME: testcluster1
      KAFKA_VERSION: "1.0.0"
      AUTODISCOVER_STRATEGY: zookeeper
      ZOOKEEPER_HOSTS: '[{"host": "localhost", "port": 2181}]'
      ZOOKEEPER_PATH: "/kafka-root"
      DEFAULT_JMX_USER: username
      DEFAULT_JMX_PASSWORD: password

      KEY_STORE: "/path/to/your/keystore"
      KEY_STORE_PASSWORD: keystore_password
      TRUST_STORE: "/path/to/your/truststore"
      TRUST_STORE_PASSWORD: truststore_password

      TIMEOUT: 10000  #The timeout for individual JMX queries in milliseconds.
    interval: 15s
    labels:
      env: production
      role: kafka
    inventory_source: config/kafka

integrations:
  - name: nri-kafka
    env:
      CLUSTER_NAME: testcluster1
      AUTODISCOVER_STRATEGY: bootstrap
      BOOTSTRAP_BROKER_HOST: localhost
      BOOTSTRAP_BROKER_KAFKA_PORT: 9092
      BOOTSTRAP_BROKER_KAFKA_PROTOCOL: PLAINTEXT
      BOOTSTRAP_BROKER_JMX_PORT: 9999  # This same port will be used to connect to all discover broker JMX
      BOOTSTRAP_BROKER_JMX_USER: admin
      BOOTSTRAP_BROKER_JMX_PASSWORD: password

      LOCAL_ONLY_COLLECTION: false

      COLLECT_BROKER_TOPIC_DATA: true
      TOPIC_MODE: "all"
      COLLECT_TOPIC_SIZE: false
    interval: 15s
    labels:
      env: production
      role: kafka
    inventory_source: config/kafka

integrations:
  - name: nri-kafka
    env:
      METRICS: true
      CLUSTER_NAME: testcluster1
      AUTODISCOVER_STRATEGY: bootstrap
      BOOTSTRAP_BROKER_HOST: localhost
      BOOTSTRAP_BROKER_KAFKA_PORT: 9092
      BOOTSTRAP_BROKER_KAFKA_PROTOCOL: SSL
      BOOTSTRAP_BROKER_JMX_PORT: 9999
      BOOTSTRAP_BROKER_JMX_USER: admin
      BOOTSTRAP_BROKER_JMX_PASSWORD: password

      # Kerberos authentication arguments
      TLS_CA_FILE: "/path/to/CA.pem"
      TLS_CERT_FILE: "/path/to/cert.pem"
      TLS_KEY_FILE: "/path/to/key.pem"
      TLS_INSECURE_SKIP_VERIFY: false
    interval: 15s
    labels:
      env: production
      role: kafka
    inventory_source: config/kafka

integrations:
  - name: nri-kafka
    env:
      METRICS: true
      CLUSTER_NAME: testcluster1
      AUTODISCOVER_STRATEGY: bootstrap
      BOOTSTRAP_BROKER_HOST: localhost
      BOOTSTRAP_BROKER_KAFKA_PORT: 9092
      BOOTSTRAP_BROKER_KAFKA_PROTOCOL: PLAINTEXT # Currently support PLAINTEXT and SSL
      BOOTSTRAP_BROKER_JMX_PORT: 9999
      BOOTSTRAP_BROKER_JMX_USER: admin
      BOOTSTRAP_BROKER_JMX_PASSWORD: password

      # Kerberos authentication arguments
      SASL_MECHANISM: GSSAPI
      SASL_GSSAPI_REALM: SOMECORP.COM
      SASL_GSSAPI_SERVICE_NAME: Kafka
      SASL_GSSAPI_USERNAME: kafka
      SASL_GSSAPI_KEY_TAB_PATH: /etc/newrelic-infra/kafka.keytab
      SASL_GSSAPI_KERBEROS_CONFIG_PATH: /etc/krb5.conf
      SASL_GSSAPI_DISABLE_FAST_NEGOTIATION: false
    interval: 15s
    labels:
      env: production
      role: kafka
    inventory_source: config/kafka

integrations:
  - name: nri-kafka
    env:
      METRICS: true
      CLUSTER_NAME: testcluster1
      KAFKA_VERSION: "1.0.0"
      AUTODISCOVER_STRATEGY: zookeeper
      ZOOKEEPER_HOSTS: '[{"host": "host1", "port": 2181}]'
      ZOOKEEPER_AUTH_SECRET: "username:password"
      ZOOKEEPER_PATH: "/kafka-root"
      DEFAULT_JMX_USER: username
      DEFAULT_JMX_PASSWORD: password
      TOPIC_MODE: regex
      TOPIC_REGEX: 'topic\d+'
      TOPIC_BUCKET: '1/3'
    interval: 15s
    labels:
      env: production
      role: kafka
    inventory_source: config/kafka
  - name: nri-kafka
    env:
      METRICS: true
      CLUSTER_NAME: testcluster2
      KAFKA_VERSION: "1.0.0"
      AUTODISCOVER_STRATEGY: zookeeper
      ZOOKEEPER_HOSTS: '[{"host": "host2", "port": 2181}]'
      ZOOKEEPER_AUTH_SECRET: "username:password"
      ZOOKEEPER_PATH: "/kafka-root"
      DEFAULT_JMX_USER: username
      DEFAULT_JMX_PASSWORD: password
      TOPIC_MODE: regex
      TOPIC_REGEX: 'topic\d+'
      TOPIC_BUCKET: '2/3'
    interval: 15s
    labels:
      env: production
      role: kafka
    inventory_source: config/kafka
  - name: nri-kafka
    env:
      METRICS: true
      CLUSTER_NAME: testcluster3
      KAFKA_VERSION: "1.0.0"
      AUTODISCOVER_STRATEGY: zookeeper
      ZOOKEEPER_HOSTS: '[{"host": "host3", "port": 2181}]'
      ZOOKEEPER_AUTH_SECRET: "username:password"
      ZOOKEEPER_PATH: "/kafka-root"
      DEFAULT_JMX_USER: username
      DEFAULT_JMX_PASSWORD: password
      TOPIC_MODE: regex
      TOPIC_REGEX: 'topic\d+'
      TOPIC_BUCKET: '3/3'
    interval: 15s
    labels:
      env: production
      role: kafka
    inventory_source: config/kafka

integrations:
  - name: nri-kafka
    env:
      METRICS: "true"
      CLUSTER_NAME: "testcluster3"
      PRODUCERS: '[{"host": "localhost", "port": 24, "username": "me", "password": "secret"}]'
      CONSUMERS: '[{"host": "localhost", "port": 24, "username": "me", "password": "secret"}]'
      DEFAULT_JMX_HOST: "localhost"
      DEFAULT_JMX_PORT: "9999"
    interval: 15s
    labels:
      env: production
      role: kafka
    inventory_source: config/kafka

integrations:
  - name: nri-kafka
    env:
      CONSUMER_OFFSET: true
      CLUSTER_NAME: testcluster3
      AUTODISCOVER_STRATEGY: bootstrap
      BOOTSTRAP_BROKER_HOST: localhost
      BOOTSTRAP_BROKER_KAFKA_PORT: 9092
      BOOTSTRAP_BROKER_KAFKA_PROTOCOL: PLAINTEXT
      # A regex pattern that matches the consumer groups to collect metrics from
      CONSUMER_GROUP_REGEX: '.*'
    interval: 15s
    labels:
      env: production
      role: kafka
    inventory_source: config/kafka

Opciones de configuración para la integración.

Para obtener más información sobre cómo encontrar y utilizar sus datos, consulte los ajustes de configuración de Kafka.

Buscar y utilizar datos

Los datos de este servicio se informan a un dashboard de integración.

Los datos de Kafka se adjuntan a los siguientes tipos de eventos:

• KafkaBrokerSample
• KafkaTopicSample
• KafkaProducerSample
• KafkaConsumerSample
• KafkaOffsetSample

Puede consultar estos datos para fines de resolución de problemas o para crear gráficos y paneles.

Para obtener más información sobre cómo encontrar y utilizar sus datos, consulte cómo entender los datos de integración.

Métrica recogida por la integración

La integración Kafka recoge la siguiente métrica. Cada nombre de métrica tiene como prefijo un indicador de categoría y un punto, como broker. o consumer..