Ajustes de configuración de integración de Kafka

Esta integración es software de código abierto. Eso significa que puedes explorar su código fuente y enviar mejoras o crear tu propia bifurcación y compilarla.

Etiquetas y atributos personalizados

Las variables de entorno se pueden utilizar para controlar los ajustes de configuración, como su , y luego se pasan al agente de infraestructura. Para obtener instrucciones sobre cómo utilizar esta característica, consulte Configurar el agente de infraestructura.

Puedes decorar aún más tu métrica usando etiquetas. Las etiquetas le permiten agregar valor de pares principales de atributos a su métrica que luego puede usar para consultar, filtrar o agrupar su métrica.
Nuestro archivo de configuración de muestra predeterminado incluye ejemplos de etiquetas pero, como no son obligatorias, puede eliminar, modificar o agregar nuevas de su elección.

labels:
    env: production
    role: kafka

Para obtener más información sobre la estructura general de la configuración de integración en el host, consulte la configuración.

Datos de inventario

La integración de Kafka captura el agente no predeterminado y el parámetro de configuración de temas, y recopila los esquemas de partición de temas según lo informado por ZooKeeper. Los datos están disponibles en la página UI de usuario del inventario en la fuente config/kafka.

Configurar la colección KafkaBrokerSample y KafkaTopicSample

La integración Kafka recopila información tanto métrica como de inventario. Consulte la columna Applies To a continuación para ver la configuración disponible para cada colección:

' ' ' ' ' '

Configuración	Descripción	Por defecto	Se aplica a
CLUSTER_NAME	Nombre definido por el usuario para identificar de forma única el clúster que se está monitoreando. Required.	N/A	M/I
KAFKA_VERSION	La versión del broker Kafka al que te estás conectando, utilizada para configurar las versiones óptimas de API. Debe coincidir (o ser inferior) a la versión del broker. Es posible que a las versiones anteriores a 1.0.0 les falte alguna característica. Note that if the broker binary name is kafka_2.12-2.7.0 the Kafka api version to be used is 2.7.0, the preceding 2.12 is the Scala language version.	1.0.0	M/I
AUTODISCOVER_STRATEGY	el método de descubrimiento de corredores. Las opciones son `zookeeper` o `bootstrap`.	zookeeper	M/I
METRICS	Establezca en `true` para habilitar la recopilación solo métrica.	false
INVENTORY	Configúrelo en `true` para habilitar la recopilación solo de inventario.	false

Argumentos de descubrimiento automático de Zookeeper

Estos solo son relevantes cuando la opción autodiscover_strategy está configurada en zookeeper.

' ' ' ' ' ' ' '

Configuración	Descripción	Por defecto	Se aplica a
ZOOKEEPER_HOSTS	La lista de hosts de Apache ZooKeeper (en formato JSON) que deben conectarse. If `CONSUMER_OFFSET` is set to `false` `KafkaBrokerSamples` and `KafkaTopicSamples` will be collected.	[]	M/I
ZOOKEEPER_AUTH_SCHEME	El esquema de autenticación de ZooKeeper que se utiliza para conectarse. Actualmente, el único valor admitido es `digest`. Si se omite, no se utiliza ninguna autenticación.	N/A	M/I
ZOOKEEPER_AUTH_SECRET	El secreto de autenticación de ZooKeeper que se utiliza para conectarse. Debe tener el formato `username:password`. Solo es necesario si se especifica `zookeeper_auth_scheme` .	N/A	M/I
ZOOKEEPER_PATH	El nodo Zookeeper bajo el cual reside la configuración de Kafka. El valor predeterminado es `/`.	N/A	M/I
PREFERRED_LISTENER	Utilice un oyente específico para conectarse a un corredor. Si no está configurado, se utiliza el primer oyente que pasa una conexión de prueba exitosa. Los valores admitidos son `PLAINTEXT`, `SASL_PLAINTEXT`, `SSL` y `SASL_SSL`. *Tenga en cuenta que los protocolos `SASL_` solo admiten la autenticación Kerberos (GSSAPI).**	N/A	M/I

Argumentos de descubrimiento del corredor Bootstrap

Estos solo son relevantes cuando la opción autodiscover_strategy está configurada enbootstrap

' ' ' ' ' '

Configuración	Descripción	Por defecto	Se aplica a
BOOTSTRAP_BROKER_HOST	El anfitrión del corredor arrancar. If `CONSUMER_OFFSET` is set to `false` `KafkaBrokerSamples` and `KafkaTopicSamples` will be collected.	N/A	M/I
BOOTSTRAP_BROKER_KAFKA_PORT	El puerto de Kafka para el corredor de Arrancar.	N/A	M/I
BOOTSTRAP_BROKER_KAFKA_PROTOCOL	El protocolo que se utilizará para conectarse al corredor de arrancar. Los valores admitidos son `PLAINTEXT`, `SASL_PLAINTEXT`, `SSL` y `SASL_SSL`. *Tenga en cuenta que los protocolos `SASL_` solo admiten la autenticación Kerberos (GSSAPI).**	PLAINTEXT	M/I
BOOTSTRAP_BROKER_JMX_PORT	El puerto JMX que se utilizará para la recopilación en cada intermediario del clúster. Note that all discovered brokers should have JMX active on this port	N/A	M/I
BOOTSTRAP_BROKER_JMX_USER	El usuario JMX que se utilizará para la recopilación en cada intermediario del clúster.	N/A	M/I
BOOTSTRAP_BROKER_JMX_PASSWORD	La contraseña JMX que se utilizará para la recopilación en cada intermediario del clúster.	N/A	M/I

Opciones JMX

Estas opciones se aplican a todas las conexiones JMX de la instancia.

' ' ' ' ' ' ' ' ' ' ' '

Configuración	Descripción	Por defecto	Se aplica a
KEY_STORE	La ruta del archivo del almacén de claves que contiene el certificado SSL del cliente JMX.	N/A	M/I
KEY_STORE_PASSWORD	La contraseña para el almacén de claves SSL JMX.	N/A	M/I
TRUST_STORE	La ruta del archivo del almacén de claves de confianza que contiene el certificado SSL del servidor JMX.	N/A	M/I
TRUST_STORE_PASSWORD	La contraseña para el almacén de confianza JMX.	N/A	M/I
DEFAULT_JMX_USER	El usuario predeterminado que se conecta al host JMX para recolectar métrica. Si se omite el campo de nombre de usuario para un host JMX, se utilizará este valor.	admin	M/I
DEFAULT_JMX_PASSWORD	La contraseña predeterminada para conectarse al host JMX. Si se omite el campo de contraseña para un host JMX, se utilizará este valor.	admin	M/I
TIMEOUT	El tiempo de espera de la consulta JMX individual en milisegundos.	10000	M/I

Opciones de conexión TLS del corredor

Necesita estas opciones si el protocolo del corredor es SSL o SASL_SSL.

' ' ' ' ' '

Configuración	Descripción	Por defecto	Se aplica a
TLS_CA_FILE	El archivo de autoridad de certificación para escuchas SSL y SASL_SSL, en formato PEM.	N/A	M/I
TLS_CERT_FILE	El archivo de certificado de cliente para escuchas SSL y SASL_SSL, en formato PEM.	N/A	M/I
TLS_KEY_FILE	El archivo de clave de cliente para los oyentes SSL y SASL_SSL, en formato PEM.	N/A	M/I
TLS_INSECURE_SKIP_VERIFY	Omita la verificación de la cadena de certificados y el nombre de host del servidor.	false	M/I

Opciones de conexión de Broker SASL y Kerberos

Necesita estas opciones si el protocolo del corredor es SASL_PLAINTEXT o SASL_SSL.

' ' ' ' ' ' ' ' ' ' ' ' ' ' ' '

Configuración	Descripción	Por defecto	Se aplica a
SASL_MECHANISM	El tipo de autenticación SASL que se utilizará. Las opciones admitidas son `SCRAM-SHA-512`, `SCRAM-SHA-256`, `PLAIN` y `GSSAPI`.	N/A	M/I
SASL_USERNAME	Se requiere nombre de usuario SASL con los mecanismos PLAIN y SCRAM.	N/A	M/I
SASL_PASSWORD	Se requiere contraseña SASL con los mecanismos PLAIN y SCRAM.	N/A	M/I
SASL_GSSAPI_REALM	Se requiere dominio Kerberos con el mecanismo GSSAPI.	N/A	M/I
SASL_GSSAPI_SERVICE_NAME	Nombre del servicio Kerberos requerido con el mecanismo GSSAPI.	N/A	M/I
SASL_GSSAPI_USERNAME	Se requiere el nombre de usuario de Kerberos con el mecanismo GSSAPI.	N/A	M/I
SASL_GSSAPI_KEY_TAB_PATH	Ruta de la pestaña de claves Kerberos requerida con el mecanismo GSSAPI.	N/A	M/I
SASL_GSSAPI_KERBEROS_CONFIG_PATH	Ruta de configuración de Kerberos requerida con el mecanismo GSSAPI.	/etc/krb5.conf	M/I
SASL_GSSAPI_DISABLE_FAST_NEGOTIATION	Deshabilite la negociación RÁPIDA.	false	M/I

Filtrado de colección de corredores

' ' ' ' ' '

Configuración	Descripción	Por defecto	Se aplica a
LOCAL_ONLY_COLLECTION	Recoge sólo la métrica relacionada con el broker arrancar configurado. Solo se usa si `autodiscover_strategy` es `bootstrap`. Environments that use discovery (such as Kubernetes) must be set to true because othwerwise brokers will be discovered twice: By the integration, and by the discovery mechanism, leading to duplicate data. Note that activating this flag will skip KafkaTopicSample collection	false	M/I
TOPIC_MODE	Determina cuántos temas recopilamos. Las opciones son `all`, `none`, `list` o `regex`.	ninguno	M/I
TOPIC_LIST	Matriz JSON de nombres de temas a monitor. Solo tiene efecto si `topic_mode` se establece en `list`.	[]	M/I
TOPIC_REGEX	Patrón de expresiones regulares que coincide con los nombres de los temas a monitor. Solo tiene efecto si `topic_mode` se establece en `regex`.	N/A	M/I
TOPIC_BUCKET	Se utiliza para dividir la colección de temas en varias instancias. Debe tener el formato `<bucket number>/<number of buckets>`.	1/1	M/I
COLLECT_TOPIC_SIZE	Recopile la métrica Tamaño del tema. Las opciones son `true` o `false`, el valor predeterminado es `false`. This is a resource-intensive metric to collect, especially against many topics.	false	M/I
COLLECT_TOPIC_OFFSET	Recopile la métrica Desplazamiento del tema. Las opciones son `true` o `false`, el valor predeterminado es `false`. This is a resource-intensive metric to collect, especially against many topics.	false	M/I

Configurar la colección KafkaConsumerSample y KafkaProducerSample

La integración de Kafka recopila información tanto métrica (M) como de Inventario (I). Consulte la columna Applies To a continuación para encontrar qué configuraciones se pueden usar para cada colección específica:

' ' ' ' ' ' ' ' ' ' ' '

Configuración	Descripción	Por defecto	Se aplica a
CLUSTER_NAME	Nombre definido por el usuario para identificar de forma única el clúster que se está monitoreando. Required.	N/A	M/I
PRODUCERS	Productores para cobrar. Para cada productor se pueden especificar `name`, `hostname`, `port`, `username` y `password` en formato JSON. `name` es el nombre del productor tal como aparece en Kafka. Si no se establece, se recopilará la métrica de todos los productores en el host:port. `host`, `port`, `username` y `password` son las configuraciones JMX opcionales y usan la predeterminada si no se especifica. También es posible establecer el valor `default` para dejar que `name` no esté definido y usar los valores predeterminados para `host`, `port`, `username` y `password`. Requerido para producir KafkaProducerSample. Examples: `[{"host": "localhost", "port": 24, "username": "me", "password": "secret"}]` `[{"name": "myProducer", "host": "localhost", "port": 24, "username": "me", "password": "secret"}]`	[]	M/I
CONSUMERS	Consumidor para cobrar. Para cada consumidor se pueden especificar `name`, `hostname`, `port`, `username` y `password` en formato JSON. `name` es el nombre del consumidor tal como aparece en Kafka. Si no se establece, se recopilará la métrica de todos los consumidores en el host:port. `host`, `port`, `username` y `password` son las configuraciones JMX opcionales y usan la predeterminada si no se especifica. También es posible establecer el valor `default` para dejar que `name` no esté definido y usar los valores predeterminados para `host`, `port`, `username` y `password`. Requerido para producir KafkaConsumerSample. Examples: `[{"host": "localhost", "port": 24, "username": "me", "password": "secret"}]` `[{"name": "myConsumer", "host": "localhost", "port": 24, "username": "me", "password": "secret"}]`	[]	M/I
DEFAULT_JMX_HOST	El host predeterminado para recopilar JMX métrica. Si el campo host se omite en una configuración de productor o consumidor, se utilizará este valor.	host local	M/I
DEFAULT_JMX_PORT	El puerto predeterminado para recolectar JMX métrica. Si el campo de puerto se omite en una configuración de productor o consumidor, se utilizará este valor.	9999	M/I
DEFAULT_JMX_USER	El usuario predeterminado que se conecta al host JMX para recolectar métrica. Si el campo de nombre de usuario se omite en una configuración de productor o consumidor, se utilizará este valor.	admin	M/I
DEFAULT_JMX_PASSWORD	La contraseña predeterminada para conectarse al host JMX. Si el campo de contraseña se omite en una configuración de productor o consumidor, se utilizará este valor.	admin	M/I
METRICS	Establezca en `true` para habilitar la recopilación solo métrica.	false
INVENTORY	Configúrelo en `true` para habilitar la recopilación solo de inventario.	false

JMX SSL y opciones de tiempo de espera

Estas opciones se aplican a todas las conexiones JMX de la instancia.

' ' ' ' ' ' ' '

Configuración	Descripción	Por defecto	Se aplica a
KEY_STORE	La ruta del archivo del almacén de claves que contiene el certificado SSL del cliente JMX.	N/A	M/I
KEY_STORE_PASSWORD	La contraseña para el almacén de claves SSL JMX.	N/A	M/I
TRUST_STORE	La ruta del archivo del almacén de claves de confianza que contiene el certificado SSL del servidor JMX.	N/A	M/I
TRUST_STORE_PASSWORD	La contraseña para el almacén de confianza JMX.	N/A	M/I
TIMEOUT	El tiempo de espera de la consulta JMX individual en milisegundos.	10000	M/I

Configurar la colección KafkaOffsetSample

La integración Kafka recopila información tanto métrica como de inventario. Consulte la columna Applies To a continuación para encontrar qué configuraciones se pueden usar para cada colección específica:

' ' ' ' ' '

Configuración	Descripción	Por defecto	Se aplica a
CLUSTER_NAME	Nombre definido por el usuario para identificar de forma única el clúster que se está monitoreando. Required.	N/A	M/I
KAFKA_VERSION	La versión del broker Kafka al que te estás conectando, utilizada para configurar las versiones óptimas de API. Debe coincidir (o ser inferior) a la versión del broker. Es posible que a las versiones anteriores a 1.0.0 les falte alguna característica. Note that if the broker binary name is kafka_2.12-2.7.0 the Kafka api version to be used is 2.7.0, the preceding 2.12 is the Scala language version.	1.0.0	M/I
AUTODISCOVER_STRATEGY	el método de descubrimiento de corredores. Las opciones son `zookeeper` o `bootstrap`.	zookeeper	M/I
CONSUMER_OFFSET	Complete los datos de compensación del consumidor en KafkaOffsetSample si está configurado en verdadero. Note that this option will skip Broker/Consumer/Producer collection and only collect KafkaOffsetSample	false	M/I
CONSUMER_GROUP_REGEX	Patrón de expresión regular que coincide con los grupos de consumidores para los que recopilar estadísticas de compensación. Esto se limita a recopilar estadísticas para 300 grupos de consumidores. Nota: Esta opción debe configurarse cuando CONSUMER_OFFSET es verdadero.	N/A	M/I
INACTIVE_CONSUMER_GROUP_OFFSET	Recopila métricas compensadas de grupos de consumidores sin ningún CONSUMER_OFFSET activo, requiere que el consumidor esté configurado en verdadero.	false	M/I
CONSUMER_GROUP_OFFSET_BY_TOPIC	Activa una agregación extra métrica para consumerGroup por tema. requiere que el CONSUMER_OFFSET esté configurado en verdadero.	N/A	M/I
METRICS	Establezca en `true` para habilitar la recopilación solo métrica.	false
INVENTORY	Configúrelo en `true` para habilitar la recopilación solo de inventario.	false

Argumentos de descubrimiento automático de Zookeeper

Esto solo es relevante cuando la opción autodiscover_strategy está configurada en zookeeper.

' ' ' ' ' ' ' '

Configuración	Descripción	Por defecto	Se aplica a
ZOOKEEPER_HOSTS	La lista de hosts de Apache ZooKeeper (en formato JSON) que deben conectarse. If `CONSUMER_OFFSET` is set to `false` `KafkaBrokerSamples` and `KafkaTopicSamples` will be collected.	[]	M/I
ZOOKEEPER_AUTH_SCHEME	El esquema de autenticación de ZooKeeper que se utiliza para conectarse. Actualmente, el único valor admitido es `digest`. Si se omite, no se utiliza ninguna autenticación.	N/A	M/I
ZOOKEEPER_AUTH_SECRET	El secreto de autenticación de ZooKeeper que se utiliza para conectarse. Debe tener el formato `username:password`. Solo es necesario si se especifica `zookeeper_auth_scheme` .	N/A	M/I
ZOOKEEPER_PATH	El nodo Zookeeper bajo el cual reside la configuración de Kafka. El valor predeterminado es `/`.	N/A	M/I
PREFERRED_LISTENER	Utilice un oyente específico para conectarse a un corredor. Si no está configurado, se utiliza el primer oyente que pasa una conexión de prueba exitosa. Los valores admitidos son `PLAINTEXT`, `SASL_PLAINTEXT`, `SSL` y `SASL_SSL`. *Tenga en cuenta que los protocolos `SASL_` solo admiten la autenticación Kerberos (GSSAPI).**	N/A	M/I

Argumentos de descubrimiento del corredor Bootstrap

Esto solo es relevante cuando la opción autodiscover_strategy está configurada en bootstrap.

' ' ' ' ' '

Configuración	Descripción	Por defecto	Se aplica a
BOOTSTRAP_BROKER_HOST	El anfitrión del corredor arrancar. If `CONSUMER_OFFSET` is set to `false` `KafkaBrokerSamples` and `KafkaTopicSamples` will be collected.	N/A	M/I
BOOTSTRAP_BROKER_KAFKA_PORT	El puerto de Kafka para el corredor de Arrancar.	N/A	M/I
BOOTSTRAP_BROKER_KAFKA_PROTOCOL	El protocolo que se utilizará para conectarse al corredor de arrancar. Los valores admitidos son `PLAINTEXT`, `SASL_PLAINTEXT`, `SSL` y `SASL_SSL`. *Tenga en cuenta que los protocolos `SASL_` solo admiten la autenticación Kerberos (GSSAPI).**	PLAINTEXT	M/I
BOOTSTRAP_BROKER_JMX_PORT	El puerto JMX que se utilizará para la recopilación en cada intermediario del clúster. Note that all discovered brokers should have JMX active on this port	N/A	M/I
BOOTSTRAP_BROKER_JMX_USER	El usuario JMX que se utilizará para la recopilación en cada intermediario del clúster.	N/A	M/I
BOOTSTRAP_BROKER_JMX_PASSWORD	La contraseña JMX que se utilizará para la recopilación en cada intermediario del clúster.	N/A	M/I

JMX SSL y opciones de tiempo de espera

Estos se aplican a todas las conexiones JMX en una instancia.

' ' ' ' ' ' ' ' ' ' ' '

Configuración	Descripción	Por defecto	Se aplica a
KEY_STORE	La ruta del archivo del almacén de claves que contiene el certificado SSL del cliente JMX.	N/A	M/I
KEY_STORE_PASSWORD	La contraseña para el almacén de claves SSL JMX.	N/A	M/I
TRUST_STORE	La ruta del archivo del almacén de claves de confianza que contiene el certificado SSL del servidor JMX.	N/A	M/I
TRUST_STORE_PASSWORD	La contraseña para el almacén de confianza JMX.	N/A	M/I
DEFAULT_JMX_USER	El usuario predeterminado que se conecta al host JMX para recolectar métrica. Si se omite el campo de nombre de usuario para un host JMX, se utilizará este valor.	admin	M/I
DEFAULT_JMX_PASSWORD	La contraseña predeterminada para conectarse al host JMX. Si se omite el campo de contraseña para un host JMX, se utilizará este valor.	admin	M/I
TIMEOUT	El tiempo de espera de la consulta JMX individual en milisegundos.	10000	M/I

Resolución de problemas

' '

La integración de Kafka utiliza una herramienta auxiliar JMX llamada nrjmx para recuperar la métrica JMX de los corredores, consumidores y productores. JMX debe habilitarse y configurarse en todos los intermediarios del clúster. Además, es necesario ajustar el firewall para permitir conexiones desde el host que ejecuta la integración a los brokers a través del puerto JMX.

Para verificar si JMX está configurado correctamente, ejecute el siguiente comando para cada corredor desde la máquina que ejecuta la integración de Kafka. Reemplace las variables PORT, USERNAME y PASSWORD con la configuración JMX correspondiente para los intermediarios:

bash

$echo "*:*" | nrjmx -hostname MY_HOSTNAME -port MY_PORT -v -username MY_USERNAME -password MY_PASSWORD

El comando debería generar la salida mostrando una larga serie de métricas sin ningún error.

La integración podría mostrar un error como el siguiente:

bash

$KRB Error: (6) KDC_ERR_C_PRINCIPAL_UNKNOWN Client not found in Kerberos database

Verifique la tabla de claves con el comando kinit. Reemplace los campos resaltados con sus valores:

bash

$$ kinit -k -t KEY_TAB_PATH USERNAME

Si la combinación de nombre de usuario/tabla de claves es correcta, el comando anterior debería finalizar sin imprimir ningún error.

Verifique el reino usando el comando klist:

bash

$$ klist |grep "Default principal:"

Debería ver algo como esto:

bash

$Default principal: johndoe@a_realm_name

Verifique que el nombre de usuario impreso y el dominio coincidan con los parámetros sasl_gssapi_realm y sasl_gssapi_username en la configuración de integración.

Te ofrecemos esta traducción automática para facilitar la lectura.

Ajustes de configuración de integración de Kafka

Etiquetas y atributos personalizados

Datos de inventario

Configurar la colección KafkaBrokerSample y KafkaTopicSample

Argumentos de descubrimiento automático de Zookeeper

Argumentos de descubrimiento del corredor Bootstrap

Opciones JMX

Opciones de conexión TLS del corredor

Opciones de conexión de Broker SASL y Kerberos

Filtrado de colección de corredores

Configurar la colección KafkaConsumerSample y KafkaProducerSample

JMX SSL y opciones de tiempo de espera

Configurar la colección KafkaOffsetSample

Argumentos de descubrimiento automático de Zookeeper

Argumentos de descubrimiento del corredor Bootstrap

JMX SSL y opciones de tiempo de espera

Resolución de problemas

Se reportan datos duplicados

La integración está registrando errores 'zk: nodo no encontrado'

Errores de conexión JMX

Falla la autenticación Kerberos

Te ofrecemos esta traducción automática para facilitar la lectura.

Ajustes de configuración de integración de Kafka

Etiquetas y atributos personalizados .css-21sua1{background:none;border:none;width:0;padding:0;}

Datos de inventario

Configurar la colección KafkaBrokerSample y KafkaTopicSample

Argumentos de descubrimiento automático de Zookeeper

Argumentos de descubrimiento del corredor Bootstrap

Opciones JMX

Opciones de conexión TLS del corredor

Opciones de conexión de Broker SASL y Kerberos

Filtrado de colección de corredores

Configurar la colección KafkaConsumerSample y KafkaProducerSample

JMX SSL y opciones de tiempo de espera

Configurar la colección KafkaOffsetSample

Argumentos de descubrimiento automático de Zookeeper

Argumentos de descubrimiento del corredor Bootstrap

JMX SSL y opciones de tiempo de espera

Resolución de problemas

La integración está registrando errores 'zk: nodo no encontrado'

Errores de conexión JMX

Falla la autenticación Kerberos

Etiquetas y atributos personalizados