Tutorial de NerdGraph: transmita los datos a un AWS Kinesis Firehose, Azure Event Hub o GCP Pub/Sub

Esta API le permite crear una regla de exportación de transmisión para enviar datos a AWS Kinesis Firehose.

parámetro de entrada

Solicitud de muestra

mutation {
  streamingExportCreateRule(
    accountId: YOUR_NR_ACCOUNT_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "SELECT * FROM NodeStatus"
      payloadCompression: DISABLED
    }
    awsParameters: {
      awsAccountId: "YOUR_AWS_ACCOUNT_ID"
      deliveryStreamName: "FIREHOSE_STREAM_NAME"
      region: "SPECIFY_AWS_REGION"
      role: "firehose-role"
    }
  ) {
    id
    status
  }
}

Respuesta: recibe una respuesta con el ID de la regla y el estado. El estado será CREATION_IN_PROGRESS inicialmente, y la regla puede tardar hasta seis minutos en completar la creación.
Puntos a tener en cuenta: antes de que la regla termine de registrarse, no puede iniciar otra acción de mutación (como Enable, Disable o Update) porque la regla está bloqueada para el proceso de creación. Si intenta otra acción de mutación antes de que la regla complete el proceso de registro, obtendrá un mensaje como: “La regla de exportación se está actualizando actualmente por otra solicitud, espere e intente nuevamente más tarde”.

Puedes utilizar Delete en cualquier momento.

La creación puede finalizar y cambiar el estado en cualquier momento dentro de los aproximadamente seis minutos necesarios para la creación de la regla. El estado cambiará a ENABLED, DISABLED o CREATION_FAILED.

Vea estos detalles sobre los valores:

• ENABLED significa que la regla se creó correctamente y los datos comenzaron a transmitirse.
• CREATION_FAILED significa que la regla falló en la creación. Esto puede suceder por varios motivos, pero a menudo se debe a un error en la política de AWS o en la validación de SAS de Azure.
• DISABLED significa que la regla se creó pero aún no está habilitada debido a motivos como que se alcanzó el límite de flujo de filtro o que falló la creación de la regla de flujo de filtro. Si el estado sigue siendo CREATION_IN_PROGRESS después de seis minutos, eso significa que la creación de la regla falló debido a un error del sistema en nuestro servicio. Puede eliminar la regla e intentar crear una nueva nuevamente.

Esta API le permite recuperar una lista completa de todas las reglas de stream asociadas con su ID de cuenta.

Solicitud de muestra

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRules {
          aws {
            awsAccountId
            region
            deliveryStreamName
            role
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

Esta API le permite consultar información sobre una regla de flujo específica proporcionando el ID de cuenta y el ID de regla.

Solicitud de muestra

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRule(id: "RULE_ID") {
          aws {
            awsAccountId
            deliveryStreamName
            region
            role
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

Esta API le permite modificar una regla de exportación de transmisión existente.

parámetro de entrada

Solicitud de muestra

mutation {
  streamingExportUpdateRule(
    id: RULE_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "YOUR_NRQL_QUERY"
      payloadCompression: DISABLED
    }
    awsParameters: {
      awsAccountId: "YOUR_AWS_ACCOUNT_ID"
      deliveryStreamName: "FIREHOSE_STREAM_NAME"
      region: "SPECIFY_AWS_REGION"
      role: "firehose-role"
    }
  ) {
    id
    status
  }
}

Respuesta: recibe una respuesta con el ID de la regla y el estado.
Puntos a tener en cuenta: al actualizar, recibirá un mensaje en el campo de mensaje: “la regla de exportación se está actualizando y el proceso puede tardar unos minutos en completarse. Vuelva a comprobarlo más tarde.” Puede tardar hasta seis minutos en actualizarse por completo.

Puede comprobar si la regla está actualizada llamando a streamingRule para recuperar la regla. Durante el período en que la regla se está actualizando, la regla está bloqueada y ninguna otra acción de mutación puede actuar sobre la regla. Si intenta realizar otra acción de mutación en la misma regla, recibirá un mensaje que dice: “la regla de exportación se está actualizando actualmente por otro request, espere y vuelva a intentarlo más tarde.” Un usuario puede actualizar una regla de cualquier estado, excepto una regla eliminada.

Esta API le permite habilitar una regla de streaming existente, lo que facilita la exportación continua de datos para el procesamiento en tiempo real y la integración con otros servicios.

parámetro de entrada

Solicitud de muestra

mutation {
  streamingExportEnableRule(id: RULE_ID) {
    id
    status
    message
  }
}

Respuesta: si intenta habilitar una regla que está en otro estado, devuelve el mensaje de error como: “La regla de exportación no se puede habilitar ni deshabilitar debido a que el estado no está permitido”. No puede habilitar la regla si la regla está bloqueada debido a que se está realizando otra mutación.

Esta API le permite deshabilitar una regla de streaming existente, lo que detiene la exportación continua de datos.

parámetro de entrada

Solicitud de muestra

mutation {
  streamingExportDisableRule(id: RULE_ID) {
    id
    status
    message
  }
}

Respuesta: si intenta deshabilitar una regla que está en otro estado, devuelve un mensaje de error como “The export rule can't be enabled or disabled due to status not being allowed”. No puede deshabilitar la regla si está bloqueada debido a que se está realizando otra mutación.

Esta API le permite eliminar una regla de transmisión y detener toda la exportación de datos relacionada con esa regla.

parámetro de entrada

Solicitud de muestra

mutation {
  streamingExportDeleteRule(id: RULE_ID) {
    id
  }
}

Esta API le permite crear una regla de exportación de transmisión para enviar datos a un centro de eventos de Azure.

parámetro de entrada

Solicitud de muestra

mutation {
  streamingExportCreateRule(
    accountId: YOUR_NR_ACCOUNT_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "SELECT * FROM NodeStatus"
      payloadCompression: DISABLED
    }
    azureParameters: {
      eventHubConnectionString: "YOUR_EVENT_HUB_SAS_CONNECTION_STRING"
      eventHubName: "YOUR_EVENT_HUB_NAME"
    }
  ) {
    id
    status
  }
}

Respuesta: recibe una respuesta con el ID de la regla y el estado. El estado será CREATION_IN_PROGRESS inicialmente, y puede tomar hasta seis minutos para que la regla complete su creación.

Esta API le permite recuperar una lista completa de todas las reglas de stream asociadas con su ID de cuenta.

Solicitud de muestra

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRules {
          azure {
            eventHubConnectionString
            eventHubName
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

Esta API le permite consultar información sobre una regla de flujo específica proporcionando el ID de cuenta y el ID de regla.

Solicitud de muestra

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRule(id: "RULE_ID") {
          azure {
            eventHubConnectionString
            eventHubName
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

Esta API le permite modificar una regla de exportación de transmisión existente.

parámetro de entrada

Solicitud de muestra

mutation {
  streamingExportUpdateRule(
    id: RULE_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "YOUR_NRQL_QUERY"
      payloadCompression: DISABLED
    }
    azureParameters: {
      eventHubConnectionString: "YOUR_EVENT_HUB_SAS_CONNECTION_STRING"
      eventHubName: "YOUR_EVENT_HUB_NAME"
    }
  ) {
    id
    status
  }
}

Respuesta: recibe una respuesta con el ID de la regla y el estado.

Para habilitar una regla de streaming existente, lo que facilita la exportación continua de datos para el procesamiento en tiempo real y la integración con otros servicios, consulte aquí.

Para deshabilitar una regla de streaming existente, lo que detiene la exportación continua de datos, consulte aquí.

Para eliminar una regla de streaming y detener toda la exportación de datos relacionada con esa regla, consulte aquí.

Esta API le permite crear una regla de exportación de streaming para enviar datos a GCP Pub/Sub.

parámetro de entrada

Solicitud de muestra

mutation {
  streamingExportCreateRule(
    accountId: YOUR_NR_ACCOUNT_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "SELECT * FROM NodeStatus"
      payloadCompression: DISABLED
    }
    gcpParameters: {
      gcpProjectId: "project-id"
      pubsubTopicId: "pub-sub-topic-id"
    }
  ) {
    id
    status
  }
}

Respuesta: recibe una respuesta con el ID de la regla y el estado. El estado será CREATION_IN_PROGRESS inicialmente, y puede tomar hasta seis minutos para que la regla complete su creación.

Esta API le permite recuperar una lista completa de todas las reglas de stream asociadas con su ID de cuenta.

Solicitud de muestra

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRules {
          gcp {
            gcpProjectId
            pubsubTopicId
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

Esta API le permite consultar información sobre una regla de flujo específica proporcionando el ID de cuenta y el ID de regla.

Solicitud de muestra

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRule(id: "RULE_ID") {
          gcp {
            gcpProjectId
            pubsubTopicId
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

Esta API le permite modificar una regla de exportación de transmisión existente.

parámetro de entrada

Solicitud de muestra

mutation {
  streamingExportUpdateRule(
    id: RULE_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "YOUR_NRQL_QUERY"
      payloadCompression: DISABLED
    }
    gcpParameters: {
      gcpProjectId: "project-id"
      pubsubTopicId: "pub-sub-topic-id"
    }
  ) {
    id
    status
  }
}

Respuesta: recibe una respuesta con el ID de la regla y el estado.

Para habilitar una regla de streaming existente, lo que facilita la exportación continua de datos para el procesamiento en tiempo real y la integración con otros servicios, consulte aquí.

Para deshabilitar una regla de streaming existente, lo que detiene la exportación continua de datos, consulte aquí.

Para eliminar una regla de streaming y detener toda la exportación de datos relacionada con esa regla, consulte aquí.

Los puntos de acceso funcionan como métodos separados mediante los cuales se puede acceder y descargar objetos en depósitos de S3. AWS proporciona una característica llamada Puntos de acceso de objetos Lambda, que realizan una función Lambda en cada objeto S3 al que se accede a través del punto de acceso. Siga estos pasos para habilitar dicho punto de acceso:

1. Navegue a esta página y haga clic en el enlace al repositorio sin servidor.

2. Haga clic en Deploy.

3. Configure un punto de acceso en su depósito S3.

4. Cree un punto de acceso de Object Lambda. Este punto de acceso debe tener estas configuraciones:

   • El Supporting Access Point de este punto de acceso Lambda deberá configurarse en el punto de acceso que configuró en el depósito S3.
   • Bajo Transformation Configuration:
   • Seleccione GetObject.
   • Especifique la función Lambda DecompressGZFunction, u otra función necesaria si utiliza un formato de compresión diferente.

AWS descomprimirá automáticamente los objetos descargados de S3, si esos objetos tienen los metadatos correctos configurados. Hemos escrito una función que aplica automáticamente estos metadatos a cada nuevo objeto descargado a un objeto S3 establecido. Aquí se explica cómo configurarlo:

1. Navegue aquí, clone el repositorio localmente y siga los pasos proporcionados en el archivo README para generar un archivo ZIP que contenga la función Lambda.
2. Cree un rol de IAM para la función.

• Al crear el rol, asegúrese de configurar el tipo de entidad confiable como "servicios de AWS", con "Lambda" como su caso de uso.
• Este rol debe tener una política con estos permisos: s3:PutObject y s3:GetObject.

3. En AWS, navegue hasta la página de función Lambda.

4. Haga clic en Create function.

5. Seleccione el entorno de ejecución de Java 11.

6. Haga clic en Change default execution role > Use an existing role. Ingrese aquí el rol que creó en el paso 2.

7. Desplácese hacia abajo y haga clic en Create function.

8. Una vez creada la función, haga clic en Upload from y seleccione .zip or .jar file en el menú desplegable.

9. Haga clic en Upload en el cuadro que aparece y seleccione el archivo ZIP creado en el paso 1.

10. Una vez que haya finalizado la carga, haga clic en Save para salir del cuadro emergente.

11. Edite Runtime settings agregando el controlador. En nuestra función proporcionada, el controlador es metadatasetter.App::handleRequest.

12. Todo lo que queda por hacer ahora es habilitar esta función Lambda para que se active al crear objetos S3. Haga clic en Add trigger para comenzar a configurarlo.

13. En el menú desplegable, seleccione S3 como fuente.

14. Ingrese el nombre del depósito de S3 al que desea aplicar los metadatos en el campo Bucket .

15. Elimine el All object create events predeterminado de los tipos de eventos. En el menú desplegable de tipos de eventos, seleccione PUT.

16. Marque la casilla Recursive invocation y luego haga clic en Add en la parte inferior derecha.

    La función Lambda ahora comenzará a agregar automáticamente los metadatos de compresión a todos los objetos S3 recién agregados.