Integración OpenAI

Con nuestra integración de OpenAI, tiene la capacidad de monitor sin problemas todas las consultas de OpenAI. Al agregar solo dos líneas de código, su equipo puede obtener acceso a métricas clave de rendimiento, como costo, tiempo de respuesta, límites de tasa, tasa de errores, historial de chat y muestras de entradas y salidas. Nuestra integración OpenAI proporciona métricas en tiempo real para ayudar a las empresas a optimizar el uso, reducir costos y lograr mejores resultados.

Importante

Para instrumentar su aplicación impulsada por OpenAI, recomendamos usar el monitoreo de IA en lugar de este método de instalación más antiguo. Consulte nuestra documentación para comenzar.

Esta guía le mostrará cómo integrar su aplicación OpenAI para que pueda comenzar a monitorear sus datos.

Instalar OpenAI con pip

Una vez que haya completado su importación de OpenAI, ejecute:

bash

$pip install nr-openai-observability

Establece tu variable de entorno

Obtenga su y configúrelo como variable de entorno: NEW_RELIC_LICENSE_KEY.

Para obtener más detalles e instrucciones, consulte nuestra documentación de la API REST.

bash

$export NEW_RELIC_LICENSE_KEY=<license key>

import os
os.environ["NEW_RELIC_LICENSE_KEY"] = "<license key>"

Su NEW_RELIC_LICENSE_KEY también se puede enviar como parámetro en la llamada monitor.initialization() .

Modifica tu código

Agregue las siguientes dos líneas a su código:

from nr_openai_observability import monitor
monitor.initialization()

Añade tu dashboard

Para agregar el dashboard a su cuenta New Relic:

import os

import openai
from nr_openai_observability import monitor

monitor.initialization()

openai.api_key = os.getenv("OPENAI_API_KEY")
openai.Completion.create(
    model="text-davinci-003",
    prompt="What is Observability?",
    max_tokens=20,
    temperature=0 
)

Instalar OpenAI

Utilice npm y ejecute:

bash

$npm install @newrelic/openai-observability openai

Modifica tu código

Llame a monitorOpenAI con su cliente OpenAI configurado.

Aquí hay un código de ejemplo:

import { Configuration, OpenAIApi } from 'openai';
import { monitorOpenAI } from '@newrelic/openai-observability';

const configuration = new Configuration({
  apiKey: 'OPENAI_API_KEY',
});

const openAIApi = new OpenAIApi(configuration);

monitorOpenAI(openAIApi, {
  applicationName: 'MyApp',
  newRelicApiKey: 'NEW_RELIC_LICENSE_KEY',
});

const response = await openAIApi.createChatCompletion({
  model: 'gpt-3.5-turbo',
  messages: [{ role: 'user', content: 'What is Observability?' }],
});

console.log(response.data.choices[0].message);

Cerciorar de agregar el tipo de módulo a package.json:

"type": "module"

Opciones de inicialización

export interface MonitorOpenAIOptions {
  /**
   * Your application name in New Relic, must provided.
   */
  applicationName: string;
  /**
   * API key with insert access used to authenticate the request.
   * For more information on creating keys, please see:
   * https://docs.newrelic.com/docs/insights/insights-data-sources/custom-data/introduction-event-api#register
   */
  newRelicApiKey?: string;
  /**
   * Optional host override for event endpoint.
   */
  host?: string;
  /**
   * Optional port override for trace endpoint.
   */
  port?: number;
}

Usuarios de cuentas de la UE y JP

Si está utilizando una cuenta de EU o JP, debe configurar su EVENT_CLIENT_HOST de la siguiente manera:

Cuenta de la UE:

bash

$export EVENT_CLIENT_HOST="insights-collector.eu01.nr-data.net"

import os
os.environ["EVENT_CLIENT_HOST"] = "insights-collector.eu01.nr-data.net"

Cuenta de JP:

bash

$export EVENT_CLIENT_HOST="insights-collector.jp.nr-data.net"

import os
os.environ["EVENT_CLIENT_HOST"] = "insights-collector.jp.nr-data.net"

Encuentra tus datos

Una vez que haya integrado OpenAI, siga estos pasos para encontrar datos de observabilidad:

De one.newrelic.com.
Haga clic en Model Performance.
Busque en Applications.

Mira como funciona

Si tiene dificultades con estas instrucciones, le recomendamos que vea este vídeo de demostración.

Te ofrecemos esta traducción automática para facilitar la lectura.

Importante

Instalar para la aplicación Python

Instalar OpenAI con pip

Establece tu variable de entorno

Modifica tu código

Añade tu dashboard

Instalar con Node.js

Instalar OpenAI

Modifica tu código

Opciones de inicialización

Usuarios de cuentas de la UE y JP

Encuentra tus datos

Mira como funciona