Los sistemas modernos crean enormes cantidades de logs. No todos son útiles. De hecho, existe una alta probabilidad de que cuando mires tu log descubras que la mayoría no son útiles. Es posible que tenga un servicio que genere logs para cada carga de página o un servicio de respaldo para el cual nunca necesite monitor el log.
Con New Relic puede crear reglas de eliminación que observen su log e ignoren el log que no haya seleccionado para la ingesta. Esto tiene algunos beneficios clave:
- Reduzca los costos almacenando solo el log relevante para su cuenta.
- Reducir costos eliminando atributos específicos
- Reduzca el trabajo almacenando únicamente logs valiosos.
Cómo funcionan las reglas de filtro de caída
Una regla de filtro de caída coincide con datos basados en una consulta. Cuando se activa, la regla de filtro de eliminación elimina los datos coincidentes de la canalización de ingesta antes de escribirlos en la base de datos de New Relic (NRDB).
Esto crea una distinción entre el log que se reenvía desde su dominio y los datos que recopila New Relic. Dado que los datos eliminados por la regla de filtro de caída no llegan a nuestro backend, no se pueden consultar: los datos desaparecieron y no se pueden restaurar.
Decide qué log soltar
Decidir qué log conservar y qué log descartar es una decisión muy específica de cada equipo y organización. Un log valioso para una organización puede no serlo para otra. De todos modos, aquí hay algunas sugerencias sobre cómo decidir qué logs son valiosos y cuáles descartar:
- What logs does your team rely on today?: Si su equipo ya revisa manualmente un subconjunto de logs con regularidad, eso indica que esos logs son valiosos y no deben descartarse. Del mismo modo, si hay un conjunto de logs que su equipo nunca mira, eso podría indicar que deben eliminarse.
- What apps and systems produce the most logs?: Una aplicación o sistema que crea una gran cantidad de logs indica que debes dedicar tiempo a decidir qué hacer con esos logs. ¿Es una aplicación valiosa y ampliamente utilizada que indica que debes conservar la mayor parte del log? ¿Es un sistema redundante que arroja logs con un valor mínimo?
Tenga en cuenta que, si bien una aplicación o un sistema rara vez se utiliza, eso no significa que su log no tenga valor. Odiaría eliminar el log de una aplicación que apenas se usa solo para que esa aplicación deje de funcionar en unos meses sin una manera fácil de solucionar el problema.
Durante la ingesta, los datos log de los clientes se pueden analizar, transformar o eliminar antes de almacenarlos en la base de datos de New Relic (NRDB).
Filtre su ingesta log
Los siguientes pasos le guiarán sobre cómo colocar el log en la UI de New Relic.
Digamos que Acme Corp crea 2 TB de logs cada día. Deciden que son demasiados logs para ingerir por razones de costo y usabilidad. Echan un vistazo a su log y se dan cuenta de que más de la mitad de su log diario proviene de una aplicación Node.js legacy . Si bien necesitan mantener la aplicación disponible, no les importa el log creado por esta aplicación. Decidieron eliminar todos los logs creados desde la aplicación Node.js.
Navega a la UI
Crea tu regla de caída
Filtre o consulte el conjunto específico de logs que contiene los datos que desea eliminar.
Hay algunas formas de hacer esto, pero la más sencilla es consultar el log que desea eliminar. En este caso, haría lo siguiente:
- Seleccione All partitions cerca de la barra de búsqueda.
- Ingrese su consulta. En este caso
logtype=node. - Presione Intro y confirme que aparezca el log correcto.
- Una vez que la consulta esté activa, haga clic en Create drop filter en el navegador izquierdo.
- Asigne un nombre significativo a la regla de caída.
- Guarde la regla de filtro de caída.
Soltar atributo
Acme Corp todavía quiere reducir su ingesta. Decidieron que no necesitan cierto atributo en su log almacenado, por lo que deciden eliminar atributos como purchase_order.
- En All logs, haga clic en un log que contenga el atributo que desea eliminar para abrir la vista detallada log .
- Haga clic en el atributo que desea soltar para abrir el menú de atributos. En este caso
purchase_order. - Haga clic en Create drop filter from attribute.
- Asigne un nombre significativo a la regla de caída.
- Guarde la regla de filtro de caída.
Repita los pasos anteriores tantas veces como sea necesario hasta que esté satisfecho con la ingesta log . Si necesita ayuda para consultar logs y atributos, consulte nuestro documento sobre sintaxis específica log o nuestro documento sobre filtrado log más complejo.