En esta ocasión vamos a incorporar un sistema de logs a nuestra aplicación python. El sistema nos va a permitir definir diferentes niveles de logs (info, debug, error, etc...) y establecer una política de rotado para evitar que el fichero de logs crezca indefinidamente.
Para ello vamos a hacer uso de la librería logging: https://docs.python.org/2/library/logging.html
Los parámetros que vamos a usar en nuestro código son:
- LOG_NAME: nombre (string) que identifique a la instancia del logger.
- LOG_FOLDER: directorio que va a contener los ficheros de logs.
- LOG_FILE: nombre del fichero de logs.
- ROTATE_TIME: momento del día en el que queremos llevar a cabo el rotado de logs. Podemos optar por los siguientes valores:
- LOG_COUNT: número total de ficheros que queremos mantener. Una vez superado este valor, se borrarán los ficheros más antiguos.
- LOG_LEVEL: level de logs. Los valores posibles son los siguientes:
- LOG_FORMAT: formato de los logs. Podemos definir una plantilla incluyendo el orden de los elementos, gravedad y el timestamp.
Un ejemplo, en el caso de un sistema unix o linux, podría ser:
También podemos añadir en el propio código del logger la opción de chequear si el directorio existe, y en caso contrario intentar crearlo, aunque de nuevo el usuario debe tener permisos para poder crear el directorio. El código sería algo como lo siguiente:
En nuestro caso vamos a suponer que el directorio LOG_FOLDER existe y que el usuario con el que vamos a ejecutar el código tiene permisos de escritura sobre el directorio.
De este modo el código quedaría del siguiente modo:
Si nuestra aplicación python se compone de varios ficheros o si queremos trazar logs desde varios ficheros, resulta tedioso y poco práctico tener que incluir este código del logger en cada fichero. Para evitarlo vamos a ver como definir nuestro logger como un módulo.
Supongamos que nuestra aplicación está formada por n ficheros en el directorio my-app-python:
Para ello vamos a construir un fichero mylogger.py con el siguiente contenido:
Podéis comprobar como los ficheros efectivamente rotan y además se eliminan los fichero más antiguos según el número de ficheros que configuréis en LOG_COUNT
Para ello vamos a hacer uso de la librería logging: https://docs.python.org/2/library/logging.html
Los parámetros que vamos a usar en nuestro código son:
- LOG_NAME: nombre (string) que identifique a la instancia del logger.
- LOG_FOLDER: directorio que va a contener los ficheros de logs.
- LOG_FILE: nombre del fichero de logs.
- ROTATE_TIME: momento del día en el que queremos llevar a cabo el rotado de logs. Podemos optar por los siguientes valores:
- LOG_LEVEL: level de logs. Los valores posibles son los siguientes:
- LOG_FORMAT: formato de los logs. Podemos definir una plantilla incluyendo el orden de los elementos, gravedad y el timestamp.
Un ejemplo, en el caso de un sistema unix o linux, podría ser:
LOGGER_NAME= 'my-logger'
LOG_FOLDER = '/var/log/my-app/'
LOG_FILE = 'my-app.log'
ROTATE_TIME = 'midnight'
LOG_LEVEL = 'DEBUG'
LOG_COUNT = 10
LOG_FORMAT = '%(asctime)s %(levelname)s %(message)s'
También podemos añadir en el propio código del logger la opción de chequear si el directorio existe, y en caso contrario intentar crearlo, aunque de nuevo el usuario debe tener permisos para poder crear el directorio. El código sería algo como lo siguiente:
import os
log_folder = os.path.dirname(LOG_FOLDER)
if not os.path.exists(log_folder):
try:
os.makedirs(log_folder)
except Exception as error:
print 'Error creating the log folder: %s' % (str(error))
En nuestro caso vamos a suponer que el directorio LOG_FOLDER existe y que el usuario con el que vamos a ejecutar el código tiene permisos de escritura sobre el directorio.
De este modo el código quedaría del siguiente modo:
import logging.handlers
import sys
LOGGER_NAME= 'my-logger'
LOG_FOLDER = '/var/log/my-app/'
LOG_FILE = 'my-app.log'
LOG = LOG_FOLDER + LOG_FILE
ROTATE_TIME = 'midnight'
LOG_LEVEL = logging.DEBUG
LOG_COUNT = 5
LOG_FORMAT = '%(asctime)s %(levelname)s %(message)s'
try:
logger = logging.getLogger(LOGGER_NAME)
loggerHandler = logging.handlers.TimedRotatingFileHandler(filename=LOG , when=ROTATE_TIME, interval=1, backupCount=LOG_COUNT)
formatter = logging.Formatter(LOG_FORMAT)
loggerHandler.setFormatter(formatter)
logger.addHandler(loggerHandler)
logger.setLevel(LOG_LEVEL)
except Exception as error:
print "Error with logs: %s" % (str(error))
sys.exit()
logger.info("writing log with info level")
logger.error("writing log with error info. string %s | integer : %d", 'parameter string', 78 )
logger.debug("writting debug record")
2017-12-15 22:24:32,437 INFO writing log with info level
2017-12-15 22:24:32,438 ERROR writing log with error info. string parameter string | integer : 78
2017-12-15 22:24:32,438 DEBUG writting debug record
Si nuestra aplicación python se compone de varios ficheros o si queremos trazar logs desde varios ficheros, resulta tedioso y poco práctico tener que incluir este código del logger en cada fichero. Para evitarlo vamos a ver como definir nuestro logger como un módulo.
Supongamos que nuestra aplicación está formada por n ficheros en el directorio my-app-python:
my-app-python folder
|_ _ _ _ _ _ my-app-file-1.py
|_ _ _ _ _ _ my-app-file-2.py
...............
|_ _ _ _ _ _ my-app-file-n.py
Para ello vamos a construir un fichero mylogger.py con el siguiente contenido:
import logging.handlers
import sys
LOGGER_NAME= 'my-logger'
LOG_FOLDER = '/var/log/my-app/'
LOG = LOG_FOLDER + LOG_FILE
LOG_FILE = 'my-app.log'
ROTATE_TIME = 'midnight'
LOG_LEVEL = logging.DEBUG
LOG_COUNT = 5
LOG_FORMAT = '%(asctime)s %(levelname)s %(message)s'
try:
logger = logging.getLogger(LOGGER_NAME)
loggerHandler = logging.handlers.TimedRotatingFileHandler(logfile=LOG , when=ROTATE_TIME, interval=1, backupCount=LOG_COUNT)
formatter = logging.Formatter(LOG_FORMAT)
loggerHandler.setFormatter(formatter)
logger.addHandler(loggerHandler)
logger.setLevel(LOG_LEVEL)
except Exception as error:
print "Error with logs: %s" % (str(error))
sys.exit()
def getLogger():
return logger
utils folder
|_ _ _ _ _ _ __init__.py (empty file)
|_ _ _ _ _ _ mylogger.py
my-app-python folder
|_ _ _ _ _ _ my-app-file-1.py
|_ _ _ _ _ _ my-app-file-2.py
...............
|_ _ _ _ _ _ my-app-file-n.py
|_ _ _ _ _ _ utils folder
|_ _ _ _ _ _ __init__.py (empty file)
|_ _ _ _ _ _ mylogger.py
from utils import mylogger
logger = mylogger.getLogger()
logger.info("info record")
logger.error("error record")
try:
blalbla
except Exception as error:
logger.error("Error at code: %s" , str(error)
Podéis comprobar como los ficheros efectivamente rotan y además se eliminan los fichero más antiguos según el número de ficheros que configuréis en LOG_COUNT
