Skip to main content

Implements methods and models for remote monitoring with Kafka and Grafana.

Project description

Monitorización

Este proyecto incluye un módulo empaquetado "proc_monitoring", el cual contiene métodos para enviar métricas hacia sistemas Kafka.

Requisitos

Los requisitos para instalar y ejecutar el proyecto son:

  • Un IDE o un editor de código:

    • IDE: PyCharm
    • Editores de Código: Visual Studio Code, Notepad++, VIM
  • Un entorno de Python 3.6.8 mínimo con las siguientes librerías:

    • PyYAML
    • requests
    • paramiko
    • kafka-python
    • library-commons
  • Si se utiliza en Windows, también instalar los paquetes:

    • win-inet-python
  • Opcionalmente, si se requiere ejecutar un entorno local de kafka para realizar pruebas, se pueden utilizar las siguientes imágenes docker para construir el entorno:

    • confluentinc/cp-zookeeper
    • confluentinc/cp-kafka
      En el directorio "docker" hay un fichero para construir el entorno local de kafka con docker.

Instalación

Para instalar el programa localmente o en un Linux remoto:

  1. Descargar o clonar el proyecto desde el repositorio.
  2. Asegurarse de tener un entorno de Python funcional con la versión requerida y los paquetes necesarios.
  3. Activar el entorno de Python que fue creado.
  4. Instalar el módulo ejecutando este comando en la ruta del proyecto:
python setup.py install

Se puede instalar docker y ejecutar el comando docker-compose up en el directorio "docker" para crear un entorno de pruebas con Kafka instalado y así depurar fallos en el envío de métricas a Kafka.

Configuration

Los argumentos para linea de comandos del script principal executor.py son:

  • -cf/--config-file: Describe los nodos lanzados en la ejecución y su configuración.
  • -w/--whatif: Si se establece, el script se ejecutará normalmente pero no cambiará ningún dato persistente.
  • -i/--info: Si se establece, mostrará en pantalla la información de cada uno de los pasos del lanzamiento del script.
  • -d/--debug: Si se establece, aumentará el nivel de información mostrada en pantalla, generalmente solo se usa para depurar errores.
  • -h/--help: Muestra un mensage de ayuda del script.

Para configurar los nodos a monitorizar o modificar el servidor Kafka al que se envían las métricas, modificar el fichero configuration.yaml. Este fichero está dividido en 3 objetos principales, "nodos", "argumentos" y "conexiones":

  • Nodos(nodes): En esta sección los nodos son declarados y configurados. Para añadir un nodo, simplemente añadir una entrada a la lista de nodos, con el parámetro type especificando el nombre completo de la clase a la que debería de ser instanciada, y el parámetro args especificando el diccionario de argumentos que se pasaría a la clase. Cada tipo de nodo que se defina en un futuro, debería de estar documentado en el directorio docs.

  • Argumentos(args): En esta sección los argumentos son creados y definidos. El valor de estos argumentos, es obtenido posteriormente desde la clase nodo concreta para ser utilizado.

  • Conexiones(connection_refs): En esta sección se definen las conexiones necesarias para recabar métricas y enviarlas, como por ejemplo, la uri de la API de NSX y sus credenciales, o la IP del servidor Kafka al que se van a envíar las métricas. Posteriormente se accede a estás conexiones definidas desde la sección args de cada nodo.

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Built Distribution

Supported by

AWS AWS Cloud computing Datadog Datadog Monitoring Facebook / Instagram Facebook / Instagram PSF Sponsor Fastly Fastly CDN Google Google Object Storage and Download Analytics Huawei Huawei PSF Sponsor Microsoft Microsoft PSF Sponsor NVIDIA NVIDIA PSF Sponsor Pingdom Pingdom Monitoring Salesforce Salesforce PSF Sponsor Sentry Sentry Error logging StatusPage StatusPage Status page