Skip to main content

Model Monitoring

Project description

Status

Repository model_monitoring


La repository contiene il codice per implementare il monitoring dei sistemi di ML in produzione con 8 classi:

  1. PerformancesMeasures per computare le perfomances delle metriche
  2. PerfomancesDrift per computare il drift delle performances tra dati corrrenti e dati storici e generare un sistema di alerting
  3. DataDrift per computare il drift di dati tramite PSI (Population Stability Index) o test statistici (KS e Chi-Quadro) tra dati corrrenti e dati storici e generare un sistema di alerting
  4. ReferenceMetaData per computare un dizionario di metadati a partire da uno di riferimento
  5. FairnessMeasures per computare le performances delle metriche di fairness
  6. FairnessDrift per computare il drift delle performances di fairness tra dati corrrenti e dati storici e generare un sistema di alerting
  7. XAI per computare la spiegabilità di un modello tramite lo scoring delle features nelle predizioni
  8. XAIDrift per computare il drift nella spiegabilità del modello e generare un sistema di alerting

Guida per sviluppatori

  • main branch ha una Policy che evita di inserire codice direttamente su di esso. Sono consentite solo Pull requests. Le Pull requests devono essere approvate da almeno 2 revisori, uno dei quali può essere il richiedente.
  • Come best practice, il nome del ramo dovrebbe seguire questa convenzione di denominazione: NNN-related_work_item dove NNN è il numero assegnato da Azure all'elemento di lavoro correlato al ramo e related_work_item è il nome dell'elemento di lavoro sostituendo ' ' (spazi bianchi) con '_' (underscores). Tra il numero e il nome usa '-' (segno meno).
  • Usa un virtual environment dedicato (guarda le note per il codice).
  • Ricorda di riempire ed installare in modo opportuno i requirements.
pip install -r requirements.txt  --trusted-host artifactory.group.credem.net  -i https://artifactory.group.credem.net/artifactory/api/pypi/virtualPypi/simple
  • Ricorda di intallare il pre-commit (solo per la prima volta)
pre-commit install
  • Si noti che il pacchetto model_monitoring viene installato automaticamente installando i requirements. Se i requirements non vengono utilizzati, eseguire quanto segue per installare in editable mode:
pip install -e .

Struttura

model_monitoring/
|
└─── .pre-commit-config.yaml
|
└─── pyproject.toml
|
└─── LICENCE
|
└─── MANIFEST.in
|
└─── README.md
|
└─── requirements.txt
|
└─── setup.py
|
└─── .gitignore
|
└─── src/
    |
    └─── model_monitoring/
        |
        └─── __init__.py
        |
        └─── additional_metrics.py
        |
        └─── config.py
        |
        └─── imputer.py
        |
        └─── utils.py
        |
        └─── config
        |       params.yml
        |       algorithm_settings.yml
        └─── model_performance
        |       __init__.py
        |       model_performance.py
        └─── perfomance_measures
        |       __init__.py
        |       performance_measures.py
        └─── data_drift
        |       __init__.py
        |       data_drift.py
        └─── reference_metadata
        |       __init__.py
        |       reference_metadata.py
        └─── fairness_measures
        |       __init__.py
        |       fairness_measures.py
        └─── fairness_drift
        |       __init__.py
        |       fairness_drift.py
        └─── XAI
        |       __init__.py
        |       XAI.py
        └─── XAI_drift
        |       __init__.py
        |       XAI_drift.py

Utilizzo

Settare i parametri di configurazione algorithm_settings.yml contenuto in config/ per definire i parametri generali delle classi e il path di salvataggio dei reports. Settare i parametri di configurazione in params.yml contenuto in config/ per cambiare i parametri di threshold di default. Una volta settati i parametri, si può lanciare un eventuale script python main.py che a seconda dei parametri di configurazione printerà gli Alert di Performances, Data Drift, Fairness e XAI se ve ne sono, e salva i report riassuntivi delle classi.

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

model_monitoring-2.0.2.tar.gz (44.2 kB view details)

Uploaded Source

Built Distribution

model_monitoring-2.0.2-py3-none-any.whl (49.5 kB view details)

Uploaded Python 3

File details

Details for the file model_monitoring-2.0.2.tar.gz.

File metadata

  • Download URL: model_monitoring-2.0.2.tar.gz
  • Upload date:
  • Size: 44.2 kB
  • Tags: Source
  • Uploaded using Trusted Publishing? No
  • Uploaded via: twine/4.0.2 CPython/3.9.13

File hashes

Hashes for model_monitoring-2.0.2.tar.gz
Algorithm Hash digest
SHA256 d35f18ebe0b9c3e09ffafa2e2a9b13ca2374ed93cd11569ea22d20f1c133f202
MD5 9cb65111775ef1872117bc8d81e9eb51
BLAKE2b-256 70505ecb0d5a3b3e5c074283d48f5c9c657d04f515ee90691c7f0f9744003f8d

See more details on using hashes here.

File details

Details for the file model_monitoring-2.0.2-py3-none-any.whl.

File metadata

File hashes

Hashes for model_monitoring-2.0.2-py3-none-any.whl
Algorithm Hash digest
SHA256 88f85a662cd21ad5efd493ff45e8929bdb8433e86a7c7df283499f03ef5a4996
MD5 3395c40fcae95c0d46f3174c1f22822a
BLAKE2b-256 15f821439456d6e691b955201b193ff6c249ae382fa974074c936ea6da9fd546

See more details on using hashes here.

Supported by

AWS AWS Cloud computing and Security Sponsor Datadog Datadog Monitoring Fastly Fastly CDN Google Google Download Analytics Microsoft Microsoft PSF Sponsor Pingdom Pingdom Monitoring Sentry Sentry Error logging StatusPage StatusPage Status page