Skip to main content

No project description provided

Project description

DHuO LIb

Board

Features

Login

  • login
    • Auth.login
    • Auth.is_logged


Análise Exploratória / Persistencia / Aquisição de Dados

  • leitura de arquivos de bucket

    • Dhuolib.read_from_bucket
  • leitura/escrita dataset Lake house

    • Dhuolib.execute_select
    • Dhuolib.execute_dml


Model registry

  • upload/download de modelos de ml
    • Dhuolib.create_experiment
    • Dhuolib.save_model
    • Dhuolib.load_model


Deploy

  • criar cluster no Dataflow
  • informar o dado de schedule e criação de aplicação Dataflow
  • inserção de lista de dependencias: libs + zip + script.py
    • Dhuolib.depĺoy
    • config/deploy.yaml

OCI - Oracle Function para uso do Arquivo Compactado de Dependencia


Prediction

  • salvar dataset saída de modelo

    • Dhuolib.save_predictions Scrip template: predict.py

    Execução: Oracle Function


Feedback dos steps do Pipeline para o usuário

  • Dhuolib.pipeline_status_exec

C4 Diagram

Context

Components

Containers

Issues

  • Definir padrões e nomes de buckets
  • Expor o MLFLow para uso em VPN
  • No log de experimentos não está contemplado:
    • Métricas
    • Hiperparâmetros
  • Não estamos usaando a API do Dataflow para acompanhamento de status da execução
  • Não estamos contemplando Feature Engineering
  • Não estamos contemplando Etapas de Treinamento
  • Não estamos contemplando o Feedback de execuções 100% remotas

References

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

dhuodata_lib-0.3.1.tar.gz (6.4 kB view hashes)

Uploaded Source

Built Distribution

dhuodata_lib-0.3.1-py3-none-any.whl (7.5 kB view hashes)

Uploaded Python 3

Supported by

AWS AWS Cloud computing and Security Sponsor Datadog Datadog Monitoring Fastly Fastly CDN Google Google Download Analytics Microsoft Microsoft PSF Sponsor Pingdom Pingdom Monitoring Sentry Sentry Error logging StatusPage StatusPage Status page