dhuodata-lib 0.3.1

No project description provided

DHuO LIb

Board

Features

Login

• login
  • Auth.login
  • Auth.is_logged

---

Análise Exploratória / Persistencia / Aquisição de Dados

• leitura de arquivos de bucket

  • Dhuolib.read_from_bucket

• leitura/escrita dataset Lake house

  • Dhuolib.execute_select
  • Dhuolib.execute_dml

---

Model registry

• upload/download de modelos de ml
  • Dhuolib.create_experiment
  • Dhuolib.save_model
  • Dhuolib.load_model

---

Deploy

• criar cluster no Dataflow
• informar o dado de schedule e criação de aplicação Dataflow
• inserção de lista de dependencias: libs + zip + script.py
  • Dhuolib.depĺoy
  • config/deploy.yaml

OCI - Oracle Function para uso do Arquivo Compactado de Dependencia

---

Prediction

• salvar dataset saída de modelo

  • Dhuolib.save_predictions Scrip template: predict.py

  Execução: Oracle Function

---

Feedback dos steps do Pipeline para o usuário

• Dhuolib.pipeline_status_exec

C4 Diagram

Context

Components

Containers

Issues

• Definir padrões e nomes de buckets
• Expor o MLFLow para uso em VPN
• No log de experimentos não está contemplado:
  • Métricas
  • Hiperparâmetros
• Não estamos usaando a API do Dataflow para acompanhamento de status da execução
• Não estamos contemplando Feature Engineering
• Não estamos contemplando Etapas de Treinamento
• Não estamos contemplando o Feedback de execuções 100% remotas

References

• https://docs.oracle.com/pt-br/iaas/data-flow/using/third-party-provide-archive.htm
• https://marketplace.visualstudio.com/items?itemName=jebbs.plantuml
• https://plantuml.com/