No project description provided
Project description
DHuO LIb
Board
Features
Login
- login
- Auth.login
- Auth.is_logged
Análise Exploratória / Persistencia / Aquisição de Dados
-
leitura de arquivos de bucket
- Dhuolib.read_from_bucket
-
leitura/escrita dataset Lake house
- Dhuolib.execute_select
- Dhuolib.execute_dml
Model registry
- upload/download de modelos de ml
- Dhuolib.create_experiment
- Dhuolib.save_model
- Dhuolib.load_model
Deploy
- criar cluster no Dataflow
- informar o dado de schedule e criação de aplicação Dataflow
- inserção de lista de dependencias: libs + zip + script.py
- Dhuolib.depĺoy
- config/deploy.yaml
OCI - Oracle Function para uso do Arquivo Compactado de Dependencia
Prediction
-
salvar dataset saída de modelo
- Dhuolib.save_predictions Scrip template: predict.py
Execução: Oracle Function
Feedback dos steps do Pipeline para o usuário
- Dhuolib.pipeline_status_exec
C4 Diagram
Context
Components
Containers
Issues
- Definir padrões e nomes de buckets
- Expor o MLFLow para uso em VPN
- No log de experimentos não está contemplado:
- Métricas
- Hiperparâmetros
- Não estamos usaando a API do Dataflow para acompanhamento de status da execução
- Não estamos contemplando Feature Engineering
- Não estamos contemplando Etapas de Treinamento
- Não estamos contemplando o Feedback de execuções 100% remotas
References
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
dhuodata-lib-0.0.7.tar.gz
(6.3 kB
view hashes)
Built Distribution
Close
Hashes for dhuodata_lib-0.0.7-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 8573aba8e8e2bcf0993c6b3270cefe59ebd7f7c130246a36b3133b3c30de6ce8 |
|
MD5 | 44b6721b3b2d3b1149e6026d95f3d719 |
|
BLAKE2b-256 | 278e9d5aecdc0923bca5d75ba7ba3f498ba7683285c6a6b04a790c03a096feda |