No project description provided
Project description
DHuO LIb
Board
Features
Login
- login
- Auth.login
- Auth.is_logged
Análise Exploratória / Persistencia / Aquisição de Dados
-
leitura de arquivos de bucket
- Dhuolib.read_from_bucket
-
leitura/escrita dataset Lake house
- Dhuolib.execute_select
- Dhuolib.execute_dml
Model registry
- upload/download de modelos de ml
- Dhuolib.create_experiment
- Dhuolib.save_model
- Dhuolib.load_model
Deploy
- criar cluster no Dataflow
- informar o dado de schedule e criação de aplicação Dataflow
- inserção de lista de dependencias: libs + zip + script.py
- Dhuolib.depĺoy
- config/deploy.yaml
OCI - Oracle Function para uso do Arquivo Compactado de Dependencia
Prediction
-
salvar dataset saída de modelo
- Dhuolib.save_predictions Scrip template: predict.py
Execução: Oracle Function
Feedback dos steps do Pipeline para o usuário
- Dhuolib.pipeline_status_exec
C4 Diagram
Context
Components
Containers
Issues
- Definir padrões e nomes de buckets
- Expor o MLFLow para uso em VPN
- No log de experimentos não está contemplado:
- Métricas
- Hiperparâmetros
- Não estamos usaando a API do Dataflow para acompanhamento de status da execução
- Não estamos contemplando Feature Engineering
- Não estamos contemplando Etapas de Treinamento
- Não estamos contemplando o Feedback de execuções 100% remotas
References
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
dhuodata_lib-0.2.5.tar.gz
(6.3 kB
view hashes)
Built Distribution
Close
Hashes for dhuodata_lib-0.2.5-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 775c079c84845d4ed540351407b71e1d3bef83fac280b8d7e6a0129eeb70ceb5 |
|
MD5 | 88461e9b1eec24034966babf4f67912e |
|
BLAKE2b-256 | 2ba6dccf4732bd0994ae6046d3f78ca44c8f3ca3166ab61c86900c3fb49cd3c4 |