No project description provided
Project description
DHuO LIb
Board
Features
Login
- login
- Auth.login
- Auth.is_logged
Análise Exploratória / Persistencia / Aquisição de Dados
-
leitura de arquivos de bucket
- Dhuolib.read_from_bucket
-
leitura/escrita dataset Lake house
- Dhuolib.execute_select
- Dhuolib.execute_dml
Model registry
- upload/download de modelos de ml
- Dhuolib.create_experiment
- Dhuolib.save_model
- Dhuolib.load_model
Deploy
- criar cluster no Dataflow
- informar o dado de schedule e criação de aplicação Dataflow
- inserção de lista de dependencias: libs + zip + script.py
- Dhuolib.depĺoy
- config/deploy.yaml
OCI - Oracle Function para uso do Arquivo Compactado de Dependencia
Prediction
-
salvar dataset saída de modelo
- Dhuolib.save_predictions Scrip template: predict.py
Execução: Oracle Function
Feedback dos steps do Pipeline para o usuário
- Dhuolib.pipeline_status_exec
C4 Diagram
Context
Components
Containers
Issues
- Definir padrões e nomes de buckets
- Expor o MLFLow para uso em VPN
- No log de experimentos não está contemplado:
- Métricas
- Hiperparâmetros
- Não estamos usaando a API do Dataflow para acompanhamento de status da execução
- Não estamos contemplando Feature Engineering
- Não estamos contemplando Etapas de Treinamento
- Não estamos contemplando o Feedback de execuções 100% remotas
References
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
dhuodata_lib-0.2.4.tar.gz
(6.0 kB
view hashes)
Built Distribution
Close
Hashes for dhuodata_lib-0.2.4-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | fcba2ba972cbfa2299a8ab2fdf5f9e008d3eecb3265677e35d1fa59e54291191 |
|
MD5 | f739076500c5ce5cc19a37f0b59cff13 |
|
BLAKE2b-256 | eb17459b239abcae7606788580c82d096366ee4b4dae32cc26accd011a64500f |