mle-project 0.1.2

No project description provided

example_project

Tools used in this project

• Poetry: Dependency management - article
• pre-commit plugins: Automate code reviewing formatting - article

Project structure

.
│   batch.linear.regression.processor.Dockerfile
│   batch.linear.regression.scheduler.Dockerfile
│   batch.linear.regression.writer.Dockerfile   
│   Dockerfile
│   main.py
│   manage.py
│   README.md
│   requirements.txt
│   run.sh
│
├───.buildkite                                      # Code to run on buildkite platform
│   ├───hooks                                       
│   │       pre-command
│   │
│   ├───plugins                                     # plugins for multiple customers, regions, sites
│   │   ├───get-environments-definition
│   │   │   │   README.md
│   │   │   │
│   │   │   └───hooks
│   │   │           environment
│   │   │
│   │   └───get-python-comm
│   │       └───hooks
│   │               environment
│   │
│   └───scripts
│           diff.sh
│           find-branch-point.sh
│
├───api
│   │   apps.py
│   │   urls.py
│   │   views.py
│   │
│   └───migrations
│           __init__.py
│
├───batch
│   │   requirements.txt
│   │   scheduler.py
│   │
│   └───batch_linear_regression_scheduler
│       │   scheduler.py
│       │   scheduler_conf.yml
│       │   task-definition-template.json
│       │
│       ├───.buildkite
│       │   │   pipeline-deploy.yml
│       │   │   pipeline-destroy.yml
│       │   │   pipeline.yml
│       │   │   README.md
│       │   │
│       │   └───scripts
│       │           generate-deploy-trigger-step.js
│       │           generate-deploy-trigger-step.py
│       │
│       └───terraform
│           │   cloudwatch_log_group.tf
│           │   data.tf
│           │   ecs_gpu.tf
│           │   kinesis.tf
│           │   Makefile
│           │   mysql.tf
│           │   outputs.tf
│           │   provider.tf
│           │   roles.tf
│           │   scheduler_ecs_task.tf
│           │   sns.tf
│           │   ssm.tf
│           │   variables.tf
│           │
│           ├───backend
│           │       development.backend
│           │       production.backend
│           │       staging.backend
│           │
│           ├───templates
│           │       user-data.sh
│           │
│           └───vars
│                   development-ap-southeast-2.tfvars
│                   development-us-east-1.tfvars
│
├───config
│   │   main.yaml
│   │
│   ├───model
│   │       model1.yaml
│   │       model2.yaml
│   │
│   └───process
│           process1.yaml
│           process2.yaml
│
├───docs
│       .gitkeep
│       img.png
│       mlsys.png
│
├───http_server
│   │   asgi.py
│   │   settings.py
│   │   urls.py
│   │   wsgi.py
│   │   __init__.py
│   │
│   └───.buildkite
│       │   pipeline-deploy.yml
│       │   pipeline-destroy.yml
│       │   pipeline.yml
│       │   README.md
│       │   task-definiton-template.json
│       │
│       └───scripts
│               generate-deploy-trigger-step.js
│               generate-ecs-deploy-steps.js
│
├───models
│       .gitkeep
│
├───notebooks
│       .gitkeep
│
├───src
│       benchmark.py
│       simple_linear_regr.py
│       simple_linear_regr_utils.py
│       __init__.py
│
└───tests
        __init__.py

1. Installation

pip install mle-project

2. Test with python

from src import SimpleLinearRegression, evaluate, generate_data

X_train, y_train, X_test, y_test = generate_data()
model = SimpleLinearRegression()
model.fit(X_train, y_train)
predicted = model.predict(X_test)
evaluate(model, X_test, y_test, predicted)