Infraestrutura basica python de uma equipe de Ciencia de Dados
Project description
gmpyinfr
Módulos úteis ao dia-a-dia de uma equipe de Ciência de Dados.
Instalação
Não há cobertura para utilização no Windows. Este pacote e o passo-a-passo de instalação tem funcionamento garantido nas seguintes distros:
Debian
- 8 (jessie)
- 9 (stretch)
- 10 (buster)
Ubuntu
- 20.04 (focal)
- 19.04 (disco)
- 18.04 (bioni)
- 16.04 (xenial)
- 14.04 (trusty)
Demais distribuições linux devem funcionar sem problemas mas têm comandos e processo de instalação diferentes. Caso este seja o seu caso, por favor verifique a documentação do Apache Arrow
e Miniconda
.
Este pacote conta com instalações extras conforme a necessidade de utilização. Para instalar apenas o pacote básico, o comando é
pip install gmpyinfrJá para instalar um pacote extra, o comando tem a seguinte sintaxe
pip install gmpyinfr[extra]onde
extra
pode ser um dos seguintes pacotes extras:
all
- contém todos os pacotes extras, recomendados para os cientistas que irão prototipar soluções em suas máquinas. Atente para o fato de que a instalação deste extra implica na leitura das demais documentações e instalação de todas bibliotecas necessárias para pleno funcionamento.db
- contém o pacotegmpyinfr-dbutils
. Responsável pela comunicação com os bancos de dados, incluindo rotinas de leitura/escrita rápida. Leia a documentação para passos de instalação prévios à instalação do pacote python.bot
- contém o pacotegmpyinfr-telegram
. Responsável pela comunicação com a API do Telegram para envio de mensagens a partir de um Bot. Leia a documentação para mais detalhes.amqp
- contém o pacotegmpyinfr-amqp
. Responsável pela comunicação com o RabbitMQ pelo protocolo AMQP. Lei a documentação para mais detalhes.log
- contém o pacotegmpyinfr-log
. Responsável pela gestão do log, sobre o pacote logging do python e comunicação com o Logstash. Leia a documentação para mais detalhes.
Conda
Recomendamos que a instalação seja realizada através do Miniconda
. Deste modo, a instalação dos pacotes C++ é faciltada e o cientista pode iniciar imediatamente seus trabalhos. A versão a ser instalada deve ser 64bits para garantir compatibilidade com os demais pacotes. Após a instalação com sucesso do Anaconda/Miniconda, execute os seguintes comandos num novo terminal:
conda install -y python=3.7 'pyarrow>=3.0.0'
Instalação nativa / Docker
Nos casos onde o usuário preferir não instalar através do Anaconda/Miniconda, ou tiver que realizar a instalação em uma imagem Docker*, deve-se realizar a instalação manual através dos seguintes comandos
* No caso de uma instalação em imagem Docker, desconsidere o
sudo
. * Se a imagem Docker for do repositório oficial python, a Etapa 2 é desnecessária.
Etapa 1 - compiladores C e C++ e essenciais
sudo apt update
sudo apt install -y gcc g++ git cmake
Etapa 2 - python3.7
sudo apt install -y python3 python3-dev python3-pip
echo "alias python=python3" >> ~/.bashrc
echo "alias pip=pip3" >> ~/.bashrc
source ~/.bashrc
python -m pip install --upgrade pip
pip install setuptools
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.