Buscar informações de contracheques via web scraping
Project description
Meu Contracheque :bookmark_tabs:
Sobre este repositório :open_book:
Meu contracheque é um pacote Python, acessível via interface CLI, utilizado para buscar informações de contracheques via web scraping.
A primeira versão deste pacote conta com a busca de contracheques dos servidores públicos do Estado de Minas Gerais, disponibilizados na aba "Emissão de Contracheque" do site Portal do Servidor.
Orientações gerais
-
Instalação de Python 3.
-
Utilização de navegador Google Chrome.
-
Não copie e cole os comandos abaixo cegamente, modifique os textos entre "< >" com as informações pertinente à sua realidade.
Setup da máquina
Recomendo utilizar uma pasta específica para execução dos comandos do pacote, criando e ativando ambiente Python dentro da mesma, conforme sugerido abaixo:
Pasta para execução dos comandos e ativação de ambiente python
-
Necessário instalação de Python 3 antes da execução os comandos abaixo para ambos os sistemas operacionais.
-
Sistema operacional Linux:
# Criação da pasta para execução do projeto
$ mkdir <nome-desejado-para-pasta>
# Acessando a pasta criada
$ cd <nome-desejado-para-pasta>
# Criação ambiente python
$ python3 -m venv venv
# Ativação ambiente python
$ source venv/bin/activate
- Sistema operacional Windows:
- Recomendo a utilização de Git Bash disponível com instalação de Git para Windows.
# Criação da pasta para execução do projeto
$ mkdir <nome-desejado-para-pasta>
# Acessando a pasta criada
$ cd <nome-desejado-para-pasta>
# Criação ambiente python
$ python -m venv venv
# Ativação ambiente python
$ source venv/Scripts/activate
Instalação cromedriver
-
Identifique a versão do navegador Chrome instalado em sua máquina digitando
chrome://version/
na barra de navegação do mesmo. -
Realize o download do drive específico para versão chrome instalada em sua máquina.
-
Necessário descompactar arquivo baixado.
-
Para sistema operacional Windows basta incluir o caminho do arquivo descompactado no path.
-
Para sistema operacional Linux incluir o arquivo no caminho
/usr/local/bin
.
Passando suas credenciais para buscar o contracheque
-
As credenciais masp e senha para busca de contracheque poderão ser passadas de duas maneiras, a saber:
- Utilização das flags
-m
e-s
durante a chamada das funções
$ contracheque mg mais-recente -m <masp-usuario> -s <senha-usuario>
- Arquivo .env na raiz da pasta aonde os comandos serão executados.
# Estrutura arquivo .env a ser criado MASP=<masp-usuario> PORTAL_PWD=<senha-usuario>
- Utilização das flags
Instalação
O meu-contracheque
está disponível no Python Package Index - PyPI e pode ser instalado utilizando-se o comando abaixo:
# Antes de executar o comando abaixo lembre-se que ambiente Python deverá estar ativo
$ pip install meu-contracheque
Utilização
O resultado da execução dos comandos abaixo será a criação do arquivo "contracheques.csv". As informações retornadas estão organizadas em formato tabular. Toda execução subscreve o arquivo "contracheques.csv" anteriormente gerado.
Obs.: Nenhum dos comandos, até o presente momento, retorna o pdf do contracheque na íntegra.
- Buscar informações do contracheque mais recente:
$ contracheque mg mais-recente
- Buscar informações de todos os contracheques emitidos:
$ contracheque mg todos
Obs.: Esta opção poderá demorar, a depender do número de contracheques a serem exportados. O log de execução do comando será exibido no terminal, facilitando o entendimento que está acontecendo.
Encontrou algo errado no código ou quer melhorá-lo
Abra um Issue ou um Pull Request!!! Este tipo de contribuição auxiliará no crescimento do código de maneira exponencial! Se deseja colocar a mão na massa, acesse as sugestões de melhorias já documentadas nos Issues com a tag "enhancement".
Controle de alterações
Documentação das principais alterações sofridas por este repositório. Baseado na filosofia Mantenha um Changelog.
[0.1.0] - 2021-12-06
- Versão inicial
- Comando
contracheque mg mais-recente
para busca das informações do último contracheque disponível. - Comando
contracheque mg todos
para busca das informações de todos os contracheque disponíveis.
- Comando
[0.0.1.900] - 2021-11-27
- Versão para teste de setup do pacote
- Criação de arquivos de configuração inicial do pacote:
- README.md,
- CHANGELOG.md,
- Makefile,
- Manifest.in
- Requirements.txt
- setup.py
- Criação de arquivos de configuração inicial do pacote:
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Hashes for meu_contracheque-0.1.0-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 7b63bc4e880dff5a0b8bc528625c5bf44be56a1a391f064791858dec8e0c9dfa |
|
MD5 | d2fafbae32284d721bbf43c3b193f0b6 |
|
BLAKE2b-256 | 8cd7926fb76d407268342383ce171a1b5b690e6b38aaa8a44531eed3aa043d42 |