spamdetection 0.0.1

Classify text messages between 'spam' and 'ham'

Introdução

Este diretório contém um projeto Python para solução do problema prático 2 do teste de Inteligência Artificial da Nuveo. Neste problema, solicitou-se a criação de um projeto para servir um modelo de classificação de mensagens de texto em 'ham' e 'spam'. O modelo foi criado utilizando o pacote scikit-learn e disponibilizado como um pipeline contendo um passo de pré-processamento utilizando TF-IDF, seguido por um modelo de classificação binária utilizando Random Forest.

Para a implementação, foi criado um pacote Python de nome spamdetection, que implementa a classe SpamDetector, contendo métodos prob_spam() (que retorna a probabilidade de classificação 'spam' determinada pelo modelo) e is_spam() (que retorna a classificação). Maiores detalhes sobre o uso do pacote estão disponíveis na seção link para uso e na documentação link para documentação.

Conforme solicitado no desafio, o pacote também é acompanhado de um módulo de testes unitários, contido na pasta link para pasta tests. Maiores detalhes abaixo, na seção link para seção testes.

Dependências

Além da biblioteca padrão de Python, os seguintes pacotes são necessários para o uso do pacote spamdetection:

sklearn == 0.24.1 pywebio == 1.2.3

Criado em Python 3.8.5

Ambos estão especificados em requirements.txt e podem ser instalados com pip install requirements.txt.

Instalação

Duas opções estão disponíveis para uso do pacote spamdetection:

1. pip install spamdetection (ou pip install nuveo-teste-ia) (Recomendado) - confirmar que está disponível

2. Clonar este repo

   • clonar com git clone link - verificar se o link é estável
   • criar ambiente virtual com venv ou virtualenv
   • à partir da raíz do repositório, instalar dependências com pip install requirements.txt
   • à partir da pasta 02-SMSSpamDetection, acessar o pacote spamdetection

Realisticamente falando, a criação do ambiente virtual, apesar de recomendada, provavelmente não é necessária no seu ambiente. As dependências são muito simples e a probabilidade de conflitos é baixíssima. O modelo foi criado com sklearn 0.24.1, mas fiz o desenvolvimento todo com 0.23.2 e não tive problemas (apesar de diversos warnings desencorajando o uso de modelo criado em versão diferente). PyWebIO é um pacote muito simples e também não deve gerar conflitos.

Para poder acessar o pacote à partir de qualquer diretório, adicionar a pasta 02-SMSSpamDetection ao PATH do Python ou clonar o repositório no diretório sites (VERIFICAR SE ISSO É VÁLIDO!!!)

Uso

modos de operação

Documentação (gerada com pdoc)

1. app

2. pacote + classe etc classe SpamDetector() na documentação

3. pacote + linha de comando

Testes

Detalhamento da metodologia de testes