Teste dos provedores integrados na plataforma em conjunto com o Assistente de Conteudo.
Project description
BlipNlpTest
Essa é uma classe que permite o teste de mensagens em provedores integrados na plataforma, com o retorno do conteúdo cadastrado no Assistente de Conteudo.
Instalação
Para instalar o pacote, basta executar o comando abaixo:
pip install blipnlptest
Uso
Após a instalação do pacote, você terá acesso a classe que permitirá a execução do teste.
Os parâmetros necessários são:
data (opcional) : Dataframe de entrada resource (opcional) : Nome do recurso com o texto de tests threshold (opcional) : float referente ao threshold do provedor com valores entre 0.1 (10%) a 1.0 (100%). (default: 0.5) key : chave do bot.
Exemplo do código:
Caso a análise seja de dados já analisados pelo provedor (envie um dataframe que tenha no mínimo as colunas Text, Intentions, Entities e Score), use:
import blipnlptest as bnt
cc = bnt.contentchecker(key, data=df)
cc.identityanalysis()
Se a análise for feita com dados que não foram analisados (envie um dataframe que a coluna de texto tenha o nome Text), use:
import blipnlptest as bnt
cc = bnt.contentchecker(key, data=df)
cc.sentences()
OBS: A divisão foi feita para que os dados já rotulados não realizem outra análise no provedor.
Caso queira analisar com dados que não estejam na base de dados, utilize o recurso do bot. O recurso deverá ser do tipo texto, e as mensagens separadas por vírgula. Use:
import blipnlptest as bnt
cc = bnt.contentchecker(key, resource='nome_do_recurso')
cc.byresource()
Em todos os casos, você pode colocar o valor do threshold personalizado, da seguinte forma:
cc = bnt.contentchecker(key, data=df,threshold=0.6)
cc.sentences()
Com os parâmetros previamente atribuídos, rodando o código acima você terá como saída a exibição do resultado com:
- A mensagem de entrada;
- A intenção reconhecida;
- As entidades reconhecidas;
- O score;
- A resposta entregue pelo Assistente de Conteudo;
- Se foi entregue (y/n);
- Ponto de atenção.
Os pontos de atenção são sugestões de pontos para observar, eles tem os status abaixo:
- model = Se o score for baixo e não retornar conteúdo, necessário avaliar o aumento da confiança no modelo;
- refine = Se o score for baixo e existir uma resposta no Assistente de Conteudo, é necessário refinar e entender os próximos passos (aumentar a confiança ou ajustar os exemplos de alguma intenção);
- valid = Se o score for alto e retornou uma resposta, avaliar se a resposta está válida.
- content | entity in the combination = Se o score estiver alto, foi identificada entidade e não retornou uma resposta, é válido checar a falta da entidade na combinação;
- content | entity in the model = Se o score estiver alto, e não foi identificada alguma entidade, é válido checar a falta dela no modelo (que se criada, consequentemente irá impactar o conteúdo.
Licença
Esse projeto está sob a licença MIT. Veja o arquivo LICENSE para mais detalhes.
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Hashes for blipnlptest-0.1.8-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | cd4e479d5b72164e0e82814654b1e70459cd0e8743b9ab17d9906a55f499979e |
|
MD5 | a58bddff26cb2f9afd16123d8078f6bf |
|
BLAKE2b-256 | 2986d8cf59eea80c774c0550ca2faba0d969be428570026bd1b87e4f6ba79c01 |