Teste dos provedores integrados na plataforma em conjunto com o Assistente de Conteudo.
Project description
BlipNlpTest
Essa é uma classe que permite o teste de mensagens em provedores integrados na plataforma, com o retorno do conteúdo cadastrado no Assistente de Conteudo.
Instalação
Para instalar o pacote, basta executar o comando abaixo:
pip install blipnlptest
Uso
Após a instalação do pacote, você terá acesso a classe que permitirá a execução do teste.
Os parâmetros necessários são:
- data (opcional) : Dataframe de entrada
- resource (opcional) : Nome do recurso com o texto de tests
- threshold (opcional) : float referente ao threshold do provedor com valores entre 0.1 (10%) a 1.0 (100%). (default: 0.5)
- key: chave do bot
- contract_id: id do contrato.
Exemplo do código:
Caso a análise seja de dados já analisados pelo provedor (envie um dataframe que tenha no mínimo as colunas Text, Intentions, Entities e Score), use:
import blipnlptest as bnt
cc = bnt.contentchecker(key, data=df, contract_id="cliente_x")
cc.identityanalysis()
Se a análise for feita com dados que não foram analisados (envie um dataframe que a coluna de texto tenha o nome Text), use:
import blipnlptest as bnt
cc = bnt.contentchecker(key, data=df)
cc.sentences()
OBS: A divisão foi feita para que os dados já rotulados não realizem outra análise no provedor.
Caso queira analisar com dados que não estejam na base de dados, utilize o recurso do bot. O recurso deverá ser do tipo texto, e as mensagens separadas por vírgula. Use:
import blipnlptest as bnt
cc = bnt.contentchecker(key, resource='nome_do_recurso')
cc.sentences()
Em todos os casos, você pode colocar o valor do threshold personalizado, da seguinte forma:
cc = bnt.contentchecker(key, data=df,threshold=0.6)
cc.sentences()
Com os parâmetros previamente atribuídos, rodando o código acima você terá como saída a exibição do resultado com:
- A mensagem de entrada;
- A intenção reconhecida;
- As entidades reconhecidas;
- O score;
- A resposta entregue pelo Assistente de Conteudo;
- Se foi entregue (y/n);
- Ponto de atenção.
Os pontos de atenção são sugestões de pontos para observar, eles tem os status abaixo:
- model = Se o score for baixo e não retornar conteúdo, necessário avaliar o aumento da confiança no modelo;
- refine = Se o score for baixo e existir uma resposta no Assistente de Conteudo, é necessário refinar e entender os próximos passos (aumentar a confiança ou ajustar os exemplos de alguma intenção);
- valid = Se o score for alto e retornou uma resposta, avaliar se a resposta está válida.
- content | entity in the combination = Se o score estiver alto, foi identificada entidade e não retornou uma resposta, é válido checar a falta da entidade na combinação;
- content | entity in the model = Se o score estiver alto, e não foi identificada alguma entidade, é válido checar a falta dela no modelo (que se criada, consequentemente irá impactar o conteúdo.
Licença
Esse projeto está sob a licença MIT. Veja o arquivo LICENSE para mais detalhes.
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Hashes for blipnlptest-0.2.2-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | a12e212aa831c1f36b150dfa7d7bb3982e684819da24e3104adb9fc7c004e8a7 |
|
MD5 | 339f0845acdc095d4ad6b7f493b6445e |
|
BLAKE2b-256 | 97655710f0197a4e86152134e1ece5807c85e695a8011775688951c6543b4eed |