Client em Python desenvolvido para facilitar a extração de dados de bancos de dados de ERPs e a integração com as APIs de integração da Nasajon. Ele automatiza o fluxo de comunicação entre sistemas, oferecendo funcionalidades para consulta, transformação e envio de dados de maneira eficiente.
Project description
Integracao api client
Cliente em Python desenvolvido para facilitar a extração de dados de bancos de dados de ERPs e a integração com as APIs de integração da Nasajon. Permite que se extraia dados do ERP e efetue integrações na base do bancos web para um tenant previamente configurado, para isso, utiliza-se do mesmo mecanismo de identificação da sincronia pelo Symmetrics, onde um token de tenant é utilizado para prover a comunicação.
Visão geral
O Cliente possui um modo console onde disponibiliza suas principais operações sendo:
Instalação
Possibilita através de uma chave de ativação, configurar a integração, escolhendo quais Grupos Empresariais serão integrados. A chave de ativação pode ser obtida no Diretório->Tenants, seguindo o mesmo fluxo da chave de ativação da sincronia. Caso já exista um sincronia instalada, usará a mesma chave no processo.
Carga Inicial
Efetua a carga inicial de todos os dados das entidades registradas no cliente e dos grupos empresariais selecionados para as apis na web.
Integração
Considerando as entidades com dados pendentes para envio, seleciona os dados dos grupos configurados e os envia para as APIs de integração da Nasajon.
Recarga
Mesmo princípio da carga inicial, selecionando apenas as entidades que se deseje rcarregar.
Verificação de integridade
Permite efetuar uma comparação entre os dados do ambiente na api e os dados locais. A saída permite identificar as diferenaças e corrigir atravéz do envio dos dados para a api de integração.
Arquitetura
O diagrama abaixo apresenta a arquitetura do sistema de integração, destacando os principais componentes e suas interações:
- Usuário ERP: Configura e acompanha o processo de integração.
- Ambiente ERP Nasajon:
- Banco de Dados ERP: Contém os dados operacionais do ERP.
- Integrador: Aplicação local em Python que extrai dados do ERP e os envia para o ambiente web.
- Ambiente WEB Nasajon:
- APIs de Integração Web: Recebem os dados enviados pelo integrador.
- Banco de Dados Web: Armazena os dados processados pelas APIs.
- Biblioteca de Entidades: Modela os dados que serão extraídos e enviados, garantindo a integridade entre o integrador e as APIs.
As relações entre os componentes mostram como os dados fluem desde o ERP até o ambiente web, passando pelo integrador e utilizando a biblioteca de entidades para padronização.
%%{init: {'theme':'default'}}%%
C4Container
Person(usuario, "Usuário ERP", "Configura e executa a integração.")
System_Boundary(erp, "Ambiente ERP Nasajon") {
ContainerDb(erp_db, "Banco de Dados ERP", "PostgreSQL", "Contém dados operacionais do ERP")
Container(integrador, "Integrador", "Aplicação Local Python", "Extrai dados do ERP e envia para a Web")
}
System_Boundary(web, "Ambiente WEB Nasajon") {
System_Ext(apis, "APIs de Integração Web", "Recebem os dados enviados pelo integrador")
ContainerDb_Ext(db_web, "Banco de Dados Web", "Armazena os dados processados pelas APIs")
}
Container(entidades_lib, "Biblioteca de Entidades", "Python", "Modela os dados que serão extraídos e enviados")
Rel(usuario, integrador, "Configura e acompanha")
Rel(integrador, erp_db, "Lê dados para integrar")
Rel(integrador, entidades_lib, "Entidades modeladas para integração")
Rel(integrador, apis, "Envia entidades via HTTP")
Rel(apis, db_web, "Persiste dados recebidos")
Rel(apis, entidades_lib, "Entidades modeladas para integração")
Componentes
ERP Nasajon
- Aplicação com banco de dados Postgres, onde residem os dados de um cliente.
Bancos Web
- Banco de dados Postgres multi-tenant que guarda os dados consumidos pelas aplicações web.
Integrador
- Captura os dados do ERP e envia para as APIs de integração, usando bibliotecas de entidades.
APIs de Integração
- Recebe os dados enviados pelo integrador e os armazena no banco de dados web. Poderão existir diversas apis, uma para cada Tribo, a exemplo Integração Pessoas API.
Biblioteca de Entidades
- Modela os dados que serão capturados e enviados para as APIs de integração. O Integrador e as apis usam a mesmma biblioteca de entidades (nsj_integracao_api_entidades) para garantir a integridade dos dados. Construída através da blioteca nsj_rest_lib.
Modelo de dados
| Módulo | Descrição |
|---|---|
util.entidades_integracao |
Gerencia as entidades que serão integradas. É alimentada pela trigger TRG_registra_entidade_integracao e função util.registra_entidade_integracao(). |
util.grupos_empresariais_integracao |
Gerencia os grupos empresariais para integração. |
Executando localmente
Para executar localmente, Tenha disponível:
- Uma base local do ERP Nasajon;
- Copie o arquivo
env.distpara.enve preencha os dados de conexão com o banco de dados local; - Usar os comandos dispoíveis no Makefile para executar as operações.
É possível usar tanto as Apis de QA/DEV, quanto subir uma instância de apis local. Para isso, na execução use o parâmetro
--env=local|dev|qa|prod.
Caso queira rodar as apis localmente, será preciso uma base de dados do bancosweb para testes e subir o projeto de apis localmente, tal como o integracao-pessoas-api.
Distribuição
Existe uma versão do JobManager onde esta biblioteca foi distribuída como um Job, estando disponível tanto para agendamentos como execução pelo método run_job.
FAQ
Adicionar/alterar entidades na integração?
Para adicionar ou alterar entidades na integração, siga o seguinte procedimento:
-
Identifique a Entidade Verifique qual entidade precisa ser adicionada ou alterada. Certifique-se de que ela está devidamente modelada na biblioteca de entidades, seguindo a conveção do rest_lib.
-
Atualize a Biblioteca de Entidades Caso necessário, atualize a biblioteca de entidades (nsj_integracao_api_entidades) no requirements.txt para incluir a nova versão da biblioteca. Atualize a lista de entidades no Integrador respeitando ordem da dependência de chaves estrangeriras.
-
Configure no Banco de Dados ERP Adicione ou atualize os registros na tabela
util.entidades_integracaopara que a nova entidade seja reconhecida pelo integrador. Crie uma trigger para a funçãoutil.registra_entidade_integracao()apontando a entidade.CREATE TRIGGER "TRG_registra_entidade_integracao" AFTER INSERT OR UPDATE ON esquema.tabela FOR EACH ROW EXECUTE PROCEDURE util.registra_entidade_integracao();
-
Teste Localmente Execute o integrador localmente para verificar se a nova entidade está sendo capturada e enviada corretamente para as APIs. Use o comando apropriado no Makefile, como
make carga-inicial. -
Valide na API de Integração Certifique-se de que os dados enviados estão sendo processados corretamente pela API de integração. Verifique os logs e o banco de dados web para confirmar.
-
Atualize a Documentação Documente a nova entidade e quaisquer alterações realizadas para garantir que a equipe esteja ciente das mudanças.
-
Distribua as Alterações Caso esteja utilizando o JobManager, atualize o job correspondente para incluir a nova entidade ou as alterações realizadas.
Dica: Sempre mantenha um ambiente de QA para validar as alterações antes de aplicá-las em produção.
Notas
No Linux, instale designer com:
sudo apt install qttools5-dev-tools
sudo apt install pyqt5-dev-tools
sudo apt install qt5-base-dev sudo apt install qt5-tools-dev
https://gist.github.com/r00tdaemon/1dcd57542bdaf3c9d1b0dd526ccd44ff
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Filter files by name, interpreter, ABI, and platform.
If you're not sure about the file name format, learn more about wheel file names.
Copy a direct link to the current filters
File details
Details for the file nsj_integracao_api_client-1.0.0a20.post35.tar.gz.
File metadata
- Download URL: nsj_integracao_api_client-1.0.0a20.post35.tar.gz
- Upload date:
- Size: 68.2 kB
- Tags: Source
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/6.1.0 CPython/3.10.12
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
2069a8220b4a6fdeec53214e84a5da62c5fc4c6163b36723c6cbac7dc52602af
|
|
| MD5 |
f7ca4b935015ae050fe6c491d9274fa6
|
|
| BLAKE2b-256 |
a007a5dfb6938c7c3ba9ad387e4a2f67a7995e5610be8241809d1bcff8a59fe3
|
File details
Details for the file nsj_integracao_api_client-1.0.0a20.post35-py3-none-any.whl.
File metadata
- Download URL: nsj_integracao_api_client-1.0.0a20.post35-py3-none-any.whl
- Upload date:
- Size: 84.5 kB
- Tags: Python 3
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/6.1.0 CPython/3.10.12
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
e12bf360119e9f7f8b1967edbd6f0eb008dc3662ea6c113e5d65d8c0f7f8cfd2
|
|
| MD5 |
b4a49375bd69c57b05321a544aab6b2a
|
|
| BLAKE2b-256 |
4bd4474dfd6e6746ee1875722313f69af4dfc4c482a3b62bd385e8777abec87e
|