Arrow-mssql exporta tabela ou consulta para .parquet ou .csv, e também faz a leitura de .parquet para tabela do sql server
Project description
Arrow-mssql
O que é o Arrow-mssql ?
é um projeto que recebe uma tabela ou consulta do SQL SERVER
e faz a exportação para um arquivo .parquet ou .csv,
utilizando a solução arrow que é uma tecnologia com
foco em análise e desempenho na memória.
Agora é possível importar um arquivo .parquet para uma tabela do sql server.
Instalação
pip install arrow-mssql
Conexão
Para se conectar ao sql server o driver padrão
é o pyodbc
é preciso fornecedor uma string de conexao
somente a string de conexão é permitida
DRIVER = (
'Driver={ODBC Driver 18 for Sql Server};'
'Server=seu_servidor;'
'Database=seu_banco_de_dados;'
'TrustServerCertificate=Yes;'
'Authentication=ActiveDirectoryIntegrated;'
)
Como usar ?
Tanto uma tabela ou consulta pode ser exportada
a exportacao é feita de forma incrimental por lotes de dados
# EXPORTANDO UMA TABELA -- para csv
to_csv(
DRIVER,
'NOME_TABELA',
schema='dbo',
database='seu_banco',
path='destino.csv'
)
# EXPORTANDO UMA CONSULTA -- para .parquet
to_parquet(
DRIVER,
'SELECT N1, N2 FROM NOME_TABELA WHERE N1 = 0',
schema='dbo',
database='seu_banco',
path='destino.parquet'
)
# IMPORTAR .parquet para tabela temporaria do ssms
# o retornor é um cursor referente a conexao com o banco de dados
with write_parquet(
DRIVER,
'##teste',
path='origem.parquet'
) as C:
...
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Hashes for arrow_mssql-0.0.8-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 74a58f735e7e2b6ba98220e6ad86f05cd8cb9dc75bb9e955c8b2e078106e1e6b |
|
MD5 | b7f8e1b46c9578f201c868f980dffd8a |
|
BLAKE2b-256 | 8608ca629a1a5777b21bac2f059ee7eb0910805af9c3322a85a8fcf1f7839957 |