Arrow-mssql exporta tabela ou consulta para .parquet ou .csv, e também faz a leitura de .parquet para tabela do sql server
Project description
Arrow-mssql
O que é o Arrow-mssql ?
é um projeto que recebe uma tabela ou consulta do SQL SERVER
e faz a exportação para um arquivo .parquet ou .csv,
utilizando a solução arrow que é uma tecnologia com
foco em análise e desempenho na memória.
Agora é possível importar um arquivo .parquet para uma tabela do sql server.
Instalação
pip install arrow-mssql
Conexão
Para se conectar ao sql server o driver padrão
é o pyodbc
é preciso fornecedor uma string de conexao
somente a string de conexão é permitida
DRIVER = (
'Driver={ODBC Driver 18 for Sql Server};'
'Server=seu_servidor;'
'Database=seu_banco_de_dados;'
'TrustServerCertificate=Yes;'
'Authentication=ActiveDirectoryIntegrated;'
)
Como usar ?
Tanto uma tabela ou consulta pode ser exportada
a exportacao é feita de forma incrimental por lotes de dados
# EXPORTANDO UMA TABELA -- para csv
to_csv(
DRIVER,
'NOME_TABELA',
schema='dbo',
database='seu_banco',
path='destino.csv'
)
# EXPORTANDO UMA CONSULTA -- para .parquet
to_parquet(
DRIVER,
'SELECT N1, N2 FROM NOME_TABELA WHERE N1 = 0',
schema='dbo',
database='seu_banco',
path='destino.parquet'
)
# IMPORTAR .parquet para tabela temporaria do ssms
# o retornor é um cursor referente a conexao com o banco de dados
with write_parquet(
DRIVER,
'##teste',
path='origem.parquet'
) as C:
...
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Hashes for arrow_mssql-0.0.81-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 2523173c1492794fc824abbfaf06e0cd9733ecdfb789c7fead8f779717521019 |
|
MD5 | 29ed470239ed2cc83b71b362dd6b3531 |
|
BLAKE2b-256 | 0429bfd4c429a83187eea55713e37c1102711d9ee613190bf71a60fad43f28aa |