pandas-shredder 0.0.1

Измельчитель DataFrame`ов Pandas на файлы с фиксированным количеством строк

data-shredder

Пакет, предоставляющий интерфейс для нарезки Pandas.DataFrame на отдельные файлы с заданным количеством строк в каждом из них.

Предположим у вас есть файл big_data.csv на 7 000 000 строк, расположенный в C:\Documents.
И у вас существует потребность сделать из него несколько файлов формата xlsx на 500 000 строк каждый.

Shredder поможет Вам реализовать эту задумку в несколько строк кода.

Создадим DataFrame на основе данных из нашего файла C:\Documents\big_data.csv и инициализируем Shredder

import pandas as pd
from pandas_shredder import Shredder


data = pd.read_csv("C:\\Documents\\big_data.csv")

shredder = Shredder(
    directory="C:\\Documents\\result",
    extension="xlsx",
    lines_per_serving=500_000
)

Запустим измельчитель вызвав run(), передав в него набор данных и имя для выходных файлов.

shredder.run(
    dataframe=df,
    file_name="small_data"
)

В результате выполнения кода, в каталоге C:\Documents\result вас будут ожидать файлы:

• 1_small_data.xlsx
• 2_small_data.xlsx
• 3_small_data.xlsx
• ...

Для сохранения данных в файлы, используются стандартные методы pandas. Вы можете сконфигурировать процесс сохранения через именованные аргументы переданные в run() вместо **kwargs.
Например:

shredder.run(
    dataframe=df,
    file_name="small_data",
    index=False,
    header=False,
    sheet_name="data"
)

Возможные именованные аргументы зависят от выбранного в extension расширения. Ознакомьтесь с таблицей ниже, что бы узнать больше.

extension	pandas method
csv	to_csv()
xlsx	to_excel()
html	to_html()
json	to_json()
xml	to_xml()