Papotch

Spatial ETL wannabe

Trying to build a user-friendly API to process spatial data around polars(_st) DataFrames.

Installation

From Pypi :

pip install papotch

Usage

papotch has 2 objects for now : Reader and Data.

from papotch import Reader

r = Reader("path/to/data.shp")

d = r.extract()

d.head()
┌──────┬───────────┬───────────┬────────────┬─────────────────────────────────┐
│ id   ┆ value_int ┆ value_txt ┆ value_bool ┆ geometry                        │
│ ---  ┆ ---       ┆ ---       ┆ ---        ┆ ---                             │
│ i64  ┆ i64       ┆ str       ┆ bool       ┆ str                             │
╞══════╪═══════════╪═══════════╪════════════╪═════════════════════════════════╡
│ 0    ┆ 0         ┆ test      ┆ true       ┆ POLYGON ((2532293.417834 11600… │
│ 1    ┆ 1         ┆ éjwefw    ┆ false      ┆ POLYGON ((2548329.72787 115443… │
│ 2    ┆ 2         ┆ kjprg     ┆ false      ┆ POLYGON ((2538461.229386 11469… │
│ null ┆ null      ┆ null      ┆ false      ┆ POLYGON ((2532026.146 1159262.… │
│ null ┆ null      ┆ null      ┆ false      ┆ POLYGON ((2530319.718138 11547… │
└──────┴───────────┴───────────┴────────────┴─────────────────────────────────┘

# Buffer, calculate the resulting area, then the bounding coordinates.
_ = d.buffer(distance=2).area(column_name="calc_area").bounds()

d.head()
┌──────┬───────────┬───────────┬────────────┬─────────────────────────────────┬────────────┬─────────────────────────────────┐
│ id   ┆ value_int ┆ value_txt ┆ value_bool ┆ geometry                        ┆ calc_area  ┆ _bounds                         │
│ ---  ┆ ---       ┆ ---       ┆ ---        ┆ ---                             ┆ ---        ┆ ---                             │
│ i64  ┆ i64       ┆ str       ┆ bool       ┆ binary                          ┆ f64        ┆ array[f64, 4]                   │
╞══════╪═══════════╪═══════════╪════════════╪═════════════════════════════════╪════════════╪═════════════════════════════════╡
│ 0    ┆ 0         ┆ test      ┆ true       ┆ b"\x01\x03\x00\x00\x20\x08\x08… ┆ 112.794919 ┆ [2.5323e6, 1.1601e6, … 1.1601e… │
│ 1    ┆ 1         ┆ éjwefw    ┆ false      ┆ b"\x01\x03\x00\x00\x20\x08\x08… ┆ 112.794919 ┆ [2.5483e6, 1.1544e6, … 1.1544e… │
│ 2    ┆ 2         ┆ kjprg     ┆ false      ┆ b"\x01\x03\x00\x00\x20\x08\x08… ┆ 112.794919 ┆ [2.5385e6, 1.1470e6, … 1.1470e… │
│ null ┆ null      ┆ null      ┆ false      ┆ b"\x01\x03\x00\x00\x20\x08\x08… ┆ 112.794919 ┆ [2.5320e6, 1.1593e6, … 1.1593e… │
│ null ┆ null      ┆ null      ┆ false      ┆ b"\x01\x03\x00\x00\x20\x08\x08… ┆ 112.794919 ┆ [2.5303e6, 1.1548e6, … 1.1548e… │
└──────┴───────────┴───────────┴────────────┴─────────────────────────────────┴────────────┴─────────────────────────────────┘

d.write("PG:service=my_service", layer="my_layer")

About Polars ST

The heavy lifting is done by Polars ST, papotch is just a thin opiniated wrapper that tries to simplify its usage and to give a "ETL-like" feeling.