glacierdb

Premier driver Python pour le daemon ogd, sans modification de og-core.

Il utilise directement le protocole officiel TCP/NDJSON v1 : une requête JSON par ligne, une réponse JSON par ligne.

Installation locale

cd glacierdb
python -m pip install -e '.[pandas]'

Démarrer OG dans un autre terminal :

cargo run --bin ogd

Requêtes

import glacierdb

with glacierdb.connect("127.0.0.1:7878") as db:
    result = db.execute("from users | where age >= 18")
    print(result.documents)
    print(result.statistics)

    frame = db.query_df("from users")

Charger un CSV par chunks

import glacierdb

with glacierdb.connect() as db:
    result = db.load_csv(
        "users",
        "users.csv",
        chunk_size=10_000,
    )

print(result)

Alias pratique :

result = db.load("users", "users.csv", chunk_size=10_000)

Charger un DataFrame Pandas

import pandas as pd
import glacierdb

frame = pd.DataFrame([
    {"name": "Ada", "age": 36},
    {"name": "Grace", "age": 85},
])

with glacierdb.connect() as db:
    result = db.load("users", frame, chunk_size=1_000)

None, pd.NA et NaN sont convertis en null. Les dates sont converties en ISO 8601.

Charger un itérateur

def documents():
    yield {"name": "Ada"}
    yield {"name": "Grace"}

result = db.load("users", documents(), chunk_size=500)

Limite de cette v0.1

Le protocole OG v1 accepte une requête à la fois et la syntaxe actuelle de insert insère un document. Le driver effectue donc un aller-retour par ligne. Le chunk_size borne la mémoire de lecture CSV/Pandas, mais ne constitue pas encore un insert réseau groupé. Un futur protocole de batch pourrait accélérer le chargement sans changer cette API Python.