Skip to main content

Package de gestion des fichiers Dilicom sur serveur SFTP

PyPi version Licence Python version Pandas version Paramiko version python-dotenv version onixlib version

dilicom-parser est une bibliothèque Python souveraine dédiée à la lecture, au parsing, à la validation et à la transformation des fichiers Dilicom (distributeurs, commandes, etc.). Elle fournit des modèles de données stricts, des parseurs robustes et des outils d’audit pour garantir une intégration fiable et reproductible.

🚀 Objectifs

  • Offrir une implémentation Python propre et moderne des structures Dilicom.
  • Fournir des dataclasses typées pour chaque bloc Dilicom.
  • Faciliter l’intégration dans des pipelines d’audit, d’ETL ou de synchronisation.
  • Proposer une base souveraine et open-source pour les acteurs du livre.

✨ Fonctionnalités

  • 📦 Modèles de données Dilicom (Bloc 1, Bloc 2, Bloc 3…)
  • 🧩 Parseur robuste basé sur l’ordre contractuel des champs
  • 🔍 Validation des types et des valeurs
  • 📊 Conversion DataFrame → objets Python
  • 📚 Gestion des fichiers livres archivés (.zip, .zip.rdy, .zip.rdy.csv, etc.)
  • 🚰 Basculement automatique en streaming au-delà de 512 MiB
  • 🧪 Tests unitaires inclus
  • 🧠 Stubs de typage complets (.pyi) pour l'auto-complétion IDE et les outils de type-checking

📄 Exemple d’utilisation

Créer le fichier .env avec les variables d’environnement nécessaires :

#.env

# Variables pour les dossier d’entrée et de sortie des fichiers
DILICOM_IN_DIR=/path/to/dilicom/files
DILICOM_OUT_DIR=/path/to/output

# Optionnel, variables pour la connexion FTP si nécessaire
DILICOM_HOST=ftp.example.com
DILICOM_PORT=11234
DILICOM_USER=username
DILICOM_SECRET=password

🧪 Cas d'usage

1. Parser des fichiers locaux (distributor / eancom / gencod / onix)

from pathlib import Path
from dilicom_parser.classifier import FilesClassifier

files_directory = Path("/path/to/dilicom/files")
file_list = list(files_directory.glob("*"))

classifier = FilesClassifier(file_list=file_list, streaming_option=False)
classifier.classify()

counts = classifier.count_by_type()
print(counts)  # ex: {'distributor': 9, 'eancom': 5, 'gencod': 4}

parsed = classifier.parse()

distributor_results = parsed.get("distributor", [])
if distributor_results:
    first_file = distributor_results[0]
    first_line = first_file.lines[0]
    print(first_line.bloc1.rs1)
    print(first_line.bloc1.ville)

onix_notices = parsed.get("onix", [])
for notice in onix_notices:
    print(notice.header.sender_name, len(notice.products))

Pour parcourir un catalogue ONIX volumineux sans charger les notices en mémoire :

classifier = FilesClassifier(file_list=file_list, streaming_option=True).classify()
for product in classifier.iter_onix_products():
    print(product.isbn, product.title)

2. Récupérer les fichiers via SFTP puis parser

from pathlib import Path
from dilicom_parser.transport import Connector
from dilicom_parser.classifier import FilesClassifier

local_dir = Path("/tmp/dilicom")
local_dir.mkdir(parents=True, exist_ok=True)

with Connector(env_path="/path/to/.env") as connector:
    downloaded_files = connector.download_all(local_dir=local_dir, archive=False)

classifier = FilesClassifier(file_list=downloaded_files, streaming_option=True)
results = classifier.classify().parse()
print(results.keys())

3. Dans un notebook Jupyter

from dilicom_parser.classifier import FilesClassifier
from pathlib import Path
import ipynbname
path = ipynbname.path()

files_directory = Path(path).parent / "dilicom"
file_list = list(files_directory.glob(pattern="*"))
classifier = FilesClassifier(file_list=file_list, streaming_option=True)

classifier.classify()

print("Classification terminée. Résultats :")
from pprint import pprint
pprint(classifier.count_by_type())

parsed = classifier.parse()
pprint(parsed.keys())

Paramètre utile:

  • streaming_option=True (défaut) pour parcourir les produits ONIX à la demande.
  • streaming_option=False pour obtenir des notices ONIX complètes via parse(), sauf si un fichier ONIX extrait dépasse 512 MiB.

Note sur le mode streaming:

  • Si streaming_option=False mais qu'au moins un fichier ONIX extrait dépasse 512 MiB, le mode streaming ONIX est activé automatiquement.
  • Ce basculement est journalisé (WARNING) et déclenche aussi un avertissement Python (UserWarning).
  • En mode streaming, parse() traite les autres formats mais omet la clé onix ; iter_onix_products() fournit les objets Product d'onixlib un par un.

Note sur les archives:

  • À l'initialisation, les fichiers .zip et .zip.rdy sont extraits automatiquement dans un dossier dédié.
  • Les fichiers extraits sont ajoutés à la liste des fichiers à traiter.
  • L'archive source est supprimée après extraction réussie.
  • Les fichiers XML ONIX extraits sont reconnus par leur élément racine, sans dépendre du nom de l'archive. Hors streaming, parsed["onix"] contient une notice onixlib par fichier.

🧾 Stubs de typage

La bibliothèque embarque des stubs .pyi complets sous src/dilicom_parser/ pour tous les modules.

Objectif:

  • Améliorer l'aide contextuelle des IDEs (signatures, retours, types).
  • Faciliter l'analyse statique (mypy, pyright, pylance).

Régénération des stubs:

PYTHONPATH=src ./venv/bin/stubgen -p dilicom_parser -o /tmp/dilicom_stubs
cp -R /tmp/dilicom_stubs/dilicom_parser/* src/dilicom_parser/
touch src/dilicom_parser/py.typed
Classification terminée. Résultats :
{'distributor': 9, 'eancom': 5, 'gencod': 4}

Metadata

Release files for dilicom-parser 1.0.0

For a detailed explanation of source distributions (sdists) and built distributions (wheels), please see the package formats documentation.

Source distribution (sdist)

Source distribution for dilicom-parser 1.0.0
File Size Uploaded Provenance Actions
dilicom_parser-1.0.0.tar.gz 47.3 kB Without provenance Details for dilicom_parser-1.0.0.tar.gz

Built distribution (wheel)

Table of built distributions (wheels) for dilicom-parser 1.0.0
File Interpreter ABI Platform Actions
dilicom_parser-1.0.0-py3-none-any.whl Python 3 none any Details for dilicom_parser-1.0.0-py3-none-any.whl

Total release size: 97.3 kB

Release files / dilicom_parser-1.0.0.tar.gz

Download URL dilicom_parser-1.0.0.tar.gz
Size 47.3 kB
Tags Source
SHA-256 checksum
How to use checksums
4676db6c040b33a41ef8beefc3b365098c6df7ebf69a43a992343f4dab685efc
BLAKE2b-256 checksum
How to use checksums
d06e4f88c26778238cf304c1aed7b020fab7b66191b5257da142bb584a4ba433
Upload date
Uploaded using Trusted Publishing?
What is trusted publishing?
No
Uploaded via twine/6.2.0 CPython/3.14.8

Release files / dilicom_parser-1.0.0-py3-none-any.whl

Download URL dilicom_parser-1.0.0-py3-none-any.whl
Size 50.0 kB
Tags Python 3
SHA-256 checksum
How to use checksums
1a82a4b4609fce4fbe8734092eb58259f20ffedddb1f4bc42976f7dbd4f245d3
BLAKE2b-256 checksum
How to use checksums
7c30c9d3554f2ae888316750ae7b82a8411196e0077e4de43077a52743bb5deb
Upload date
Uploaded using Trusted Publishing?
What is trusted publishing?
No
Uploaded via twine/6.2.0 CPython/3.14.8

Security for dilicom-parser 1.0.0

Provenance

Provenance describes where a file came from. On PyPI, provenance is shared via attestations, which provide a verifiable record of the build or publishing details. View details, limitations and caveats.

No provenance found

None of the files in this release were uploaded with provenance metadata.

A note on package security

PyPI is a repository for distributing packages, not a service for auditing them. While third-party security researchers and our staff do their best to detect and remove malicious packages, PyPI cannot guarantee the quality, security or suitability of any given package.

To learn more about protecting yourself from malicious actors, visit our package security documentation.

Anthropic, PBC Visionary sponsor Bloomberg Visionary sponsor Hudson River Trading Visionary sponsor Meta Visionary sponsor NVIDIA Visionary sponsor Microsoft Sustainability sponsor Depot Continuous Integration AWS Cloud computing and Security Sponsor Datadog Monitoring Fastly CDN Google Download Analytics Sentry Error logging StatusPage Status page