Package de gestion des fichiers Dilicom sur serveur SFTP
dilicom-parser est une bibliothèque Python souveraine dédiée à la lecture, au parsing, à la validation et à la transformation des fichiers Dilicom (distributeurs, commandes, etc.). Elle fournit des modèles de données stricts, des parseurs robustes et des outils d’audit pour garantir une intégration fiable et reproductible.
🚀 Objectifs
- Offrir une implémentation Python propre et moderne des structures Dilicom.
- Fournir des dataclasses typées pour chaque bloc Dilicom.
- Faciliter l’intégration dans des pipelines d’audit, d’ETL ou de synchronisation.
- Proposer une base souveraine et open-source pour les acteurs du livre.
✨ Fonctionnalités
- 📦 Modèles de données Dilicom (Bloc 1, Bloc 2, Bloc 3…)
- 🧩 Parseur robuste basé sur l’ordre contractuel des champs
- 🔍 Validation des types et des valeurs
- 📊 Conversion DataFrame → objets Python
- 📚 Gestion des fichiers livres archivés (
.zip,.zip.rdy,.zip.rdy.csv, etc.) - 🚰 Basculement automatique en streaming au-delà de
512 MiB - 🧪 Tests unitaires inclus
- 🧠 Stubs de typage complets (
.pyi) pour l'auto-complétion IDE et les outils de type-checking
📄 Exemple d’utilisation
Créer le fichier .env avec les variables d’environnement nécessaires :
#.env
# Variables pour les dossier d’entrée et de sortie des fichiers
DILICOM_IN_DIR=/path/to/dilicom/files
DILICOM_OUT_DIR=/path/to/output
# Optionnel, variables pour la connexion FTP si nécessaire
DILICOM_HOST=ftp.example.com
DILICOM_PORT=11234
DILICOM_USER=username
DILICOM_SECRET=password
🧪 Cas d'usage
1. Parser des fichiers locaux (distributor / eancom / gencod / onix)
from pathlib import Path
from dilicom_parser.classifier import FilesClassifier
files_directory = Path("/path/to/dilicom/files")
file_list = list(files_directory.glob("*"))
classifier = FilesClassifier(file_list=file_list, streaming_option=False)
classifier.classify()
counts = classifier.count_by_type()
print(counts) # ex: {'distributor': 9, 'eancom': 5, 'gencod': 4}
parsed = classifier.parse()
distributor_results = parsed.get("distributor", [])
if distributor_results:
first_file = distributor_results[0]
first_line = first_file.lines[0]
print(first_line.bloc1.rs1)
print(first_line.bloc1.ville)
onix_notices = parsed.get("onix", [])
for notice in onix_notices:
print(notice.header.sender_name, len(notice.products))
Pour parcourir un catalogue ONIX volumineux sans charger les notices en mémoire :
classifier = FilesClassifier(file_list=file_list, streaming_option=True).classify()
for product in classifier.iter_onix_products():
print(product.isbn, product.title)
2. Récupérer les fichiers via SFTP puis parser
from pathlib import Path
from dilicom_parser.transport import Connector
from dilicom_parser.classifier import FilesClassifier
local_dir = Path("/tmp/dilicom")
local_dir.mkdir(parents=True, exist_ok=True)
with Connector(env_path="/path/to/.env") as connector:
downloaded_files = connector.download_all(local_dir=local_dir, archive=False)
classifier = FilesClassifier(file_list=downloaded_files, streaming_option=True)
results = classifier.classify().parse()
print(results.keys())
3. Dans un notebook Jupyter
from dilicom_parser.classifier import FilesClassifier
from pathlib import Path
import ipynbname
path = ipynbname.path()
files_directory = Path(path).parent / "dilicom"
file_list = list(files_directory.glob(pattern="*"))
classifier = FilesClassifier(file_list=file_list, streaming_option=True)
classifier.classify()
print("Classification terminée. Résultats :")
from pprint import pprint
pprint(classifier.count_by_type())
parsed = classifier.parse()
pprint(parsed.keys())
Paramètre utile:
streaming_option=True(défaut) pour parcourir les produits ONIX à la demande.streaming_option=Falsepour obtenir des notices ONIX complètes viaparse(), sauf si un fichier ONIX extrait dépasse512 MiB.
Note sur le mode streaming:
- Si
streaming_option=Falsemais qu'au moins un fichier ONIX extrait dépasse512 MiB, le mode streaming ONIX est activé automatiquement. - Ce basculement est journalisé (
WARNING) et déclenche aussi un avertissement Python (UserWarning). - En mode streaming,
parse()traite les autres formats mais omet la cléonix;iter_onix_products()fournit les objetsProductd'onixlibun par un.
Note sur les archives:
- À l'initialisation, les fichiers
.zipet.zip.rdysont extraits automatiquement dans un dossier dédié. - Les fichiers extraits sont ajoutés à la liste des fichiers à traiter.
- L'archive source est supprimée après extraction réussie.
- Les fichiers XML ONIX extraits sont reconnus par leur élément racine, sans dépendre du nom de l'archive. Hors streaming,
parsed["onix"]contient une noticeonixlibpar fichier.
🧾 Stubs de typage
La bibliothèque embarque des stubs .pyi complets sous src/dilicom_parser/ pour tous les modules.
Objectif:
- Améliorer l'aide contextuelle des IDEs (signatures, retours, types).
- Faciliter l'analyse statique (mypy, pyright, pylance).
Régénération des stubs:
PYTHONPATH=src ./venv/bin/stubgen -p dilicom_parser -o /tmp/dilicom_stubs
cp -R /tmp/dilicom_stubs/dilicom_parser/* src/dilicom_parser/
touch src/dilicom_parser/py.typed
Classification terminée. Résultats :
{'distributor': 9, 'eancom': 5, 'gencod': 4}
Metadata
Release files for dilicom-parser 1.0.0
For a detailed explanation of source distributions (sdists) and built distributions (wheels), please see the package formats documentation.
Source distribution (sdist)
| File | Size | Uploaded | Provenance | Actions |
|---|---|---|---|---|
| dilicom_parser-1.0.0.tar.gz | 47.3 kB | Without provenance | Details for dilicom_parser-1.0.0.tar.gz |
Built distribution (wheel)
| File | Interpreter | ABI | Platform | Actions Reset |
|---|---|---|---|---|
| dilicom_parser-1.0.0-py3-none-any.whl | Python 3 | none | any | Details for dilicom_parser-1.0.0-py3-none-any.whl |
Total release size: 97.3 kB
Release files / dilicom_parser-1.0.0.tar.gz
| Download URL | dilicom_parser-1.0.0.tar.gz |
|---|---|
| Size | 47.3 kB |
| Tags | Source |
|
SHA-256 checksum How to use checksums |
4676db6c040b33a41ef8beefc3b365098c6df7ebf69a43a992343f4dab685efc
|
|
BLAKE2b-256 checksum How to use checksums |
d06e4f88c26778238cf304c1aed7b020fab7b66191b5257da142bb584a4ba433
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
No |
| Uploaded via |
twine/6.2.0 CPython/3.14.8
|
Release files / dilicom_parser-1.0.0-py3-none-any.whl
| Download URL | dilicom_parser-1.0.0-py3-none-any.whl |
|---|---|
| Size | 50.0 kB |
| Tags | Python 3 |
|
SHA-256 checksum How to use checksums |
1a82a4b4609fce4fbe8734092eb58259f20ffedddb1f4bc42976f7dbd4f245d3
|
|
BLAKE2b-256 checksum How to use checksums |
7c30c9d3554f2ae888316750ae7b82a8411196e0077e4de43077a52743bb5deb
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
No |
| Uploaded via |
twine/6.2.0 CPython/3.14.8
|
Security for dilicom-parser 1.0.0
Provenance
Provenance describes where a file came from. On PyPI, provenance is shared via attestations, which provide a verifiable record of the build or publishing details. View details, limitations and caveats.
No provenance found
None of the files in this release were uploaded with provenance metadata.
A note on package security
PyPI is a repository for distributing packages, not a service for auditing them. While third-party security researchers and our staff do their best to detect and remove malicious packages, PyPI cannot guarantee the quality, security or suitability of any given package.
To learn more about protecting yourself from malicious actors, visit our package security documentation.