decp-scraper 1.0.5

Extract DECP files from few websites easily

Récupération des DECP de plateformes non publiées sur data.gouv.fr

Ce projet vise à développer un script permettant de télécharger facilement les données essentielles de la commande publique publiées sur des plateformes de marché qui ne publient pas sur data.gouv.fr.

Liste des plateformes identifiées :

• marches.cnes.fr
• marchespublics.paysdelaloire.fr
• marchespublics.hautsdefrance.fr (pas de données, remplacé par marchespublics596280.fr)
• marchespublics596280.fr
• marchespublics.grandest.fr
• marches.departement13.fr
• marchespublics.lenord.fr
• alsacemarchespublics.eu
• mpe-marseille.local-trust.com
• marches.megalisbretagne.org
• marches.maximilien.fr
• marchespublics.gard.fr
• demat-ampa.fr

Utiliser les script fonctions de download.py

###Utiliser les script Pour initialiser tous les sites connus

download.ROOT_XML_DIR = 'xml'
download.STAT_FILE_PATH = 'disponibilite-donnees.csv'
download.collects_multiple_platforms_data(download.get_all_platforms(),
                                          download.get_all_years_available(),
                                          force=False, thread_number=3,
                                          delay=0.2, should_initialize=True)

Le script va d'abord rechercher la liste des acheteurs connus sur chaque site, puis télécharger les DECP au format xml de ces sites et enfin aggréger le tout dans un fichier multiple_platforms.xml Un fichier de statistiques est produit: disponibilite-donnees.csv