Extract DECP files from few websites easily
Project description
Récupération des DECP de plateformes non publiées sur data.gouv.fr
Ce projet vise à développer un script permettant de télécharger facilement les données essentielles de la commande publique publiées sur des plateformes de marché qui ne publient pas sur data.gouv.fr.
Liste des plateformes identifiées :
- marches.cnes.fr
- marchespublics.paysdelaloire.fr
- marchespublics.hautsdefrance.fr (pas de données, remplacé par marchespublics596280.fr)
- marchespublics596280.fr
- marchespublics.grandest.fr
- marches.departement13.fr
- marchespublics.lenord.fr
- alsacemarchespublics.eu
- mpe-marseille.local-trust.com
- marches.megalisbretagne.org
- marches.maximilien.fr
- marchespublics.gard.fr
Utiliser les script fonctions de download.py
###Utiliser les script Pour initialiser tous les sites connus
download.ROOT_XML_DIR = 'xml'
download.STAT_FILE_PATH = 'disponibilite-donnees.csv'
download.collects_multiple_platforms_data(download.get_all_platforms(),
download.get_all_years_available(),
force=False, thread_number=3,
delay=0.2, should_initialize=True)
Le script va d'abord rechercher la liste des acheteurs connus sur chaque site, puis télécharger les DECP au format xml de ces sites et enfin aggréger le tout dans un fichier multiple_platforms.xml Un fichier de statistiques est produit: disponibilite-donnees.csv
Project details
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
decp_scraper-1.0.4.tar.gz
(6.2 kB
view hashes)
Built Distribution
Close
Hashes for decp_scraper-1.0.4-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 9cac5b8fba3e2061a1ea6c0bf7310df500899d759ab00b6f29506c2334c34d7d |
|
MD5 | f14c2f955b7985a6e500324cd3a08804 |
|
BLAKE2b-256 | 9305c600c4fc1482d3bec31d9fe7c585b41350c93c2529974027243529053c91 |