decp-scraper 1.0.7

Extract DECP files from few websites easily

Récupération des DECP des plateformes Trust MPE (Atexo)

Ce projet vise à développer un script permettant de télécharger facilement les données essentielles de la commande publique publiées sur les plateformes de marché développées par Atexo.

Liste des plateformes identifiées :

• marches.e-bourgogne.fr
• marches.cnes.fr
• marchespublics.paysdelaloire.fr
• marchespublics.hautsdefrance.fr (pas de données, remplacé par marchespublics596280.fr)
• marchespublics596280.fr
• marchespublics.grandest.fr
• marches.departement13.fr
• marchespublics.lenord.fr
• alsacemarchespublics.eu
• mpe-marseille.local-trust.com
• marches.megalisbretagne.org
• marches.maximilien.fr
• demat-ampa.fr
• marchespublics.nantesmetropole.fr
• marches.grandreims.fr
• marchespublics.cnfpt.fr
• marchespublics.grand-nancy.org
• marchespublics.eure.fr
• profilacheteur.meuse.fr

Anomalies

Centre National d'Etudes Spatiales (CNES) (marches.cnes.fr)

Aucune données accessible pour 2019 (erreur : "Cette liste des marchés n'a pas encore été publiée.")

Lien vers le formulaire de recherche

Mégalis Bretagne (marches.megalisbretagne.org)

Pour les acheteurs publics suivants, l'erreur suivante est renvoyée

The controller must return a response (null given). Did you forget to add a return statement somewhere in your controller?

• Mairie d'Argentré du Plessis (a5q)
• MAIRIE DE LECOUSSE (a8z)
• Commune de Bonnemain (d3z)
• OFFICE DE TOURISME COMMUNAUTAIRE DE CONCARNEAU CORNOUAILLE AGGLOMERATION (i8h)
• Association Smile Smartgrids (i8k)
• CIAS_GUINGAMP_PAIMPOL AGGLOMERATION (i8l)
• CCAS DE GUEMENE PENFAO (i8m)
• CCAS de Maël-Carhaix (i8n)

Région Pays de la Loire (marchespublics.paysdelaloire.fr)

Aucune données accessible pour 2019 (erreur : "Cette liste des marchés n'a pas encore été publiée.")

Lien vers le formulaire de recherche

Licence

MIT

Utiliser le script download.sh

Pour téléchager Maximilien

./download.sh marches.maximilien.fr

Utiliser les script download.py et extractionAcheteurs.py

Mettre en place l'environnement de développement

apt-get install python3.6 python3-dev python3-venv
python3 -m venv myenv
source myenv/bin/activate
pip install -r requirements.txt

###Utiliser les script Pour initialiser tous les sites connus

python extractionAcheteurs.py --site all

Pour obtenir de l'aide sur les options de la ligne de commande

python download.py --help

Pour téléchager un site, ex:Maximilien

python download.py --site marches.maximilien.fr

Pour télécharger tous les sites connus

python download.py --site all

Pour télécharger des données fraîches de 2020 pour deux site (ex:Maximilien et Megalis), avec un délais de 0.5 seconde entre chaque appel et 2 threads

python download.py --site marches.maximilien.fr marches.megalisbretagne.org --year 2020 --delay 0.5 --thread 2 --force_download
python download.py -s marches.maximilien.fr marches.megalisbretagne.org -y 2020 -d 0.5 -t 2 -f