Skip to main content

My short description for my project.

Project description

Подключение ротации прокси-серверов к проекту на scrapy

Подключение выполняется в Downloader Middleware.

Чтобы его подключить, надо

  1. Инсталлировать

    pipenv run python -m pip install -e git+https://github.com/gendobr/scrapyproxy.git/#egg=bwt_scrapy_proxy
    

    или

    pip install -e git+https://github.com/gendobr/scrapyproxy.git/#egg=bwt_scrapy_proxy
    
  2. в settings.py в словарь DOWNLOADER_MIDDLEWARES добавить

    'bwt_scrapy_proxy.ProxyRotationMiddleware':530
    
  3. в settings.py добавить параметры

       X_BWT_PROXY_MEDIATOR = "http://192.168.11.82:5001"
       X_BWT_PARSERNAME = "test"
    

    Сейчас mitmproxy работает на 192.168.11.82 и слушает порт 5001

    X_BWT_PARSERNAME = "test" - уникальный идентификатор парсера

  4. в базу данных (таблица parsers) внести уникальный идентификатор парсера (параметр X_BWT_PARSERNAME из settings.py) и максимальное количество коннектов (parsers.threads_limit) Это делает админ БД парсеров.

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Files for bwt-scrapy-proxy, version 0.1.0
Filename, size File type Python version Upload date Hashes
Filename, size bwt_scrapy_proxy-0.1.0-py2.py3-none-any.whl (3.6 kB) File type Wheel Python version py2.py3 Upload date Hashes View
Filename, size bwt_scrapy_proxy-0.1.0.tar.gz (4.5 kB) File type Source Python version None Upload date Hashes View

Supported by

AWS AWS Cloud computing Datadog Datadog Monitoring DigiCert DigiCert EV certificate Facebook / Instagram Facebook / Instagram PSF Sponsor Fastly Fastly CDN Google Google Object Storage and Download Analytics Microsoft Microsoft PSF Sponsor Pingdom Pingdom Monitoring Salesforce Salesforce PSF Sponsor Sentry Sentry Error logging StatusPage StatusPage Status page