Skip to main content

My short description for my project.

Project description

Подключение ротации прокси-серверов к проекту на scrapy

Подключение выполняется в Downloader Middleware.

Чтобы его подключить, надо

  1. Инсталлировать

    pipenv run python -m pip install -e git+https://github.com/gendobr/scrapyproxy.git/#egg=bwt_scrapy_proxy
    

    или

    pip install -e git+https://github.com/gendobr/scrapyproxy.git/#egg=bwt_scrapy_proxy
    
  2. в settings.py в словарь DOWNLOADER_MIDDLEWARES добавить

    'bwt_scrapy_proxy.ProxyRotationMiddleware':530
    
  3. в settings.py добавить параметры

       X_BWT_PROXY_MEDIATOR = "http://192.168.11.82:5001"
       X_BWT_PARSERNAME = "test"
    

    Сейчас mitmproxy работает на 192.168.11.82 и слушает порт 5001

    X_BWT_PARSERNAME = "test" - уникальный идентификатор парсера

  4. в базу данных (таблица parsers) внести уникальный идентификатор парсера (параметр X_BWT_PARSERNAME из settings.py) и максимальное количество коннектов (parsers.threads_limit) Это делает админ БД парсеров.

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

bwt_scrapy_proxy-0.1.0.tar.gz (4.5 kB view hashes)

Uploaded source

Built Distribution

bwt_scrapy_proxy-0.1.0-py2.py3-none-any.whl (3.6 kB view hashes)

Uploaded py2 py3

Supported by

AWS AWS Cloud computing Datadog Datadog Monitoring Facebook / Instagram Facebook / Instagram PSF Sponsor Fastly Fastly CDN Google Google Object Storage and Download Analytics Huawei Huawei PSF Sponsor Microsoft Microsoft PSF Sponsor NVIDIA NVIDIA PSF Sponsor Pingdom Pingdom Monitoring Salesforce Salesforce PSF Sponsor Sentry Sentry Error logging StatusPage StatusPage Status page