Skip to main content

My short description for my project.

Project description

Подключение ротации прокси-серверов к проекту на scrapy

Подключение выполняется в Downloader Middleware.

Чтобы его подключить, надо

  1. Инсталлировать

    pipenv run python -m pip install -e git+https://github.com/gendobr/scrapyproxy.git/#egg=bwt_scrapy_proxy
    

    или

    pip install -e git+https://github.com/gendobr/scrapyproxy.git/#egg=bwt_scrapy_proxy
    
  2. в settings.py в словарь DOWNLOADER_MIDDLEWARES добавить

    'bwt_scrapy_proxy.ProxyRotationMiddleware':530
    
  3. в settings.py добавить параметры

       X_BWT_PROXY_MEDIATOR = "http://192.168.11.82:5001"
       X_BWT_PARSERNAME = "test"
    

    Сейчас mitmproxy работает на 192.168.11.82 и слушает порт 5001

    X_BWT_PARSERNAME = "test" - уникальный идентификатор парсера

  4. в базу данных (таблица parsers) внести уникальный идентификатор парсера (параметр X_BWT_PARSERNAME из settings.py) и максимальное количество коннектов (parsers.threads_limit) Это делает админ БД парсеров.

Project details


Release history Release notifications

Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Files for bwt-scrapy-proxy, version 0.1.0
Filename, size File type Python version Upload date Hashes
Filename, size bwt_scrapy_proxy-0.1.0-py2.py3-none-any.whl (3.6 kB) File type Wheel Python version py2.py3 Upload date Hashes View hashes
Filename, size bwt_scrapy_proxy-0.1.0.tar.gz (4.5 kB) File type Source Python version None Upload date Hashes View hashes

Supported by

Elastic Elastic Search Pingdom Pingdom Monitoring Google Google BigQuery Sentry Sentry Error logging AWS AWS Cloud computing DataDog DataDog Monitoring Fastly Fastly CDN DigiCert DigiCert EV certificate StatusPage StatusPage Status page