My short description for my project.
Project description
Подключение ротации прокси-серверов к проекту на scrapy
Подключение выполняется в Downloader Middleware.
Чтобы его подключить, надо
-
Инсталлировать
pipenv run python -m pip install -e git+https://github.com/gendobr/scrapyproxy.git/#egg=bwt_scrapy_proxy
или
pip install -e git+https://github.com/gendobr/scrapyproxy.git/#egg=bwt_scrapy_proxy
-
в settings.py в словарь DOWNLOADER_MIDDLEWARES добавить
'bwt_scrapy_proxy.ProxyRotationMiddleware':530
-
в settings.py добавить параметры
X_BWT_PROXY_MEDIATOR = "http://192.168.11.82:5001" X_BWT_PARSERNAME = "test"
Сейчас mitmproxy работает на 192.168.11.82 и слушает порт 5001
X_BWT_PARSERNAME = "test" - уникальный идентификатор парсера
-
в базу данных (таблица parsers) внести уникальный идентификатор парсера (параметр X_BWT_PARSERNAME из settings.py) и максимальное количество коннектов (parsers.threads_limit) Это делает админ БД парсеров.
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
bwt_scrapy_proxy-0.1.0.tar.gz
(4.5 kB
view hashes)
Built Distribution
Close
Hashes for bwt_scrapy_proxy-0.1.0-py2.py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 20e0866e3faf447d21cbe7c5ff203fa10b8c34eb6413b91873ed9f997e11f688 |
|
MD5 | 307c4987ca39ef982bec7644a0bf7793 |
|
BLAKE2b-256 | 4ee1e4a63927dab0d9262673bcda6ae05cecec9014f7842bcb8c0c45f10282e3 |