Middleware for proxying scrapy requests through the service proxyfordevelopers.com
Project description
proxydata-scrapy
Расширение для проксирования запросов пауков scrapy через сервис proxyfordevelopers.com
Установка
Установка с помощью pip
pip install proxydata-scrapy
Либо скопируйте middleware класс PFDDownloaderMiddleware
в файл middlewares.py
своего проекта
Добавьте расширение в переменную DOWNLOADER_MIDDLEWARES
в settings.py
вашего проекта.
Так-же для корретной работы необходимо отключить middlewares RobotsTxtMiddleware
и HttpCompressionMiddleware
Добавьте переменную PFD_TOKEN
в settings.py
вашего проекта.
Для получения токена вам необходимо зарегистрироваться в сервисе proxyfordevelopers
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': None,
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': None,
'proxydata_scrapy.middlewares.PFDDownloaderMiddleware': 800,
}
PFD_TOKEN = 'xyz'
Использование
При необходимости передачи дополнительных параметров в API proxyfordevelopers.com используйте переменную cb_kwargs
класса scrapy.http.Request
Например:
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'http://quotes.toscrape.com/page/1/',
]
def start_requests(self):
cb_kwargs = {
'proxy_type': 1,
'js_enabled': True,
'country': 'RU',
'protocol': 1
}
for url in self.start_urls:
yield Request(url, dont_filter=True, cb_kwargs=cb_kwargs)
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Hashes for proxydata_scrapy-0.0.2b0-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 98b4219f1b9f7a450f59965d3ceaa869ad467a09ba338cf39c8f807d9dffa6ec |
|
MD5 | a73b58dad122013de0e7fb1bc72f7928 |
|
BLAKE2b-256 | 07ac41734dc9d254e56ae070e472e0fc494b1d3253b86308b27f04886937a483 |