Skip to main content

Middleware for proxying scrapy requests through the service proxyfordevelopers.com

Project description

proxydata-scrapy

Расширение для проксирования запросов пауков scrapy через сервис proxyfordevelopers.com

Установка

Установка с помощью pip

pip install proxydata-scrapy

Либо скопируйте middleware класс PFDDownloaderMiddleware в файл middlewares.py своего проекта

Добавьте расширение в переменную DOWNLOADER_MIDDLEWARES в settings.py вашего проекта. Так-же для корретной работы необходимо отключить middlewares RobotsTxtMiddleware и HttpCompressionMiddleware

Добавьте переменную PFD_TOKEN в settings.py вашего проекта. Для получения токена вам необходимо зарегистрироваться в сервисе proxyfordevelopers

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': None,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': None,
    'proxydata_scrapy.middlewares.PFDDownloaderMiddleware': 800,
}

PFD_TOKEN = 'xyz'

Использование

При необходимости передачи дополнительных параметров в API proxyfordevelopers.com используйте переменную cb_kwargs класса scrapy.http.Request Например:

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
    ]

    def start_requests(self):
        cb_kwargs = {
            'proxy_type': 1,
            'js_enabled': True,
            'country': 'RU',
            'protocol': 1
        }
        for url in self.start_urls:
            yield Request(url, dont_filter=True, cb_kwargs=cb_kwargs)

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Files for proxydata-scrapy, version 0.0.2b0
Filename, size File type Python version Upload date Hashes
Filename, size proxydata_scrapy-0.0.2b0-py3-none-any.whl (5.2 kB) File type Wheel Python version py3 Upload date Hashes View hashes
Filename, size proxydata-scrapy-0.0.2b0.tar.gz (3.8 kB) File type Source Python version None Upload date Hashes View hashes

Supported by

Elastic Elastic Search Pingdom Pingdom Monitoring Google Google BigQuery Sentry Sentry Error logging AWS AWS Cloud computing DataDog DataDog Monitoring Fastly Fastly CDN DigiCert DigiCert EV certificate StatusPage StatusPage Status page