Skip to main content

Middleware for proxying scrapy requests through the service

Project description


Расширение для проксирования запросов пауков scrapy через сервис


Установка с помощью pip

pip install proxydata-scrapy

Либо скопируйте middleware класс PFDDownloaderMiddleware в файл своего проекта

Добавьте расширение в переменную DOWNLOADER_MIDDLEWARES в вашего проекта. Так-же для корретной работы необходимо отключить middlewares RobotsTxtMiddleware и HttpCompressionMiddleware

Добавьте переменную PFD_TOKEN в вашего проекта. Для получения токена вам необходимо зарегистрироваться в сервисе proxyfordevelopers

    'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': None,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': None,
    'proxydata_scrapy.middlewares.PFDDownloaderMiddleware': 800,

PFD_TOKEN = 'xyz'


При необходимости передачи дополнительных параметров в API используйте переменную cb_kwargs класса scrapy.http.Request Например:

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [

    def start_requests(self):
        cb_kwargs = {
            'proxy_type': 1,
            'js_enabled': True,
            'country': 'RU',
            'protocol': 1
        for url in self.start_urls:
            yield Request(url, dont_filter=True, cb_kwargs=cb_kwargs)

Project details

Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

proxydata-scrapy-0.0.2b0.tar.gz (3.8 kB view hashes)

Uploaded source

Built Distribution

proxydata_scrapy-0.0.2b0-py3-none-any.whl (5.2 kB view hashes)

Uploaded py3

Supported by

AWS AWS Cloud computing and Security Sponsor Datadog Datadog Monitoring Fastly Fastly CDN Google Google Download Analytics Microsoft Microsoft PSF Sponsor Pingdom Pingdom Monitoring Sentry Sentry Error logging StatusPage StatusPage Status page