Skip to main content
Python Software Foundation 20th Year Anniversary Fundraiser  Donate today!

Middleware for proxying scrapy requests through the service proxyfordevelopers.com

Project description

proxydata-scrapy

Расширение для проксирования запросов пауков scrapy через сервис proxyfordevelopers.com

Установка

Установка с помощью pip

pip install proxydata-scrapy

Либо скопируйте middleware класс PFDDownloaderMiddleware в файл middlewares.py своего проекта

Добавьте расширение в переменную DOWNLOADER_MIDDLEWARES в settings.py вашего проекта. Так-же для корретной работы необходимо отключить middlewares RobotsTxtMiddleware и HttpCompressionMiddleware

Добавьте переменную PFD_TOKEN в settings.py вашего проекта. Для получения токена вам необходимо зарегистрироваться в сервисе proxyfordevelopers

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': None,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': None,
    'proxydata_scrapy.middlewares.PFDDownloaderMiddleware': 800,
}

PFD_TOKEN = 'xyz'

Использование

При необходимости передачи дополнительных параметров в API proxyfordevelopers.com используйте переменную cb_kwargs класса scrapy.http.Request Например:

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
    ]

    def start_requests(self):
        cb_kwargs = {
            'proxy_type': 1,
            'js_enabled': True,
            'country': 'RU',
            'protocol': 1
        }
        for url in self.start_urls:
            yield Request(url, dont_filter=True, cb_kwargs=cb_kwargs)

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Files for proxydata-scrapy, version 0.0.2b0
Filename, size File type Python version Upload date Hashes
Filename, size proxydata_scrapy-0.0.2b0-py3-none-any.whl (5.2 kB) File type Wheel Python version py3 Upload date Hashes View
Filename, size proxydata-scrapy-0.0.2b0.tar.gz (3.8 kB) File type Source Python version None Upload date Hashes View

Supported by

AWS AWS Cloud computing Datadog Datadog Monitoring DigiCert DigiCert EV certificate Facebook / Instagram Facebook / Instagram PSF Sponsor Fastly Fastly CDN Google Google Object Storage and Download Analytics Microsoft Microsoft PSF Sponsor Pingdom Pingdom Monitoring Salesforce Salesforce PSF Sponsor Sentry Sentry Error logging StatusPage StatusPage Status page