Skip to main content

Middleware for proxying scrapy requests through the service proxyfordevelopers.com

Project description

proxydata-scrapy

Расширение для проксирования запросов пауков scrapy через сервис proxyfordevelopers.com

Установка

Установка с помощью pip

pip install ___

Либо скопируйте middleware класс PFDDownloaderMiddleware в файл middlewares.py своего проекта

Добавьте расширение в переменную DOWNLOADER_MIDDLEWARES в settings.py вашего проекта. Так-же для корретной работы необходимо отключить middlewares RobotsTxtMiddleware и HttpCompressionMiddleware

Добавьте переменную PFD_TOKEN в settings.py вашего проекта. Для получения токена вам необходимо зарегистрироваться в сервисе proxyfordevelopers

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': None,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': None,
    'proxydata_scrapy.middlewares.PFDDownloaderMiddleware': 800,
}

PFD_TOKEN = 'xyz'

Использование

При необходимости передачи дополнительных параметров в API proxyfordevelopers.com используйте переменную cb_kwargs класса scrapy.http.Request Например:

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
    ]

    def start_requests(self):
        cb_kwargs = {
            'proxy_type': 1,
            'js_enabled': True,
            'country': 'RU',
            'protocol': 1
        }
        for url in self.start_urls:
            yield Request(url, dont_filter=True, cb_kwargs=cb_kwargs)

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

proxydata-scrapy-0.0.1b0.tar.gz (3.8 kB view hashes)

Uploaded source

Built Distribution

proxydata_scrapy-0.0.1b0-py3-none-any.whl (5.2 kB view hashes)

Uploaded py3

Supported by

AWS AWS Cloud computing Datadog Datadog Monitoring Facebook / Instagram Facebook / Instagram PSF Sponsor Fastly Fastly CDN Google Google Object Storage and Download Analytics Huawei Huawei PSF Sponsor Microsoft Microsoft PSF Sponsor NVIDIA NVIDIA PSF Sponsor Pingdom Pingdom Monitoring Salesforce Salesforce PSF Sponsor Sentry Sentry Error logging StatusPage StatusPage Status page