scrapy-lokilog

Scrapy extension for non-blocking logging to Grafana Loki via lokilog.

Installation

pip install scrapy-lokilog

Quick Start

Add the extension and Loki URL to your Scrapy settings.py:

EXTENSIONS = {
    'scrapy_lokilog.LokiLogExtension': 500,
}

LOKILOG_URL = "http://localhost:3100"

# Optional: Add static labels
LOKILOG_LABELS = {"env": "prod", "service": "scraper"}

# Optional: Fields from `extra={}` to promote to Loki labels
LOKILOG_EXTRACTED_LABELS = ["user_id", "spider_name"]

# Optional: List of loggers to ignore (e.g. noisy libraries)
LOKILOG_EXCLUDE_LOGGERS = ["botocore", "urllib3"]

scrapy-lokilog (RU)

Расширение Scrapy для неблокирующей отправки логов в Grafana Loki через lokilog.

Установка

pip install scrapy-lokilog

Быстрый старт

Добавьте расширение и URL вашего Loki в settings.py проекта Scrapy:

EXTENSIONS = {
    'scrapy_lokilog.LokiLogExtension': 500,
}

LOKILOG_URL = "http://localhost:3100"

# Опционально: Добавить статические лейблы
LOKILOG_LABELS = {"env": "prod", "service": "scraper"}

# Опционально: Поля из `extra={}`, которые станут лейблами в Loki
LOKILOG_EXTRACTED_LABELS = ["user_id", "spider_name"]

# Опционально: Список логгеров для исключения (например шумные библиотеки)
LOKILOG_EXCLUDE_LOGGERS = ["botocore", "urllib3"]