kafka-http-proxy 1.0.0

Synchronous HTTP to Kafka proxy with request-reply pattern

Kafka HTTP Proxy

Синхронный прокси для передачи HTTP запросов через Apache Kafka с паттерном request-reply.

Установка

pip install git+https://github.com/fedorovvl/kafka-http-proxy.git

Быстрый старт

Прокси (сервер А)

# Переменные окружения
export KAFKA_BOOTSTRAP_SERVERS=kafka:9092
export WARMUP_TOPICS=common-responses,orders-responses
export PROXY_PORT=8080

kafka-proxy

Или с конфиг файлом:

kafka-proxy --config proxy_config.yaml

Обработчик (сервер Б)

export KAFKA_BOOTSTRAP_SERVERS=kafka:9092
export KAFKA_TOPICS=orders:orders-requests,orders-responses,http://backend:8080
kafka-processor

Архитектура

Клиент → Nginx → Прокси → Kafka → Обработчик → Бекенд
                        ↑________________________↓
                        (синхронный ответ через Kafka)

Docker

cd examples
docker-compose up -d

Метрики

Prometheus метрики доступны на /metrics:

proxy_requests_total - количество запросов
proxy_request_latency_seconds - латентность запросов
proxy_pending_requests - ожидающие запросы
processor_messages_total - обработанные сообщения
processor_latency_seconds - латентность обработки