sponsrdump
https://github.com/idlesign/sponsrdump
Описание
Приложение позволяет получить локальные копии материалов, на которые у вас уже имеется подписка, с сайта sponsr.ru.
Умеет скачивать тексты (статьи), аудио (подкаст), видео.
Зависимости
- Unix
- Python 3.11+
- ffmpeg (
sudo apt install ffmpeg) - uv (для установки и обновления приложения)
Установка и обновление
Производится при помощи приложения uv:
$ uv tool install sponsrdump
После этого запускать приложение можно командой
$ sponsrdump
Для обновления выполните
$ uv tool upgrade sponsrdump
Начало работы
-
Перейдите в браузере на страницу нужного проекта. Для примера используем проект "Уроки истории" - https://sponsr.ru/uzhukoffa_lessons/
-
Если вы ещё не авторизовались на сайте (не вошли), сделайте это.
-
Удостоверьтесь, что материалы данного проекта вам доступны. Если нет, оформите подписку на нужный проект.
-
Теперь нам потребуется получить значение cookie
SESSдля сайта sponsr.ru, чтобы приложение могло собрать нужные материалы. Один из вариант получения значения куки:- В браузере нажмите F12, откроется панель разработчика, открываем вкладку Сеть.
- Переходим на страницу попроще (где меньше обращений к ресурсам, чтобы не запутаться), например, https://sponsr.ru/img/new/white-logo.svg
- На вкладке Сеть выделяем строку с текстом white-logo.svg. В открывшейся панели ищем раздел Заголовки запроса.
Находим пункт Cookie и копируем из него текст, начиная с
SESS=и до первой же точки с запятой. Этот текст — пропуск на сайт для нашего собирателя.
-
Создаём текстовый файл с названием
sponsrdump_auth.txtв удобной директории (из которой мы будем запускать приложение). -
Скопированное ранее значение cookie
SESSпомещаем в файл из п.5, сохраняем.
В ходе сбора материалов в директории, из которой запущено приложение, будет создан файл sponsrdump.json,
с информацией о том, что уже было успешно собрано. Таким образом, при следующем запуске приложения будут собраны только новые материалы.
Примеры запуска
Из командной строки
В примере мы используем фильтр, который инструктирует собирателя на поиск тех статей, в заголовке которых есть слово Урок .
Мы будем собирать все файлы (тексты, аудио, видео), начиная от старых к новым, и складывать их в поддиректорию here/ текущей директории.
Для видео будем предпочитать разрешение 640x360. Сделаем видео с текстом статьи — --text-to-video.
$ sponsrdump "https://sponsr.ru/uzhukoffa_lessons/" --title "Урок " --to here/ --prefer-video 640x360 --text-to-video
С опцией --dry-run приложение ничего не скачивает и не записывает, а лишь выводит отобранные посты (дата, заголовок, ссылка) — удобно, чтобы понять, что качать.
Файлы, недоступные для скачивания (ответ 404), пропускаются с предупреждением и не помечаются как собранные, поэтому при появлении доступа они будут скачаны при следующем запуске.
Из кода
В примере ниже использованы все те же настройки, что и в примере запуска из командной строки (выше).
dumper = SponsrDumper('https://sponsr.ru/uzhukoffa_lessons/')
dumper.search(func_filter=lambda post_info: 'Урок ' in post_info['post_title'])
dumper.dump('here/', prefer_video=VideoPreference(frame='640x360'), text_to_video=True)
В контейнере
Будет полезно для тех, кто хочет выгружать видео сразу на свой домашний NAS.
Требует наличия в системе Docker. Если у вас есть make:
$ make run
$ uvx sponsrdump "https://sponsr.ru/uzhukoffa_lessons/" --title "Урок 309" --prefer-video 640x360
Можно и без make и shell. В данном примере в контейнер монтируется текущая директория, чтобы сохранять данные вне контейнера:
$ docker build -t sponsrdump .
$ docker run -it -v $(pwd):/data sponsrdump uvx sponsrdump "https://sponsr.ru/uzhukoffa_lessons/" --title "Урок 309" --prefer-video 640x360
Файлы sponsrdump_auth.txt, sponsrdump.json и каталог dump/ будут читаться и создаваться в текущей директории. Монтируется именно директория, а не отдельные файлы: при монтировании несуществующего на хосте файла Docker создаёт вместо него директорию, и приложение не сможет работать с конфигурацией.
Metadata
Release files for sponsrdump 0.4.0
For a detailed explanation of source distributions (sdists) and built distributions (wheels), please see the package formats documentation.
Source distribution (sdist)
| File | Size | Uploaded | Provenance | Actions |
|---|---|---|---|---|
| sponsrdump-0.4.0.tar.gz | 15.1 kB | Without provenance | Details for sponsrdump-0.4.0.tar.gz |
Built distribution (wheel)
| File | Interpreter | ABI | Platform | Actions Reset |
|---|---|---|---|---|
| sponsrdump-0.4.0-py3-none-any.whl | Python 3 | none | any | Details for sponsrdump-0.4.0-py3-none-any.whl |
Total release size: 33.0 kB
Release files / sponsrdump-0.4.0.tar.gz
| Download URL | sponsrdump-0.4.0.tar.gz |
|---|---|
| Size | 15.1 kB |
| Tags | Source |
|
SHA-256 checksum How to use checksums |
5db4a61f788638f2acf9fdb8e07781e0efa3a6996c91f5e4753de457f5f7c976
|
|
BLAKE2b-256 checksum How to use checksums |
0e55c55b5b526bfa30e89f1dc2e9271121ae9f3aeb6cc47be027cf90eac9662a
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
No |
| Uploaded via |
uv/0.13.7 {"installer":{"name":"uv","version":"0.13.7","subcommand":["publish"]},"python":null,"implementation":{"name":null,"version":null},"distro":{"name":"Ubuntu","version":"26.04","id":"resolute","libc":null},"system":{"name":null,"release":null},"cpu":null,"openssl_version":null,"setuptools_version":null,"rustc_version":null,"ci":null}
|
Release files / sponsrdump-0.4.0-py3-none-any.whl
| Download URL | sponsrdump-0.4.0-py3-none-any.whl |
|---|---|
| Size | 17.8 kB |
| Tags | Python 3 |
|
SHA-256 checksum How to use checksums |
20794a887f936c3b6bfbff04522e88ae7946464c82356dce53f6b015c32cc832
|
|
BLAKE2b-256 checksum How to use checksums |
58d22a12e764bdc80e1655de34341108b7e4d3a27372c4ccff88efec05909db4
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
No |
| Uploaded via |
uv/0.13.7 {"installer":{"name":"uv","version":"0.13.7","subcommand":["publish"]},"python":null,"implementation":{"name":null,"version":null},"distro":{"name":"Ubuntu","version":"26.04","id":"resolute","libc":null},"system":{"name":null,"release":null},"cpu":null,"openssl_version":null,"setuptools_version":null,"rustc_version":null,"ci":null}
|
Security for sponsrdump 0.4.0
Provenance
Provenance describes where a file came from. On PyPI, provenance is shared via attestations, which provide a verifiable record of the build or publishing details. View details, limitations and caveats.
No provenance found
None of the files in this release were uploaded with provenance metadata.
A note on package security
PyPI is a repository for distributing packages, not a service for auditing them. While third-party security researchers and our staff do their best to detect and remove malicious packages, PyPI cannot guarantee the quality, security or suitability of any given package.
To learn more about protecting yourself from malicious actors, visit our package security documentation.