Skip to main content

Набор утилит для конвертации таблиц postges в json формат и обратно

Project description

Утилиты для работы с системой импорт/экспорта классификаторов в едином формате.

Модуль table_to_file предлагает набор функций для импорта/экспорта таблиц из БД в формат json и обратно.

Структура json'а описана в документации к протоколу передачи классификаторов см раздел "2. Классификатор".

Протокол и структура хранения классификаторов в json, как его составная часть, разрабатываются как общесистемные решения для проектов Лаборатории.

Ограничения:

  • Последовательности (Sequences) должны быть в той же схеме, что и таблица их использующая

Интерфейс взаимодействия с модулем.

Модуль представляет API состоящее из 4х методов:

export_table_to_dict - Преобразует таблицу из бд в словарь содержащий структуру и данные таблицы.

Параметры:

  • table_name - Имя таблицы в базе данных.
  • dbname - Имя базы данных.
  • user - Пользователь БД.
  • password - Пароль пользователя.
  • host - Адрес сервера баз данных.
  • port - Порт сервера баз данных.

Возвращаемое значение:

  • Словарь со структурой и данными таблицы. Структура словаря соответствует описанной структуре классификатора в документации к протоколу.

import_table_from_dict - Импортирует данные из словаря подходящей структуры в базу данных.

Если такой таблицы нет в БД то таблица будет создана и заполнена данными из словаря. В случае несоответствия структуры описанной в словаре таблице существующей в базе данных поднимает исключение ValueError.

Параметры:

  • table - Структура таблицы и данные для импорта в виде словаря.
  • table_name - Имя таблицы в базе данных.
  • dbname - Имя базы данных.
  • user - Пользователь БД.
  • password - Пароль пользователя.
  • host - Адрес сервера баз данных.
  • port - Порт сервера баз данных.
  • foreign_tables_mapping Словарь соответствия имен связанных таблиц в словаре и в базе данных. Ключи и значения словаря кортежи состоящие из пары значений ('имя_схемы', 'имя_таблицы') ключ - имена в структуре данных, значения - имена в базе данных. Пример {('имя_схемы_в_структуре', 'имя_таблицы_в_структуре'): ('имя_схемы_в_бд', 'имя_таблицы_в_бд')}

Возвращаемое значение:

  • нет

dict_as_json - Сохраняет словарь с таблицей в виде json в BytesIO объект

Параметры:

  • table - Словарь содержащий структуру таблицы для сохранения в json формате.

Возвращаемое значение:

  • Объект BytesIO содержащий "файл" с переданной структурой в json формате.

json_to_table - Принимает или путь к файлу с json или BytesIO объект из которого

Параметры:

  • data_source - Имя файла в системе или объект BytesIO содержащий в себе json соответствующего формата.
  • table_name - Имя таблицы в базе данных.
  • dbname - Имя базы данных.
  • user - Пользователь БД.
  • password - Пароль пользователя.
  • host - Адрес сервера баз данных.
  • port - Порт сервера баз данных.
  • foreign_tables_mapping Словарь соответствия имен связанных таблиц в словаре и в базе данных.

Возвращаемое значение:

  • нет

Установка и использование

Этот проект использует uv для управления зависимостями.

Установка зависимостей

uv sync

Активация виртуального окружения

uv shell

Установка дополнительных зависимостей для разработки

uv sync --group dev

Запуск тестов.

Для запуска тестов необходимо установленный в системе Docker. Тесты запускаются из директории проекта командой

docker-compose -f docker-compose.pytest.yml run --build --rm tests

Также для запуска можно использовать вариант с двумя последовательными командами

docker-compose -f docker-compose.pytest.yml build --no-cache
docker-compose -f docker-compose.pytest.yml run --rm tests

После тестов желательно удалить созданные контейнеры

docker-compose -f docker-compose.pytest.yml down -v

Альтернатива если в системе установлен make Make for Windows, How to install and use "make" in Windows?

make test

Последние зменения

[0.2.2] - 2025-08-27

Изменены
  • Обновлены аннотации типов для параметров функций в модулях table_to_dict и table_to_json для работы на старых версиях Python 3.7, 3.8, 3.9
  • Проект переведен с poetry на uv
  • В проекте изменена зависимость с psycopg2 на psycopg2-binary
  • Функции import_table_from_dict и export_table_to_dict теперь могут не только создавать свое подключение к базе, но и использовать переданное

Полная история изменений

Смотрите полную историю всех изменений в файле CHANGELOG.md или на странице проекта

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

json_2_postgres-0.2.2.tar.gz (18.6 kB view details)

Uploaded Source

Built Distribution

If you're not sure about the file name format, learn more about wheel file names.

json_2_postgres-0.2.2-py3-none-any.whl (13.0 kB view details)

Uploaded Python 3

File details

Details for the file json_2_postgres-0.2.2.tar.gz.

File metadata

  • Download URL: json_2_postgres-0.2.2.tar.gz
  • Upload date:
  • Size: 18.6 kB
  • Tags: Source
  • Uploaded using Trusted Publishing? No
  • Uploaded via: uv/0.8.13

File hashes

Hashes for json_2_postgres-0.2.2.tar.gz
Algorithm Hash digest
SHA256 e23fc920f5a3093ff100ec81081a324b909785d7e211c8e33c0395dab823ec43
MD5 a363cffe5e1e767a554d61c853427029
BLAKE2b-256 c38d18c63024c875f0792803b506918f583966e59bf74ba99fe7cb52a34e660e

See more details on using hashes here.

File details

Details for the file json_2_postgres-0.2.2-py3-none-any.whl.

File metadata

File hashes

Hashes for json_2_postgres-0.2.2-py3-none-any.whl
Algorithm Hash digest
SHA256 522a594ee60697583d8faaeeb6e84e6c196999746c55dc669be7f3cad17359be
MD5 f9a5ad1df5cc9b844ffbba9e839e0242
BLAKE2b-256 e77569d699f129333b90b725cca6bcedd89bc59066f6d1a86d8a1023c64a2395

See more details on using hashes here.

Supported by

AWS Cloud computing and Security Sponsor Datadog Monitoring Depot Continuous Integration Fastly CDN Google Download Analytics Pingdom Monitoring Sentry Error logging StatusPage Status page