Расшифровка сокращений

• T: Table (Таблица) - импортируемая в данный момент таблица

• L: Loaded (Загружено) - количество уже загруженных в таблицу строк

• U: Updated (Обновлено) - количество обновлённых записей

• FN: Filename (Имя файла) - имя файла импортируемой таблицы

Первоначальная загрузка данных

Существует несколько способов импортировать данные в БД ГАР

Полностью автоматический импорт с сайта ФИАС:

python manage.py gar_load_data --src auto

Такой способ не всегда целесообразен по разным причинам, поэтому лучше самостоятельно скачать полный архив и импортировать уже его:

# Архив с XML-файлами
python manage.py gar_load_data --src /path/to/gar_xml.zip
# Каталог с распакованным содержимым архива
python manage.py gar_load_data --src /path/to/gar_data/

Но! В случае, если в БД уже есть какие-то данные, скрипт выдаст соответствующее сообщение и прекратит работу. Такое поведение связано с тем, что при импорте из файла, если версия файла не совпадает с версией данных в какой-то таблице в БД ГАР, данные в этой таблице могут быть удалены полностью и заменены новыми, при этом ORM Django при наличии связанных таблиц удалит данные так же и оттуда. Поэтому, если по этой или какой-то иной причине нужно импортировать всю БД ГАР заново, добавьте флаг –truncate:

python manage.py gar_load_data --src /path/to/gar_xml.zip --truncate

Если скачанный файл не актуален, можно добавить к указанной выше команде флаг –update - скрипт сразу после импорта обновит БД до актуальной версии.:

python manage.py gar_load_data --src /path/to/gar_xml.zip --update

Использование отложенной согласованности БД

Для первоначальной загрузки данных может быть выгодно временно отключить ограничения и индексы БД и выполнять загрузку без транзакции.

Для отключения ограничений предусмотрена команда manage_constraints, генерирующая SQL-код для удаления или восстановления ограничений и индексов полей.

Аргументы:

state

“enable” или “disable” для включения/отключения ограничений соответственно

Опции:

--fk

изменение состояния внешних ключей

--unique

изменение состояния ограничений уникальности

--index

изменение состояния индексов базы данных

--logged

изменение состояния журналируемости таблиц БД

--truncate

очистка данных из базы (см. “Удаление данных из БД” ниже)

--commit

запись изменений в БД, в противном случае происходит только генерация SQL-кода

Полный порядок действий:

1. Отключить ограничения::

   python manage.py manage_constraints disable --fk --unique --index --logged --commit

2. Произвести загрузку общих справочников:

   python manage.py gar_load_data --no-truncate --no-transaction /path/to/gar_data/

В директории /path/to/gar_data/ должны лежать файлы AS_*.xml из корня архива, т.е.:

/path/to/gar_data/AS_ADDHOUSE_TYPES_20211004_91e6dc75-0e20-4af0-8bd4-81701eeb8961.XML
...
/path/to/gar_data/AS_ROOM_TYPES_20211004_5b63b804-601c-4fc2-b083-49a616a30723.XML

3. Произвести частичную загрузку одного или нескольких регионов:

   python manage.py gar_load_data --no-truncate --no-transaction /path/to/gar_data/

В директории /path/to/gar_data/ должны лежать директории с данными по регионам, т.е. для загрузки регионов 01 и 02 должна быть структура вида:

/path/to/gar_data/01/AS_ADDR_OBJ_20211004_3d78254b-65da-4864-8495-fedad8adcbbf.XML
...
/path/to/gar_data/01/AS_STEADS_PARAMS_20211004_edc5fddf-5a2b-4f47-915b-2300f436fca1.XML
/path/to/gar_data/02/AS_ADDR_OBJ_20211004_46290f85-8a71-41de-9a8d-b6c01e3f6d60.XML
...
/path/to/gar_data/02/AS_STEADS_PARAMS_20211004_738598d9-38b0-441d-9276-c7ac7e41d606.XML

4. Повторить п.3 для других регионов

5. После успешной загрузки всех данных включить ограничения обратно::

   python manage.py manage_constraints enable --fk --unique --index --logged --commit

Удаление данных из БД

Используется опция –truncate команды manage_constraints. Принимает ничего, либо список регионов, разделённых запятой. Для удаления данных по общим справочникам используется регион с кодом “0” Выполнение происходит с учётом опции “–commit”

Для удаления всех данных:

python manage.py manage_constraints disable --truncate --commit

Для удаления данных общих справочников:

python manage.py manage_constraints disable --truncate=0 --commit

Для удаления данных общих справочников и некоторых регионов:

python manage.py manage_constraints disable --truncate=0,1,2,3 --commit

Для удаления данных некоторых регионов:

python manage.py manage_constraints disable --truncate=1,2,3 --commit

Обновление существующей БД

Для обновления БД выполните:

python manage.py gar_load_data --update

Обновление выполняется только с сайта ФИАС. Обновить базу из файла нельзя.