Создание CNN для распознавания сгенерированных изображений

Цель

Цель исследования с нуля обучить CNN распознавать сгенерированные изображения.

Результаты

Первые результаты

Для первого обучения были выбраны такие гиперпараметры:

Результат:

Точность на обучении и валидации остается ниже 65%, что близко к случайному угадыванию (50%). Присутствует нестабильность, особенно на валидации, возможно, переобучение на шум или нерегулярные признаки. Также модель не переобучается сильно, но и не обучается хорошо.

Анализируя Confusion Matrix, можно сказать, что настоящие изображения распознается лучше, чем сгенерированные. Модель очень часто принимает сгенерированное изображение за реальное (126 раз предсказано реальное, но являлось сгенерированным)

Модель пока не уверенно распознает сгенерированные изображения.

На следующем цикле обучения стоит попробовать увеличить датасет (1000 изображений, которые использовались в этом цикле, довольно мало). Также попробовать добавить больше conv блоков, слоев классификатора и увеличить число базовых каналов до 128 (кажется, что у модели мало параметров и она довольно узкая чтобы распознавать сгенерированные изображения).

Вторая итерация

Гиперпараметры:

Результат:

Получился ужасный результат, модель абсолютно случайно делает предсказания и не обучается вообще. Проблема скорее всего в том что модель слишком большая для малого датасета.

Confusion Matrix выглядят очень странно, особенно на валидации 1500 / 1500 раз модель предсказала изображение как сгенерированное. Почему так произошло - не понятно, возможно, это также связано с тем что размер модели и кол-во данных подобраны не верно.

В этом исследование DeepGuardNet: A Novel CNN Architecture for DeepFake Image Detection обучали модель с очень похожей на мою архитектуру, но заточенную под обнаружение DeepFake в нем они использовали 140002 изображений для обучения модели из 5 conv блоков, в каждом из которых не больше 16 каналов + 1 слой классификатора.

Прошлое предположение:

Также попробовать добавить больше conv блоков, слоев классификатора и увеличить число базовых каналов до 128

Было неверным, нужно оставить предыдущую архитектуру и увеличить кол-во данных. В используемом датасете есть 2.5 млн картинок около 900 тыс настоящие, остальные - сгенерированные ИИ. Для следующего обучения стоит попробовать взять хотя бы 200 000 изображений.