ai-discourse-analyzer 0.1.0

Пакет для кластеризации, тематического моделирования и эмоционального анализа AI-дискурса в Telegram и других корпусах.

ai-discourse-analyzer

AIDA — краткое имя пакета AI Discourse Analyzer.

ai-discourse-analyzer — это Python-пакет для корпусного анализа AI-дискурса в Telegram и других текстовых массивах со сходной структурой.

Пакет предназначен для задач, где требуется:

• тематическая кластеризация публикаций;
• извлечение устойчивых биграмм;
• детализация кластеров с помощью LDA;
• гибридная эмоциональная разметка;
• построение интерактивного HTML-отчёта.

Основные возможности

• взвешенное объединение текста поста и агрегированных комментариев;
• лемматизация русского текста;
• построение биграмм;
• TF-IDF + SVD + KMeans для тематической кластеризации;
• LDA внутри кластеров;
• гибридная модель эмоционального анализа:
  • словарные признаки,
  • биграммы,
  • дискурсивные маркеры,
  • эмбеддинги RuBERT tiny,
  • word2vec;
• интерактивные визуализации и HTML-отчёт.

Установка

Установка из PyPI

pip install ai-discourse-analyzer

Установка актуальной версии из GitHub

pip install git+https://github.com/Frantsuzova/ai-discourse-analyzer.git

Проверка установки

import ai_discourse_analyzer

print(ai_discourse_analyzer.__version__)

Когда использовать пакет

Пакет можно использовать в двух режимах:

1. Как самостоятельный модуль

Если у вас есть корпус в формате JSONL, CSV или TSV и вы хотите получить тематическую и эмоциональную аналитику без дополнительных шагов предварительной обработки.

2. Как второй этап после базовой корпусной обработки

Пакет можно использовать как аналитическую надстройку после первичной кластеризации или подготовки корпуса в других инструментах, включая corpus_cluster_explorer.

Формат входных данных

Пакет ориентирован на корпуса, где каждая запись содержит как минимум поле с основным текстом. Для Telegram-корпусов поддерживается схема:

{
  "text": "Текст поста",
  "comments_text": "Агрегированный текст комментариев",
  "date_utc": "2026-01-01T12:00:00",
  "channel_username": "example_channel",
  "link": "https://t.me/example/123"
}

Единицей анализа выступает публикация, представленная:

• текстом поста;
• агрегированным текстом комментариев;
• с возможностью повышенного веса текста поста.

Быстрый запуск

Через CLI

aida-report social_data_ai_raw_2026.jsonl --output-dir outputs

В Python

from ai_discourse_analyzer.pipeline import DiscourseAnalyzer
from ai_discourse_analyzer.config import AnalysisConfig

config = AnalysisConfig()
analyzer = DiscourseAnalyzer(config=config)
result = analyzer.run("social_data_ai_raw_2026.jsonl", output_dir="outputs")

Что создаётся на выходе

Пакет сохраняет:

• HTML-отчёт;
• таблицу по кластерам;
• таблицу LDA-подтем;
• таблицу эмоциональной разметки документов;
• координаты точек для интерактивной карты.

Пример структуры выходной директории:

outputs/
├── final_ai_clusters_report.html
├── cluster_summary.csv
├── cluster_lda_topics.csv
├── document_emotions.csv
└── cluster_points.csv

Методологическая логика

Анализ строится в несколько этапов:

1. предварительная очистка текста;
2. лемматизация и нормализация;
3. формирование биграмм;
4. построение тематических кластеров;
5. LDA-детализация кластеров;
6. гибридная эмоциональная классификация;
7. генерация итогового HTML-отчёта.

Эмоциональная разметка трактуется не как диагностика состояния автора, а как классификация доминирующего эмоционального регистра текста.

Для чего пакет не предназначен

Пакет не предназначен для:

• психологической диагностики авторов;
• извлечения «истинных» эмоций говорящего;
• production-grade sentiment analysis без адаптации под конкретный корпус.

Лицензия

MIT