VideoEmotionRecognition 0.2.9

This package receives an mp4 file classfying it according to its emotions and generating a heat map

Multimodal Emotion Recognition from Videos

Esse projeto consiste na elaboração de um método capaz de extrair emoções em tempo real de um vídeo, organizando-as em um mapa de calor sobre as dimensões de arousal-valence.

Ele contém 4 métodos

• transcript
  • Transforma um arquivo mp4 em um dataframe do Pandas contendo cada frase do vídeo e suas timestamps
• emotion recognition
  • Classifica o dataframe do Pandas gerado pelo transcript quanto a suas emoções dependendo de qual "modality" for selecionada
  • "modality" = "transcript"
  • "modality" = "audio"
  • "modality" = "video"
• get_labels
  • Retorna o dataframe
• get_heatmap
  • Gera um heatmap com o dataframe desde que ele tenha sido classificado quanto as emoções