Ключевые слова
Как цитировать
Аннотация
Применение глубокого обучения в мультимодальных системах продемонстрировало значительный прогресс, особенно в оптимизации распознавания жестов и облегчении интерпретации жестового языка для людей с нарушениями слуха. В данной работе рассматривается интеграция анализа жестов и эмоций с использованием сверточных нейронных сетей (CNN) для распознавания мимических выражений лица и рекуррентных сетей с долгой краткосрочной памятью (LSTM) для анализа временной динамики жестов. Для оценки эффективности алгоритмов мультимодальные системы были протестированы на специализированных наборах данных, таких как iMiGUE, содержащем точно аннотированные видеозаписи эмоций. Эти наборы данных позволили оценить производительность моделей в задачах, приближенных к реальным условиям, а также провести сравнение различных моделей между собой.