HIGHLIGHTS
- who: Медведев А.А. et al. from the Saint Petersburg National Research University of Information Technologies, Mechanics and Optics, Kronverkskiy prospekt, StPetersburg, Russia have published the paper: Медведев А.А., Лаптев А.А. Алгоритм выявления невербальных маркеров поведения человека на видео // Научный результат. Информационные технологии. - Т.7, №2,, in the Journal: (JOURNAL)
- what: The Article discusses computer vision and machine learning methods that allow extracting and analyzing person's face from a video channel to determine its nonverbal markers and emotional state.
SUMMARY
An algorithm for detecting non-verbal markers of human behavior on video // Research result. DOI: 10.18413/2518-1092-2022-7-2-0-8 ВВЕДЕНИЕ Общение людей состоит из вербальных и невербальных признаков. Распространение онлайн конференций открывает доступ к инструментам обработки и анализа материалов выступлений людей по видео, аудио и текстовым каналам. Микровыражения - это невербальные сигналы, которые возникают, когда человек скрывает истинные чувства или намерения. Сравнительный анализ вербальных и невербальных компонент коммуникации позволяет оценить конгруэнтность поведения человека, выделить взаимосвязь или расхождение между высказываниями и поведением человека. Одним из методов определения микровыражений человека является отслеживание движений мимики лица, взаимосвязи между мимической активностью и словами человека. Для распознавания мимики человека используется метод лицевых ориентиров, множества ключевых точек лица для определения формы головы, областей глаз, бровей, носа и губ. Детектирование области глаз и зрачков позволяет выделить зоны интереса человека, к которым он возвращается повторно. Взгляд человека - это невербальный показатель внимания человека. Системы регистрации взгляда способны воссоздать траекторию движений глаз пользователя с помощью методов окулографии. Ориентиры губ применяются в задаче классификации эмоций человека. Улыбка, открытость или напряженность губ релевантны для оценивания счастливых или депрессивных выражений, возникающих у человека. Губы служат индикатором яркого выражения эмоций человека, либо дополнительным критерием оценки его поведения. В случае анализа поведения улыбка может подтвердить или опровергнуть предсказание эмоции, например, при одновременном распознавании ориентиров рта и бровей человека. Количество и частота производимых человеком жестов и сигналов могут быть применены для подготовки к публичным выступлениям и интервью. Дополнительный модуль Face Mesh позволяет распознавать лицевые ориентиры на полученном изображении. Координата Z отражает нормализованное расстояние между человеком и камерой. 18. 19. @@
If you want to have access to all the content you need to log in!
Thanks :)
If you don't have an account, you can create one here.