МТУСИ: Алгоритм обнаружения девиантного поведения

Основная статья: Видеоаналитика (термины, сферы применения, технологии)

2023: Создание алгоритма

Ученые МТУСИ создали алгоритм обнаружения девиантного поведения на основе видео в реальном времени с поддержкой нескольких камер и нескольких людей, основанный на оценке позы человека и открытой исходной форме алгоритма OpenPifPaf. Об этом университет сообщил 6 июня 2023 года.

Проблема обеспечения безопасности жителей мегаполисов становится особенно актуальной в наши дни. Зачастую опасные ситуации возникают из-за девиантного поведения людей: драка, нападение, нахождение в неположенном месте. Современные города оснащены системами видеонаблюдения: их используют для контроля городской жизни, а можно направить на обнаружение потенциально опасных ситуаций в режиме реального времени.

В связи с огромным количеством видеоматериалов задача обнаружения опасных ситуаций требует использования современных интеллектуальных технологий, позволяющих проводить автоматический анализ. Первоочередная задача – научить программу определять положение тела человека на изображениях и видео, — рассказал декан факультета «Информационные технологии» МТУСИ, к.т.н. Михаил Городничев.

Существует несколько библиотек, позволяющих оценить позу человека по видеоизображению. После изучения различных вариантов учеными было принято решение об использовании OpenPifPaf для работы над проектом по созданию алгоритма.

Данные являются основой любой системы, построенной с использованием машинного обучения. Основными критериями их качества являются точность разбиения и разнообразие. Наиболее популярные наборы данных для распознавания поз – MPII и COCO, они отличаются друг от друга разметкой и количеством изображений. При реализации алгоритма выделения девиантного поведения был использован набор COCO, — пояснила старший преподаватель кафедры «Математическая кибернетика и информационные технологии» МТУСИ Ксения Полянцева.

Помимо библиотеки OpenPifPaf в проекте использовались вспомогательные библиотеки Python: torch, argparse, math, OpenCV, matplotlib, PIL. Для практического применения алгоритма было создано приложение, распознающее падение человека по видео. Михаил Садиров, SMART technologies: На тестирование мультивендорных решений есть спрос

Над видеоизображением отображается основная информация: количество кадров в секунду, общее количество обработанных кадров, прогнозируемое состояние человека, которое может быть либо «Нормальное», либо «Предупреждение о падении», либо «Падение». В случае ошибки распознавания человека (в том числе, если в кадре нет людей), состояние отображается как «Нет».

Дополнительно было создано веб-приложение, которое реагирует на девиантное поведение, фиксирует его, записывает событие в базу данных и отображает уведомление. Каждая строка содержит информацию о признаке девиантного поведения (на данном этапе только падение человека), дату и время фиксации, номер камеры.

Сотрудники кафедры «Математическая кибернетика и информационные технологии» МТУСИ Марина Мосева и Артем Павликов подчеркнули, что предложенный алгоритм работает с достаточно низкими аппаратными требованиями, а программа не требует графического процессора. Тем не менее, алгоритм имеет склонность к ложным срабатываниям из-за несбалансированных обучающих данных, поэтому для получения наилучших результатов необходимо дальнейшее обучение системы.