Разработка Python приложения для распознавания жестов рук из видеопотока RGB и RGBD камер

Д.Ж. Сатыбалдина; Н.С. Глазырина

doi:10.32523/bulmathenu.2021/3.1

Авторы

Д.Ж. Сатыбалдина Евразийский национальный университет им. Л. Н. Гумилева
Н.С. Глазырина Евразийский национальный университет им. Л. Н. Гумилева

DOI:

https://doi.org/10.32523/bulmathenu.2021/3.1

Ключевые слова:

камера глубины, распознавание жестов, сверточная нейронная сеть, RealSense, OpenCV, Python, VGG-16

Аннотация

Системы распознавания жестов сильно изменились за последнее время,
благодаря разработке современных устройств захвата данных (сенсоров) и разработке
новых алгоритмов для распознавания. В статье представлены результаты исследования
для распознавания статических и динамических жестов рук из видеопотока с RGB и RGBD
камер, а именно с веб-камеры Logitech HD Pro Webcam C920 и с камеры глубины Intel RealSense D435. Программная реализация выполнена с использованием инструментов
Python 3.6. Python-библиотеки с открытым исходным кодом обеспечивают надежную
реализацию алгоритмов обработки и сегментации изображений. Подсистема извлечения
признаков и классификации жестов построена на основе архитектуры нейронной сети
VGG-16, реализованной c использованием фреймворков глубокого обучения TensorFlow и Keras. Приведены технические характеристики камер. Описан алгоритм
работы приложения. Приведены исследования, направленные на сравнение устройств
захвата данных, при различных условиях эксперимента (по расстоянию и освещенности).
Экспериментальные результаты показывают, что использование камеры глубины Intel RealSense D435 обеспечивается более точное распознавание жестов при различных условиях
эксперимента