Разработка Python приложения для распознавания жестов рук из видеопотока RGB и RGBD камер
Просмотры: 201 / Загрузок PDF: 157
DOI:
https://doi.org/10.32523/bulmathenu.2021/3.1Ключевые слова:
камера глубины, распознавание жестов, сверточная нейронная сеть, RealSense, OpenCV, Python, VGG-16Аннотация
Системы распознавания жестов сильно изменились за последнее время,
благодаря разработке современных устройств захвата данных (сенсоров) и разработке
новых алгоритмов для распознавания. В статье представлены результаты исследования
для распознавания статических и динамических жестов рук из видеопотока с RGB и RGBD
камер, а именно с веб-камеры Logitech HD Pro Webcam C920 и с камеры глубины Intel RealSense D435. Программная реализация выполнена с использованием инструментов
Python 3.6. Python-библиотеки с открытым исходным кодом обеспечивают надежную
реализацию алгоритмов обработки и сегментации изображений. Подсистема извлечения
признаков и классификации жестов построена на основе архитектуры нейронной сети
VGG-16, реализованной c использованием фреймворков глубокого обучения TensorFlow и Keras. Приведены технические характеристики камер. Описан алгоритм
работы приложения. Приведены исследования, направленные на сравнение устройств
захвата данных, при различных условиях эксперимента (по расстоянию и освещенности).
Экспериментальные результаты показывают, что использование камеры глубины Intel RealSense D435 обеспечивается более точное распознавание жестов при различных условиях
эксперимента
