Олександр Мельник
В чому суть інновації
ARRM.io розробники розшифровують як скорочення з набором сенсів: Augmented Reality and Mixed Reality (доповнена та змішана реальності). Розпізнавання жестів ґрунтується на класичній математиці, а також нейромережах, машинному та глибинному навчанні. Основним фокусом буде використання напрацювань у доповненій та змішаній реальності.
Від початку технологію проектували для ігор. Починаючи з жовтня 2016 року команда працює над повноцінним розпізнаванням жестів для сурдоперекладу. Саме тоді в рамках конкурсу соціальних проектів розробники вперше мали змогу поспілкуватися із людьми, які не чують або мають низький рівень слуху та використовують мову жестів для спілкування. Виникла ідея запустити для камер смартфонів чи планшетів ретранслятори мови жестів у звичайний текст або голосові команди. Розробники зібрали набір із 17 жестів та образів, прив’язаних до них.
Чи були подібні розробки раніше
Раніше над подібними завданнями працювали в Google, з 1999 року розвивається OpenCV. Також в аналогічному напрямку працює команда LeapMotion. Як запевняють білоруси, продуктових патентів досі не подали великі корпорації, хоча вони працюють над аналогічними «жестовими» технологіями. Існують також проекти із трансформації тексту у жестову мову через використання 3D-моделей, проте вони не надто корисні для людей із вадами слуху. Основною проблемою є необхідність розрізняти дактилування (інтерпретацію літер жестами) від мови жестів (коли цілі слова замінено комбінацією жестів).
Як це працює
Проект використовує можливості звичайної RGB-камери будь-якого смартфону чи ноутбука. Після цього, отримавши дані з камери, нейромережа аналізує їх та запускає відповідні команди. Для роботи з настільними ПК чи ноутбуками вистачає навіть 720 пікселів, кажуть автори ідеї. Достатньо мінімального освітлення для зчитування даних з камери. Одночансо білоруси намагаються вдосконалити швидкість та формат розпізнання жестів та врахувати той факт, що мова жестів постійно поповнюється неологізмами та зміною значення самих жестів упродовж часу. Загалом треба буде опрацювати майже 3 тис жестів та зв’язок. До березня 2018 року білоруські автори розробки мають намір навчити систему 150 основним фразам мовою глухих.
Раніше ми розповідали вам про українську розробницю, котра створила рукавичку для людей
Розробка студентки з Тернополя перетворює жести на голос з вадами слуху.