fbpx
Aa Aa Aa
Aa Aa Aa
Прочитати вголос
Зупинити читання

Білоруси запустили технологію розпізнавання мови жестів зі смартфону

Bilorusy zapustyly tehnologiju rozpiznavannja movy žestiv zi smartfonu

Білоруський проект ARRM.IO прагне покращити доступність спілкування людей із вадами слуху та «навчити» комп’ютери й гаджети розпізнаванню жестів та перетворенню їх на слова та команди
Biloruśkyj proekt ARRM.IO pragne pokraščyty dostupnisť spilkuvannja ljudej iz vadamy sluhu ta «navčyty» komp’jutery j gadžety rozpiznavannju žestiv ta peretvorennju їh na slova ta komandy
Čytaty latynkoju

Спеціальні можливості

Прочитати вголос
Зупинити читання
Контрастна версія
  В чому суть інновації. ARRM.io розробники розшифровують як скорочення з набором сенсів: Augmented Reality and Mixed Reality (доповнена та змішана реальності). Розпізнавання жестів ґрунтується на класичній математиці, а також нейромережах, машинному та глибинному навчанні. Основним фокусом буде використання напрацювань у доповненій та змішаній реальності. Від початку технологію проектували для ігор. Починаючи з жовтня 2016 року команда працює над повноцінним розпізнаванням жестів для сурдоперекладу. Саме тоді в рамках конкурсу соціальних проектів розробники вперше мали змогу поспілкуватися із людьми, які не чують або мають низький рівень слуху та використовують мову жестів для спілкування. Виникла ідея запустити для камер смартфонів чи планшетів ретранслятори мови жестів у звичайний текст або голосові команди. Розробники зібрали набір із 17 жестів та образів, прив’язаних до них. Чи були подібні розробки раніше. Раніше над подібними завданнями працювали в Google, з 1999 року розвивається OpenCV. Також в аналогічному напрямку працює команда LeapMotion. Як запевняють білоруси, продуктових патентів досі не подали великі корпорації, хоча вони працюють над аналогічними жестовими технологіями. Існують також проекти із трансформації тексту у жестову мову через використання 3D-моделей, проте вони не надто корисні для людей із вадами слуху. Основною проблемою є необхідність розрізняти дактилування (інтерпретацію літер жестами) від мови жестів (коли цілі слова замінено комбінацією жестів). Як це працює. Проект використовує можливості звичайної RGB-камери будь-якого смартфону чи ноутбука. Після цього, отримавши дані з камери, нейромережа аналізує їх та запускає відповідні команди. Для роботи з настільними ПК чи ноутбуками вистачає навіть 720 пікселів, кажуть автори ідеї. Достатньо мінімального освітлення для зчитування даних з камери. Одночансо білоруси намагаються вдосконалити швидкість та формат розпізнання жестів та врахувати той факт, що мова жестів постійно поповнюється неологізмами та зміною значення самих жестів упродовж часу. Загалом треба буде опрацювати майже 3 тис жестів та зв’язок. До березня 2018 року білоруські автори розробки мають намір навчити систему 150 основним фразам мовою глухих. Раніше ми розповідали вам про українську розробницю, котра створила рукавичку для людей з вадами слуху.

В чому суть інновації

ARRM.io розробники розшифровують як скорочення з набором сенсів: Augmented Reality and Mixed Reality (доповнена та змішана реальності). Розпізнавання жестів ґрунтується на класичній математиці, а також нейромережах, машинному та глибинному навчанні. Основним фокусом буде використання напрацювань у доповненій та змішаній реальності.

Від початку технологію проектували для ігор. Починаючи з жовтня 2016 року команда працює над повноцінним розпізнаванням жестів для сурдоперекладу. Саме тоді в рамках конкурсу соціальних проектів розробники вперше мали змогу поспілкуватися із людьми, які не чують або мають низький рівень слуху та використовують мову жестів для спілкування. Виникла ідея запустити для камер смартфонів чи планшетів ретранслятори мови жестів у звичайний текст або голосові команди. Розробники зібрали набір із 17 жестів та образів, прив’язаних до них.

Чи були подібні розробки раніше

Раніше над подібними завданнями працювали в Google, з 1999 року розвивається OpenCV. Також в аналогічному напрямку працює команда LeapMotion. Як запевняють білоруси, продуктових патентів досі не подали великі корпорації, хоча вони працюють над аналогічними «жестовими» технологіями. Існують також проекти із трансформації тексту у жестову мову через використання 3D-моделей, проте вони не надто корисні для людей із вадами слуху. Основною проблемою є необхідність розрізняти дактилування (інтерпретацію літер жестами) від мови жестів (коли цілі слова замінено комбінацією жестів).

Як це працює

Проект використовує можливості звичайної RGB-камери будь-якого смартфону чи ноутбука. Після цього, отримавши дані з камери, нейромережа аналізує їх та запускає відповідні команди. Для роботи з настільними ПК чи ноутбуками вистачає навіть 720 пікселів, кажуть автори ідеї. Достатньо мінімального освітлення для зчитування даних з камери. Одночансо білоруси намагаються вдосконалити швидкість та формат розпізнання жестів та врахувати той факт, що мова жестів постійно поповнюється неологізмами та зміною значення самих жестів упродовж часу. Загалом треба буде опрацювати майже 3 тис жестів та зв’язок. До березня 2018 року білоруські автори розробки мають намір навчити систему 150 основним фразам мовою глухих.

Білоруси запустили технологію розпізнавання мови жестів зі смартфону

Раніше ми розповідали вам про українську розробницю, котра створила рукавичку для людей з вадами слуху.

Якщо ви знайшли помилку, будь ласка, виділіть фрагмент тексту та натисніть Ctrl+Enter.

Додати коментар

Такий e-mail вже зареєстровано. Скористуйтеся формою входу або введіть інший.

Ви вказали некоректні логін або пароль

Вибачте, для коментування необхідно увійти.
Ще

Повідомити про помилку

Текст, який буде надіслано нашим редакторам: