✌️ Студентка створила модель ШІ, що в реальному часі перекладає мову жестів англійською

Пріянджалі Гупта, студентка Веллурського інституту технологій (VIT) розробила автоматичний інтерпретатор жестової мови, що перекладає її на англійську мову. Згідно з описом, система може працювати з вебкамерою, розпізнаючи жести завдяки штучному інтелекту.

Більше новин про технології шукайте у нашому телеграм-каналі Na chasi / Tech

Нова модель з використанням API програмної бібліотеки для машинного навчання Tensorflow здатна розрізняти та перекладати жести за допомогою передачі даних з попередньо навченої моделі ssd_mobilenet, повідомляє Гупта на сторінці релізу в GitHub.

Перша демонстрація роботи моделі на LinkedIn зібрала багато реакцій та відгуків, тому студентка планує надалі покращувати можливості своєї розробки.

Демонстрація роботи моделі, знімки екрану з GitHub

В інтерв’ю Interesting Engineering студентка розповіла про плани дослідження та використання архітектури довгої короткочасної пам’яті (long short-term memory, LSTM). Цей підхід допоможе системі навчатися на декількох кадрах, що стане ефективним рішенням для розв’язання проблем передбачення послідовностей, необхідного для просунутої роботи такої моделі штучного інтелекту.

Гупта планує далі розвивати свою модель. За її словами, варто нормалізувати мову жестів та інших способів спілкування, щоб подолати комунікаційний розрив. Студентка також висловила впевненість у тому, що «набагато досвідченіша» спільнота open-source розробників зможе знайти рішення.