fbpx
Aa Aa Aa
Aa Aa Aa
Pročytaty vgolos
Zupynyty čytannja

Bilorusy zapustyly tehnologiju rozpiznavannja movy žestiv zi smartfonu

Білоруси запустили технологію розпізнавання мови жестів зі смартфону

Biloruśkyj proekt ARRM.IO pragne pokraščyty dostupnisť spilkuvannja ljudej iz vadamy sluhu ta «navčyty» komp’jutery j gadžety rozpiznavannju žestiv ta peretvorennju їh na slova ta komandy
Білоруський проект ARRM.IO прагне покращити доступність спілкування людей із вадами слуху та «навчити» комп’ютери й гаджети розпізнаванню жестів та перетворенню їх на слова та команди
Читати кирилицею

Speciaľni možlyvosti

Pročytaty vgolos
Zupynyty čytannja
Kontrastna versija
  В чому суть інновації. ARRM.io розробники розшифровують як скорочення з набором сенсів: Augmented Reality and Mixed Reality (доповнена та змішана реальності). Розпізнавання жестів ґрунтується на класичній математиці, а також нейромережах, машинному та глибинному навчанні. Основним фокусом буде використання напрацювань у доповненій та змішаній реальності. Від початку технологію проектували для ігор. Починаючи з жовтня 2016 року команда працює над повноцінним розпізнаванням жестів для сурдоперекладу. Саме тоді в рамках конкурсу соціальних проектів розробники вперше мали змогу поспілкуватися із людьми, які не чують або мають низький рівень слуху та використовують мову жестів для спілкування. Виникла ідея запустити для камер смартфонів чи планшетів ретранслятори мови жестів у звичайний текст або голосові команди. Розробники зібрали набір із 17 жестів та образів, прив’язаних до них. Чи були подібні розробки раніше. Раніше над подібними завданнями працювали в Google, з 1999 року розвивається OpenCV. Також в аналогічному напрямку працює команда LeapMotion. Як запевняють білоруси, продуктових патентів досі не подали великі корпорації, хоча вони працюють над аналогічними жестовими технологіями. Існують також проекти із трансформації тексту у жестову мову через використання 3D-моделей, проте вони не надто корисні для людей із вадами слуху. Основною проблемою є необхідність розрізняти дактилування (інтерпретацію літер жестами) від мови жестів (коли цілі слова замінено комбінацією жестів). Як це працює. Проект використовує можливості звичайної RGB-камери будь-якого смартфону чи ноутбука. Після цього, отримавши дані з камери, нейромережа аналізує їх та запускає відповідні команди. Для роботи з настільними ПК чи ноутбуками вистачає навіть 720 пікселів, кажуть автори ідеї. Достатньо мінімального освітлення для зчитування даних з камери. Одночансо білоруси намагаються вдосконалити швидкість та формат розпізнання жестів та врахувати той факт, що мова жестів постійно поповнюється неологізмами та зміною значення самих жестів упродовж часу. Загалом треба буде опрацювати майже 3 тис жестів та зв’язок. До березня 2018 року білоруські автори розробки мають намір навчити систему 150 основним фразам мовою глухих. Раніше ми розповідали вам про українську розробницю, котра створила рукавичку для людей з вадами слуху.

V čomu suť innovaciї

ARRM.io rozrobnyky rozšyfrovujuť jak skoročennja z naborom sensiv: Augmented Reality and Mixed Reality (dopovnena ta zmišana reaľnosti). Rozpiznavannja žestiv ğruntujeťsja na klasyčnij matematyci, a takož nejromerežah, mašynnomu ta glybynnomu navčanni. Osnovnym fokusom bude vykorystannja napracjuvań u dopovnenij ta zmišanij reaľnosti.

Vid počatku tehnologiju proektuvaly dlja igor. Počynajučy z žovtnja 2016 roku komanda pracjuje nad povnocinnym rozpiznavannjam žestiv dlja surdoperekladu. Same todi v ramkah konkursu sociaľnyh proektiv rozrobnyky vperše maly zmogu pospilkuvatysja iz ljuďmy, jaki ne čujuť abo majuť nyźkyj riveń sluhu ta vykorystovujuť movu žestiv dlja spilkuvannja. Vynykla ideja zapustyty dlja kamer smartfoniv čy planšetiv retransljatory movy žestiv u zvyčajnyj tekst abo golosovi komandy. Rozrobnyky zibraly nabir iz 17 žestiv ta obraziv, pryv’jazanyh do nyh.

Čy buly podibni rozrobky raniše

Raniše nad podibnymy zavdannjamy pracjuvaly v Google, z 1999 roku rozvyvajeťsja OpenCV. Takož v analogičnomu naprjamku pracjuje komanda LeapMotion. Jak zapevnjajuť bilorusy, produktovyh patentiv dosi ne podaly velyki korporaciї, hoča vony pracjujuť nad analogičnymy «žestovymy» tehnologijamy. Isnujuť takož proekty iz transformaciї tekstu u žestovu movu čerez vykorystannja 3D-modelej, prote vony ne nadto korysni dlja ljudej iz vadamy sluhu. Osnovnoju problemoju je neobhidnisť rozriznjaty daktyluvannja (interpretaciju liter žestamy) vid movy žestiv (koly cili slova zamineno kombinacijeju žestiv).

Jak ce pracjuje

Proekt vykorystovuje možlyvosti zvyčajnoї RGB-kamery buď-jakogo smartfonu čy noutbuka. Pislja ćogo, otrymavšy dani z kamery, nejromereža analizuje їh ta zapuskaje vidpovidni komandy. Dlja roboty z nastiľnymy PK čy noutbukamy vystačaje naviť 720 pikseliv, kažuť avtory ideї. Dostatńo minimaľnogo osvitlennja dlja zčytuvannja danyh z kamery. Odnočanso bilorusy namagajuťsja vdoskonalyty švydkisť ta format rozpiznannja žestiv ta vrahuvaty toj fakt, ščo mova žestiv postijno popovnjujeťsja neologizmamy ta zminoju značennja samyh žestiv uprodovž času. Zagalom treba bude opracjuvaty majže 3 tys žestiv ta zv’jazok. Do bereznja 2018 roku biloruśki avtory rozrobky majuť namir navčyty systemu 150 osnovnym frazam movoju gluhyh.

Bilorusy zapustyly tehnologiju rozpiznavannja movy žestiv zi smartfonu

Raniše my rozpovidaly vam pro ukraїnśku rozrobnycju, kotra stvoryla rukavyčku dlja ljudej z vadamy sluhu.

Jakščo vy znajšly pomylku, buď laska, vydiliť fragment tekstu ta natysniť Ctrl Enter.

Dodaty komentar

Takyj e-mail vže zarejestrovano. Skorystujtesja Formoju vhodu abo vvediť inšyj.

Vy vkazaly nekorektni login abo paroľ

Vybačte, dlja komentuvannja neobhidno uvijty.
Šče
Vy čytajete sajt ukraїnśkoju latynkoju. Podrobyci v Manifesti
Hello. Add your message here.

Povidomyty pro pomylku

Tekst, jakyj bude nadislano našym redaktoram: