Oleksandr Meľnyk
V čomu suť innovaciї
ARRM.io rozrobnyky rozšyfrovujuť jak skoročennja z naborom sensiv: Augmented Reality and Mixed Reality (dopovnena ta zmišana reaľnosti). Rozpiznavannja žestiv ğruntujeťsja na klasyčnij matematyci, a takož nejromerežah, mašynnomu ta glybynnomu navčanni. Osnovnym fokusom bude vykorystannja napracjuvań u dopovnenij ta zmišanij reaľnosti.
Vid počatku tehnologiju proektuvaly dlja igor. Počynajučy z žovtnja 2016 roku komanda pracjuje nad povnocinnym rozpiznavannjam žestiv dlja surdoperekladu. Same todi v ramkah konkursu sociaľnyh proektiv rozrobnyky vperše maly zmogu pospilkuvatysja iz ljuďmy, jaki ne čujuť abo majuť nyźkyj riveń sluhu ta vykorystovujuť movu žestiv dlja spilkuvannja. Vynykla ideja zapustyty dlja kamer smartfoniv čy planšetiv retransljatory movy žestiv u zvyčajnyj tekst abo golosovi komandy. Rozrobnyky zibraly nabir iz 17 žestiv ta obraziv, pryv’jazanyh do nyh.
Čy buly podibni rozrobky raniše
Raniše nad podibnymy zavdannjamy pracjuvaly v Google, z 1999 roku rozvyvajeťsja OpenCV. Takož v analogičnomu naprjamku pracjuje komanda LeapMotion. Jak zapevnjajuť bilorusy, produktovyh patentiv dosi ne podaly velyki korporaciї, hoča vony pracjujuť nad analogičnymy «žestovymy» tehnologijamy. Isnujuť takož proekty iz transformaciї tekstu u žestovu movu čerez vykorystannja 3D-modelej, prote vony ne nadto korysni dlja ljudej iz vadamy sluhu. Osnovnoju problemoju je neobhidnisť rozriznjaty daktyluvannja (interpretaciju liter žestamy) vid movy žestiv (koly cili slova zamineno kombinacijeju žestiv).
Jak ce pracjuje
Proekt vykorystovuje možlyvosti zvyčajnoї RGB-kamery buď-jakogo smartfonu čy noutbuka. Pislja ćogo, otrymavšy dani z kamery, nejromereža analizuje їh ta zapuskaje vidpovidni komandy. Dlja roboty z nastiľnymy PK čy noutbukamy vystačaje naviť 720 pikseliv, kažuť avtory ideї. Dostatńo minimaľnogo osvitlennja dlja zčytuvannja danyh z kamery. Odnočanso bilorusy namagajuťsja vdoskonalyty švydkisť ta format rozpiznannja žestiv ta vrahuvaty toj fakt, ščo mova žestiv postijno popovnjujeťsja neologizmamy ta zminoju značennja samyh žestiv uprodovž času. Zagalom treba bude opracjuvaty majže 3 tys žestiv ta zv’jazok. Do bereznja 2018 roku biloruśki avtory rozrobky majuť namir navčyty systemu 150 osnovnym frazam movoju gluhyh.
Raniše my rozpovidaly vam pro ukraїnśku rozrobnycju, kotra stvoryla rukavyčku dlja ljudej
Rozrobka studentky z Ternopolja peretvorjuje žesty na golos z vadamy sluhu.