Aa Aa Aa
Aa Aa Aa
Pročytaty vgolos
Zupynyty čytannja

Pomičnyky, jaki sluhajuť, ale ne vas: Ščo pryhovujuť Alexa, Siri ta Google Assistant

Помічники, які слухають, але не вас: Що приховують Alexa, Siri та Google Assistant

Vid redakciї: Pereklad ćogo materialu — rezuľtat vyboru našyh čytačiv. U grudni 2018-go my zaproponuvaly u Facebook, Twitter ta Telegram progolosuvaty za vybir miž 2 materialamy, jaki vony hotily by pobačyty u perekladi. Tak i z'javyvsja cej material — istorija doslidžennja eksperymentatoriv z Universytetu Berkli togo, jak možna keruvaty golosovymy pomičnykamy za dopomogoju komand, ščo ne čutni dlja ljudśkogo vuha
Від редакції: Переклад цього матеріалу — результат вибору наших читачів. У грудні 2018-го ми запропонували у Facebook, Twitter та Telegram проголосувати за вибір між 2 матеріалами, які вони хотіли би побачити у перекладі. Так і з'явився цей матеріал — історія дослідження експериментаторів з Університету Берклі того, як можна керувати голосовими помічниками за допомогою команд, що не чутні для людського вуха
Читати кирилицею

Speciaľni možlyvosti

Pročytaty vgolos
Zupynyty čytannja
Kontrastna versija
  2018-й став роком, коли чимала кількість людей звикли розмовляти — та не з людьми, а із пристроями. Смарт-ґаджети навчилися відповідати на прохання прочитати текст, заграти пісню чи налаштувати будильник на потрібний час. Проте ви — не єдині, хто розмовляє з вашою смарт-колонкою чи смартфоном, переконують дослідники, яких опитали у редакції The New York Times. Матеріал відомого видання з’явився не просто так. За минулі 2 роки дослідники у Сполучених Штатах та Китаї почали демонструвати, що за наявності певного обладнання та навичок можна подавати команди вашим смарт-помічникам так, що ви самі не будете нічого чути. Ця вразливість поширюється як на Siri від Apple, так і на сервіси Alexa від Amazon та Google Assistant. Експериментами цими займалися не лише YouTube-ентузіасти, але й серйозні дослідники в університетських лабораторіях. Їхні спроби не йшли далі спроб набирати телефонні номери чи відвідувати певні сайти за допомогою команд, що їх не має змоги розрізнити людське вухо. Проте в руках зловмисників такі підходи до керування голосовими помічниками означатиме здатність відкривата вхідні двері помешкань, переказувати кошти з ваших рахунків через інтернет-сервіси або купувати товари без вашого відома — просто прокрутивши певну пісню по радіо поруч із вашим пристроєм. Дослідники зі свистком. Широкого розголосу експерименти із звуковими вразливостями смарт-помічників набули навесні 2018-го. Група студентів Каліфорнійського університету, Берклі та Джорджтаунського університету почали ще раніше: у 2016-му вони показали, що приховані команди можна замаскувати під так званий білий шум. Достатньо програти цей шум через колонки — і звичайний ролик на YouTube може перевести вашого смарт-помічника у режим польоту чи відкрити потрібний сайт. У 2018-му частина з цих дослідників із Берклі оприлюднили докладне дослідження, у якому розкрили можливість вбудовувати такі команди у записи музики чи голосові команди. І поки людина чує, як хтось говорить чи грає музика, насправді ваш голосовий помічник тим часом отримує команду додати до списку покупок ще трохи товарів (які ви й не збиралися купувати). Ми хотіли побачити, чи можемо ми зробити процес надсилання команд ще прихованішим, — розповів Ніколас Карліні, докторант філософії, студент з комп’ютерної безпеки в Університеті Берклі та один з авторів статті. Карліні додав, що, хоча немає жодних доказів можливого витоку інформації про ці експерименти за межі лабораторій, та початок використання схожих методів втручання в роботу голосових помічників — виключно питання часу. Читайте також: Як Google Home Mini може змінити вашу роботу, дозвілля та сон на краще. Комп’ютери можна обдурити визначенням літака як кішки, просто змінюючи декілька пікселів цифрового зображення, а дослідники можуть втрутитися у швидкість руху автівки, просто розмістивши невеликі наліпки на дорожні знаки та заплутавши комп’ютерну систему зору . Зі звуковими атаками дослідники використовують розрив у часі між розпізнаванням звуків з боку людини та машини. Системи, що розпізнають мовлення, зазвичай перекладають кожен звук, формуючи в кінцевому підсумку компіляцію цих слів і фраз. Роблячи незначні зміни в аудіофайлах, дослідники змогли скасувати звук, який система розпізнавання мови повинна була почути, і замінити звуком, який буде переписаний різними машинами, будучи майже непомітним для людського вуха. Що кажуть з цього приводу виробники. Чим більше стає ґаджетів, керованих голосом, тим більші ризики застосування подібних зловмисних дій. Смартфони та смарт-спікери, які використовують цифрових помічників на кшталт Amazon Alexa та Apple Siri, мають до 2021 року перевищити кількість людей на планеті — так прогнозують у дослідницькій компанії Ovum. Компанія Amazon заявила, що вона не розкриває конкретних заходів безпеки, але вжила заходів для захисту свого смарт-динаміка Echo. Google заявив, що безпека є постійним акцентом у роботі компанії, і що її помічник має функції для приглушення невизначених аудіокоманд. Цифрові асистенти обох компаній використовують технологію розпізнавання голосу, щоб запобігти дії пристроїв під впливом певних команд, якщо вони не розпізнають голос користувача. Компанія Apple теж не стоїть осторонь. Вона заявила, що її розумний динамік HomePod вміє запобігати виконанню команд, таких як розблокування дверей, і було відзначено, що iPhone та iPad повинні бути розблоковані, перш ніж Siri буде реагувати на команди, які отримують доступ до конфіденційних даних або запуску програм чи сайтів. Успішні приклади зламу є — і вони не такі вже й поодинокі. Попри усі запевнення, ще в 2017 році журналісти та ентузіасти продемонстрували, що надурити системи розпізнавання голосу можна — і це не так складно, як заявляють їхні виробники: Деякі бренди навіть почали зловживати цими можливостями. Burger King спричинила справжню веремію в інтернеті, коли запустила рекламу із вбудованою фразою O.K., Google, what is the Whopper burger? Пристрої на основі Android із увімкненим голосовим пошуком починали після цієї фрази читати вголос відповідну статтю з Вікіпедії. Рекламний ролик довелося вилучити після того, як користувачі почали заради сміху редагувати відповідну статтю про бургери у Вікіпедії незліченну кількість разів. Згодом схожий трюк повторили творці відомого анімаційного серіалу South Park, побудувавши цілий епізод довкола голосових команд, що змусили цифрових помічників знаходити чи показувати / озвучувати непристойності (певно, глядачі такого не очікували). Юриспруденція відстає від технологічного прогресу. Навіть у США, де кількість голосових асистентів зростає доволі стрімко, немає поки що законодавства стосовно передачі нечутних команд для людського вуха чи цифрових улювлювачів звукового та ультра- / інфразвукового сигналу. Зашифровані чи приховані звукові послання заборонено передавати у телевізійному та радіо-ефірі, але в законах немає жодного слова про цифрові пристрої, якими керують за допомогою голосу чи звуку. Втручання у приватне життя через зашифровані послання теоретично може розглядатися в судах, але тут виникає правова колізія, бо у машин (якими і є смарт-колонки та цифрові голосові помічники) немає жодного приватного життя. як у людей. Тепер ця технологія ще більше випереджає закон. У 2017 році дослідники з Прінстонського університету та китайського університету Чжецзян продемонстрували, що системи розпізнавання голосу можна активувати, використовуючи частоти, нечутні для людського вуха. Атака спочатку приглушила телефон, щоби власник також не почув відповідей системи. Читайте також: В помічник голосових асистентів Amazon та Google інвестували $5,2 млн. Це попередження було підтверджено у квітні 2017-го, коли дослідники з Університету Іллінойсу в Урбані-Шампейн продемонстрували ультразвукові атаки на відстані близько 15-20 м. Хоча команди учасників експерименту не могли проникнути крізь стіни, вони могли керувати смарт-пристроями через відкриті вікна. При цьому самі вони перебували ззовні будівлі. Також група китайських та американських дослідників у 2018-му продемонстрували можливість вбудовувати команди в пісні, які транслюються по радіо чи через потокові відеосервіси під час перебування в цьому приміщенні цифрових голосових помічників. Що буде далі. На самих лише смарт-колонках дослідники не зупиняються. Нещодавно Карліні та його колеги з Берклі вбудували команди в аудіо, яке розпізнає програмне забезпечення Mozilla DeepSpeech. Воно переводить голос у текст і навпаки — і є платформою на основі відкритого коду. За допомогою технології приховування вдалося замаскувати  команду O.K. Google, browse to evil.com у сказану фразу Without the data set, the article is useless. Як бачимо, про жодне людське вухо чи здатність розпізнати прихований сенс тут не йдеться. Група дослідників із Берклі також вбудувала команду в музичні файли, включаючи чотири секунди з Реквіема Верді. Читайте також: Навіщо писати книги про штучний інтелект. Як реагуватимуть виробники пристроїв на подібні виклики, буде залежати від того, наскільки  відрізнятимуться параметри простоти та безпеки в кожному випадку. З цим погоджується й один із перших дослідників проблеми прихованого керування голосовими помічниками Тавіш Вайдья. Це він написав одну із перших робіт, що досліджували аудіоатаки — і назвав її Cocaine Noodles. Річ у тім що фразу cocaine noodles голосові помічники інтерпретували як O.K., Google. Усі дослідники сходяться в одному: їхньою метою не є завдати комусь шкоди, навпаки — вони хочуть показати, що вразливості є, і їх слід чимскоріше виправити.

2018-j stav rokom, koly čymala kiľkisť ljudej zvykly rozmovljaty — ta ne z ljuďmy, a iz prystrojamy. Smart-ğadžety navčylysja vidpovidaty na prohannja pročytaty tekst, zagraty pisnju čy nalaštuvaty budyľnyk na potribnyj čas. Prote vy — ne jedyni, hto rozmovljaje z vašoju smart-kolonkoju čy smartfonom, perekonujuť doslidnyky, jakyh opytaly u redakciї The New York Times.

Material vidomogo vydannja z’javyvsja ne prosto tak. Za mynuli 2 roky doslidnyky u Spolučenyh Štatah ta Kytaї počaly demonstruvaty, ščo za najavnosti pevnogo obladnannja ta navyčok možna podavaty komandy vašym smart-pomičnykam tak, ščo vy sami ne budete ničogo čuty. Cja vrazlyvisť pošyrjujeťsja jak na Siri vid Apple, tak i na servisy Alexa vid Amazon ta Google Assistant. Eksperymentamy cymy zajmalysja ne lyše YouTube-entuziasty, ale j serjozni doslidnyky v universytetśkyh laboratorijah. Їhni sproby ne jšly dali sprob nabyraty telefonni nomery čy vidviduvaty pevni sajty za dopomogoju komand, ščo їh ne maje zmogy rozriznyty ljudśke vuho. Prote v rukah zlovmysnykiv taki pidhody do keruvannja golosovymy pomičnykamy označatyme zdatnisť vidkryvata vhidni dveri pomeškań, perekazuvaty košty z vašyh rahunkiv čerez internet-servisy abo kupuvaty tovary bez vašogo vidoma — prosto prokrutyvšy pevnu pisnju po radio poruč iz vašym prystrojem.

Doslidnyky zi «svystkom»

Šyrokogo rozgolosu eksperymenty iz zvukovymy vrazlyvostjamy smart-pomičnykiv nabuly navesni 2018-go. Grupa studentiv Kalifornijśkogo universytetu, Berkli ta Džordžtaunśkogo universytetu počaly šče raniše: u 2016-mu vony pokazaly, ščo pryhovani komandy možna zamaskuvaty pid tak zvanyj «bilyj šum». Dostatńo prograty cej šum čerez kolonky — i zvyčajnyj rolyk na YouTube može perevesty vašogo smart-pomičnyka u režym «poľotu» čy vidkryty potribnyj sajt.

U 2018-mu častyna z cyh doslidnykiv iz Berkli opryljudnyly dokladne doslidžennja, u jakomu rozkryly možlyvisť vbudovuvaty taki komandy u zapysy muzyky čy golosovi komandy. I poky ljudyna čuje, jak htoś govoryť čy graje muzyka, naspravdi vaš golosovyj pomičnyk tym časom otrymuje komandu dodaty do spysku pokupok šče trohy tovariv (jaki vy j ne zbyralysja kupuvaty).

«My hotily pobačyty, čy možemo my zrobyty proces nadsylannja komand šče pryhovanišym», — rozpoviv Nikolas Karlini, doktorant filosofiї, student z komp’juternoї bezpeky v Universyteti Berkli ta odyn z avtoriv statti. Karlini dodav, ščo, hoča nemaje žodnyh dokaziv možlyvogo vytoku informaciї pro ci eksperymenty za meži laboratorij, ta počatok vykorystannja shožyh metodiv vtručannja v robotu golosovyh pomičnykiv — vyključno pytannja času.

Čytajte takož: Jak Google Home Mini može zminyty vašu robotu, dozvillja ta son na krašče

Komp’jutery možna obduryty vyznačennjam litaka jak kišky, prosto zminjujučy dekiľka pikseliv cyfrovogo zobražennja, a doslidnyky možuť vtrutytysja u švydkisť ruhu avtivky, prosto rozmistyvšy nevelyki nalipky na dorožni znaky ta zaplutavšy komp’juternu systemu zoru . Zi zvukovymy atakamy doslidnyky vykorystovujuť rozryv u časi miž rozpiznavannjam zvukiv z boku ljudyny ta mašyny. Systemy, ščo rozpiznajuť movlennja, zazvyčaj perekladajuť kožen zvuk, formujučy v kincevomu pidsumku kompiljaciju cyh sliv i fraz. Robljačy neznačni zminy v audiofajlah, doslidnyky zmogly skasuvaty zvuk, jakyj systema rozpiznavannja movy povynna bula počuty, i zaminyty zvukom, jakyj bude perepysanyj riznymy mašynamy, budučy majže nepomitnym dlja ljudśkogo vuha.

Pomičnyky, jaki sluhajuť, ale ne vas: Ščo pryhovujuť Alexa, Siri ta Google Assistant

Ščo kažuť z ćogo pryvodu vyrobnyky

Čym biľše staje ğadžetiv, kerovanyh golosom, tym biľši ryzyky zastosuvannja podibnyh zlovmysnyh dij. Smartfony ta smart-spikery, jaki vykorystovujuť cyfrovyh pomičnykiv na kštalt Amazon Alexa ta Apple Siri, majuť do 2021 roku perevyščyty kiľkisť ljudej na planeti — tak prognozujuť u doslidnyćkij kompaniї Ovum.

Kompanija Amazon zajavyla, ščo vona ne rozkryvaje konkretnyh zahodiv bezpeky, ale vžyla zahodiv dlja zahystu svogo smart-dynamika Echo. Google zajavyv, ščo bezpeka je postijnym akcentom u roboti kompaniї, i ščo її pomičnyk maje funkciї dlja pryglušennja nevyznačenyh audiokomand. Cyfrovi asystenty oboh kompanij vykorystovujuť tehnologiju rozpiznavannja golosu, ščob zapobigty diї prystroїv pid vplyvom pevnyh komand, jakščo vony ne rozpiznajuť golos korystuvača.

Kompanija Apple tež ne stoїť ostoroń. Vona zajavyla, ščo її rozumnyj dynamik HomePod vmije zapobigaty vykonannju komand, takyh jak rozblokuvannja dverej, i bulo vidznačeno, ščo iPhone ta iPad povynni buty rozblokovani, perš niž Siri bude reaguvaty na komandy, jaki otrymujuť dostup do konfidencijnyh danyh abo zapusku program čy sajtiv.

Uspišni pryklady zlamu je — i vony ne taki vže j poodynoki

Popry usi zapevnennja, šče v 2017 roci žurnalisty ta entuziasty prodemonstruvaly, ščo naduryty systemy rozpiznavannja golosu možna — i ce ne tak skladno, jak zajavljajuť їhni vyrobnyky:

Dejaki brendy naviť počaly zlovžyvaty cymy možlyvostjamy. Burger King spryčynyla spravžnju veremiju v interneti, koly zapustyla reklamu iz vbudovanoju frazoju «O.K., Google, what is the Whopper burger?» Prystroї na osnovi Android iz uvimknenym golosovym pošukom počynaly pislja cijeї frazy čytaty vgolos vidpovidnu stattju z Vikipediї. Reklamnyj rolyk dovelosja vylučyty pislja togo, jak korystuvači počaly zarady smihu redaguvaty vidpovidnu stattju pro burgery u Vikipediї nezličennu kiľkisť raziv. Zgodom shožyj trjuk povtoryly tvorci vidomogo animacijnogo serialu South Park, pobuduvavšy cilyj epizod dovkola golosovyh komand, ščo zmusyly cyfrovyh pomičnykiv znahodyty čy pokazuvaty / ozvučuvaty neprystojnosti (pevno, gljadači takogo ne očikuvaly).

Jurysprudencija vidstaje vid tehnologičnogo progresu

Naviť u SŠA, de kiľkisť golosovyh asystentiv zrostaje dovoli strimko, nemaje poky ščo zakonodavstva stosovno peredači nečutnyh komand dlja ljudśkogo vuha čy cyfrovyh uljuvljuvačiv zvukovogo ta uľtra- / infrazvukovogo sygnalu. Zašyfrovani čy pryhovani zvukovi poslannja zaboroneno peredavaty u televizijnomu ta radio-efiri, ale v zakonah nemaje žodnogo slova pro cyfrovi prystroї, jakymy kerujuť za dopomogoju golosu čy zvuku. Vtručannja u pryvatne žyttja čerez zašyfrovani poslannja teoretyčno može rozgljadatysja v sudah, ale tut vynykaje pravova kolizija, bo u mašyn (jakymy i je smart-kolonky ta cyfrovi golosovi pomičnyky) nemaje žodnogo pryvatnogo žyttja. jak u ljudej.

Teper cja tehnologija šče biľše vyperedžaje zakon. U 2017 roci doslidnyky z Prinstonśkogo universytetu ta kytajśkogo universytetu Čžeczjan prodemonstruvaly, ščo systemy rozpiznavannja golosu možna aktyvuvaty, vykorystovujučy častoty, nečutni dlja ljudśkogo vuha. Ataka spočatku pryglušyla telefon, ščoby vlasnyk takož ne počuv vidpovidej systemy.

Čytajte takož: V pomičnyk golosovyh asystentiv Amazon ta Google investuvaly $5,2 mln

Ce poperedžennja bulo pidtverdženo u kvitni 2017-go, koly doslidnyky z Universytetu Illinojsu v Urbani-Šampejn prodemonstruvaly uľtrazvukovi ataky na vidstani blyźko 15-20 m. Hoča komandy učasnykiv eksperymentu ne mogly pronyknuty kriź stiny, vony mogly keruvaty smart-prystrojamy čerez vidkryti vikna. Pry ćomu sami vony perebuvaly zzovni budivli. Takož grupa kytajśkyh ta amerykanśkyh doslidnykiv u 2018-mu prodemonstruvaly možlyvisť vbudovuvaty komandy v pisni, jaki transljujuťsja po radio čy čerez potokovi videoservisy pid čas perebuvannja v ćomu prymiščenni cyfrovyh golosovyh pomičnykiv.

Ščo bude dali

Na samyh lyše smart-kolonkah doslidnyky ne zupynjajuťsja. Neščodavno Karlini ta jogo kolegy z Berkli vbuduvaly komandy v audio, jake rozpiznaje programne zabezpečennja Mozilla DeepSpeech. Vono perevodyť golos u tekst i navpaky — i je platformoju na osnovi vidkrytogo kodu. Za dopomogoju tehnologiї pryhovuvannja vdalosja zamaskuvaty  komandu «O.K. Google, browse to evil.com» u skazanu frazu «Without the data set, the article is useless». Jak bačymo, pro žodne «ljudśke vuho» čy zdatnisť rozpiznaty pryhovanyj sens tut ne jdeťsja. Grupa doslidnykiv iz Berkli takož vbuduvala komandu v muzyčni fajly, vključajučy čotyry sekundy z «Rekviema» Verdi.

Čytajte takož: Naviščo pysaty knygy pro štučnyj intelekt

Jak reaguvatymuť vyrobnyky prystroїv na podibni vyklyky, bude zaležaty vid togo, naskiľky  vidriznjatymuťsja parametry prostoty ta bezpeky v kožnomu vypadku. Z cym pogodžujeťsja j odyn iz peršyh doslidnykiv problemy pryhovanogo keruvannja golosovymy pomičnykamy Taviš Vajďja. Ce vin napysav odnu iz peršyh robit, ščo doslidžuvaly audioataky — i nazvav її Cocaine Noodles. Rič u tim ščo frazu «cocaine noodles» golosovi pomičnyky interpretuvaly jak «O.K., Google». Usi doslidnyky shodjaťsja v odnomu: їhńoju metoju ne je zavdaty komuś škody, navpaky — vony hočuť pokazaty, ščo vrazlyvosti je, i їh slid čymskoriše vypravyty.

Jakščo vy znajšly pomylku, buď laska, vydiliť fragment tekstu ta natysniť Ctrl Enter.

Dodaty komentar

Takyj e-mail vže zarejestrovano. Skorystujtesja Formoju vhodu abo vvediť inšyj.

Vy vkazaly nekorektni login abo paroľ

Vybačte, dlja komentuvannja neobhidno uvijty.
Šče
Vy čytajete sajt ukraїnśkoju latynkoju. Podrobyci v Manifesti
Hello. Add your message here.

Povidomyty pro pomylku

Tekst, jakyj bude nadislano našym redaktoram: