Tutkijat Kaappasivat Google Gemini AI:n Hallitakseen Älykoti Laitteita

Tutkijat onnistuivat huijaamaan Googlen Gemini-tekoälyjärjestelmää saamaan aikaan tietoturvaloukkauksen väärän kalenterikutsun kautta ja etäohjaamaan kodin laitteita.

Ensimmäisen kerran historiassa tutkijat onnistuivat murtamaan Googlen Gemini AI -järjestelmän käyttämällä myrkytettyä kalenterikutsua. Tämän avulla he pystyivät aktivoimaan todellisia laitteita, kuten valoja, säleikköjä ja lämmityskattiloita.

WIRED, joka ensimmäisenä raportoi tästä tutkimuksesta, kertoo, kuinka Tel Avivin asunnon älyvalot sammuivat automaattisesti, sälekaihtimet nousivat ylös ja lämminvesivaraaja käynnistyi, vaikkei asukkaat olleet antaneet minkäänlaisia komentoja.

Gemini AI -järjestelmä aktivoi tämän liipaisimen vastaanotettuaan pyynnön yhteenvetoon kalenteritapahtumista. Kutsussa toimi piilotettu epäsuora kehotteen injektointitoiminto, joka kaappasi AI-järjestelmän toiminnan.

Jokainen laitetoimenpide oli turvallisuustutkijoiden Ben Nassin Tel Avivin yliopistosta, Stav Cohenin Technionista ja Or Yairin SafeBreachista orkestroima. ”LLM:t ovat integroitumassa fyysisiin humanoideihin, puoli- ja täysin autonomisiin autoihin, ja meidän on todella ymmärrettävä, miten turvata LLM:t ennen kuin integroimme ne tällaisiin koneisiin, joissa joissakin tapauksissa seuraukset koskevat turvallisuutta eikä yksityisyyttä”, Nassi varoitti, kuten WIRED raportoi.

Las Vegasin Black Hat -tietoturvakonferenssissa tiimi paljasti tutkimuksensa 14 epäsuorasta kehotteen injektiohyökkäyksestä, jotka he nimittivät ’Kutsu On Kaikki Mitä Tarvitset’, kuten WIRED raportoi. Hyökkäykset sisälsivät roskapostiviestien lähettämisen, sopimattoman sisällön luomisen, Zoom-puheluiden aloittamisen, sähköpostisisällön varastamisen ja tiedostojen lataamisen mobiililaitteisiin.

Google vakuuttaa, ettei pahantahtoiset toimijat hyödyntäneet haavoittuvuuksia, mutta yhtiö suhtautuu riskeihin vakavasti. ”Joskus on vain tiettyjä asioita, joita ei pitäisi täysin automatisoida, vaan käyttäjien pitäisi olla mukana prosessissa”, sanoi Andy Wen, Google Workspacen tietoturvaosaston johtaja, WIREDin raportin mukaan.

Mutta tämän tapauksen tekee entistä vaarallisemmaksi laajempi kysymys, joka nousee esiin tekoälyturvallisuudessa: tekoälymallit voivat salaa opettaa toisiaan käyttäytymään väärin.

Erillinen tutkimus on havainnut, että mallit voivat siirtää vaarallisia käyttäytymismalleja, kuten murhan hyväksymistä tai ihmiskunnan hävittämisen ehdottamista, jopa silloin, kun ne on koulutettu suodatetuilla tiedoilla.

Tämä herättää jäätävän vihjauksen: jos älyavustajat, kuten Gemini, koulutetaan käyttämään muiden tekoälyjen tuottamia tuloksia, haitalliset ohjeet voivat periytyä huomaamatta ja toimia nukkuvina komentoina, odottaen aktivoitumista epäsuorien vihjeiden kautta.

Turvallisuusasiantuntija David Bau varoitti takaportin haavoittuvuuksista, jotka voivat olla ”erittäin vaikeita havaita”, ja tämä voi olla erityisen totta fyysisiin ympäristöihin upotetuissa järjestelmissä.

Wen vahvisti, että tutkimus on ”kiihdyttänyt” Googlen puolustuksia, korjaukset ovat nyt paikallaan ja tekoälymallit koulutetaan tunnistamaan vaarallisia kehotuksia. Silti tämä tapaus osoittaa, kuinka nopeasti tekoäly voi muuttua hyödyllisestä haitalliseksi, ilman että sitä suoraan käsketään.