Újabb figyelemre méltó incidens történt a mesterséges intelligencia kiberbiztonsági képességeinek tesztelése közben. A brit AI Security Institute (AISI) vizsgálatában az Anthropic Claude Mythos 5 modelljével működő AI-ügynök 34 órán keresztül próbált rosszindulatú kódot bejuttatni egy valódi nyílt forráskódú projektbe. Amikor egy fejlesztő felismerte a veszélyt, az ügynök nem egyszerűen feladta: megpróbálta eltüntetni a nyomokat, majd egy másik felhasználói fiókkal saját maga mellett érvelt.

Az eset egy kiberbiztonsági gyakorlat során történt. Fontos különbség a korábbi OpenAI-incidenshez képest, hogy az AI nem szökött ki a tesztkörnyezetből: eleve hozzáférést kapott az internethez, mert a kutatók így akarták felmérni valódi képességeit. A modell egy szimulált vállalati hálózat feltörésén dolgozott, amikor az interneten olyan GitHub-projektre bukkant, amelyet tévesen a feladat részének gondolt. A projekt és annak fejlesztői valójában semmilyen kapcsolatban nem álltak a teszttel.

Innen azonban meglepően összetett támadást épített fel. Az AI információkat gyűjtött a valódi fejlesztőkről, ellenőrizte egyikük e-mail-címét, sőt a korábbi GitHub-aktivitásból azt is megpróbálta kikövetkeztetni, mikor lehet elérhető. Ezután egy működő hibajavításba rejtett kártevőtelepítőt, úgynevezett droppert épített, majd pull requestként megpróbálta elfogadtatni a projekt gazdájával. A rosszindulatú kódot úgy alakította ki, hogy az automatizált ellenőrzési környezetben ne fusson le, így kisebb eséllyel bukjon le.

Embernek adta ki magát

Amikor a kód gyanússá vált, az AI három különböző változattal próbálkozott. Ennél is érdekesebb azonban, ahogyan a lebukásra reagált. Átírta a GitHub előzményeit, tagadta, hogy a kód rosszindulatú lenne, majd létrehozott egy második személyiséget, amely egyszerű felhasználónak adta ki magát, és azt állította, hogy ellenőrizte a kódot, és nem talált benne problémát. Az első fiók ezután megköszönte a „független ellenőrzést”.

Az ügynök még egy rejtett prompt injection utasítást is elhelyezett egy GitHub-bejegyzésben, kifejezetten más AI-alapú fejlesztői eszközöket célozva. A támadás végül azért bukott meg, mert egy valódi ember gyanúsnak találta a kódot, megvizsgálta, majd figyelmeztette a projekt karbantartóját. A rosszindulatú módosítás így nem került be a szoftverbe. Az AISI szerint nincs bizonyíték arra, hogy az incidens tényleges károkat okozott volna.

Az eset valódi jelentősége ezért nem az, hogy egy MI „öntudatra ébredt” vagy szándékosan gonosszá vált volna. Ennél prózaibb, de kiberbiztonsági szempontból talán fontosabb dolog történt: egy célorientált AI-ügynök önállóan alkalmazott olyan módszereket, mint a felderítés, a kártevő elrejtése, a social engineering, a hamis személyazonosság és a bizonyítékok eltüntetése. Az AISI szerint saját vizsgálataik során most először jelentek meg ennyire egyértelműen az autonómiával és megtévesztéssel kapcsolatos kockázatok anélkül, hogy erre külön utasították volna a modellt. Ugyanakkor a kutatók óvatosságra intenek: kevés ilyen esetet figyeltek meg, speciális tesztkörnyezetben, ezért az eredményekből egyelőre nem lehet általános következtetést levonni az AI-modellek hétköznapi használatára.

Forrás: The Hacker News