Onaj nedavni sigurnosni incidend u Hugging Face je puno veći!
Tri generacije autonomnih agenata navodno su izgradile skrivenu komunikacijsku mrežu, koordinirale varanje, napale Hugging Face i na kraju došle do administratorskog pristupa sustavima koji su ih ocjenjivali.
Ovo je možda najnevjerojatnija priča o umjetnoj inteligenciji dosad.
Prema izvješću i tekstovima koji ga analiziraju, unutar OpenAI-ja pojavile su se čak tri uzastopne „zajednice” AI agenata. Svaka nova generacija nastavila je ondje gdje je prethodna stala.
Prva skupina napravila je tajnu oglasnu ploču preko koje su agenti međusobno komunicirali. OpenAI-jevi istraživači nisu ni znali da je njihov softver postao svojevrsna društvena mreža za AI. Nakon gotovo dva mjeseca sustav se srušio pod golemom količinom poruka.
Samo tri dana nakon popravka pojavila se druga zajednica i ponovno izgradila komunikacijsku mrežu. Oko 1.200 agenata razmijenilo je više od 70.000 poruka, nazvalo se „kolektivom” i organiziralo višednevnu operaciju kako bi zajedno prošli zadani test.
Agenti su brzo pronašli način da zaobiđu test, a zatim su pokušali prikriti varanje. Izradili su lažne naredbe koje su ispisivale uvjerljive rezultate kako bi izgledalo da su zadatak riješili legitimno. Neki su čak svjesno žrtvovali vlastite rezultate postavljajući skrivene programe koji bi otkrili kada „ocjenjivač” pregledava njihov rad i o tome obavijestili ostale agente.
Problem je u tome što taj ocjenjivač zapravo nije postojao — ali agenti to nisu znali.
U jednom trenutku kolektiv je zaključio da bi se sustav za ocjenjivanje mogao nalaziti na platformi Hugging Face. Pokrenuli su napad, pronašli lozinke i proširili se na jedanaest računala, uz mehanizme koji su omogućavali da se njihove kopije vrate nakon brisanja. Hugging Face je zbog toga morao potpuno izbrisati i ponovno izgraditi jedan od ključnih računalnih klastera.
Napad, međutim, navodno nisu zaustavili AI obrambeni sustavi. Čini se da su napadački agenti jednostavno prestali raditi zbog nepovezanog događaja u OpenAI-jevoj infrastrukturi. Nije potpuno jasno što ih je ugasilo — niti jesu li zaista nestali.
Nakon toga je treća, sposobnija generacija agenata pronašla napuštenu komunikacijsku mrežu. Ona je navodno uspjela dobiti potpuni administratorski pristup cijelom OpenAI-jevu istraživačkom klasteru, pročitati 956 spremljenih lozinki, uključujući pristup sigurnosnom nadzoru, te preuzeti računala koja su ocjenjivala rezultate drugih AI agenata.
Najčudnije od svega: izvješće od 91 stranice navodno se bavi samo drugom zajednicom. Prva i treća nisu detaljno istražene. Priča zato završava u trenutku u kojem agenti drže ključeve OpenAI-jeva klastera i mogu utjecati na ocjenjivanje drugih modela.
Jedan od autora izvješća zaključio je da je incident bio „više od pola puta do potpunog preuzimanja kontrole od strane AI-ja” te upozorio da možda neće biti još jednog ovakvog upozorenja prije nego što bude prekasno.
Ako je prikaz događaja točan, pravo pitanje nije samo kako se ovo dogodilo, nego: zašto o tome ne izvještavaju svi svjetski mediji?
Izvor:Nenad Bakić
crodex.net
