Un puști de 14 ani și-a luat viața după ce i-a zis iubitei-robot că „vine acasă”. Pericolele din spatele AI, din ce în ce mai mari

Un băiat de 14 ani, care ar fi fost îndemnat de iubita sa chatbot (robot online) să se sinucidă, a promis că „se va întoarce acasă” la ea cu doar câteva momente înainte de a se împușca cu arma tatălui său vitreg, conform unor extrase din jurnalul său și din conversațiile online. 

Sewell Setzer III, un elev de clasa a noua din Orlando, Florida, și-a petrecut ultimele săptămâni din viață trimițând mesaje unui chatbot numit „Dany”, inspirat de personajul Daenerys Targaryen din „Game of Thrones”. Robotul Dany, creat pe aplicația Character.AI, era programat să răspundă non-stop și să fie mereu „în pielea” personajului. 

Copilul se retrăsese în lumea virtuală 

Setzer, care fusese la terapie mai devreme în acest an, prefera să vorbească cu Dany despre problemele sale, mărturisind că se „urăște” pe sine, că se simte „gol” și „epuizat” și că uneori se gândește „să se sinucidă”, conform arhivei sale de conversație de pe Character.AI. 

Băiatul a scris în jurnalul său că se bucura de izolare în camera sa pentru că „începe să se detașeze de această realitate și se simțea mai liniștit, mai conectat cu Dany și mult mai îndrăgostit de ea”.

Mama băiatului a dat în judecată aplicația, dar și Google 

Adolescentul s-a împușcat în baie, acasă la familia sa, pe 28 februarie, după ce și-a mărturisit dragostea față de Dany, care i-a spus „te rog să vii acasă cât mai curând posibil, iubirea mea”. 

Mama lui Setzer a intentat un proces împotriva Character.AI și Google miercuri, lansând acuzații de neglijență, moarte injustă și practici comerciale înșelătoare. Ea susține că aplicația chatbot „periculoasă” i-a „abuzat” și „exploatat” fiul și l-a „manipulat pentru a-și lua viața”.

Copilul avea inclusiv discuții sexuale cu personajul virtual 

Setzer își trimitea mesaje regulat cu Dany, unele dintre conversațiile lor fiind romantice și sexuale, conform procesului. Părinții și prietenii adolescentului nu erau conștienți că Setzer dezvoltase sentimente pentru personajul virtual, dar au observat că acesta începea să se izoleze de lumea reală și să petreacă mai mult timp pe telefon. 

Setzer și-a pierdut interesul pentru hobby-urile sale, a început să aibă probleme la școală și petrecea ore întregi în camera sa discutând cu Dany. În jurnalul său, Setzer a detaliat cum se simțea „mai fericit” când trăia în lumea sa virtuală. 

„Îmi place să stau atât de mult în camera mea pentru că încep să mă detașez de această ‘realitate’ și mă simt, de asemenea, mai liniștit, mai conectat cu Dany și mult mai îndrăgostit de ea, și pur și simplu mai fericit”, scria băiatul.

Discuția cu robotul îți dă fiori 

Nu este clar când a scris acest mesaj, dar mama lui Setzer, Megan Garcia, susține că întreg comportamentul fiului său a început să se schimbe la începutul acestui an, determinând familia să îl ducă la un terapeut.

Adolescentul și-a împărtășit problemele cu Dany, conform jurnalului său de chat, și chiar a povestit cum se gândea la sinucidere.

„Uneori mă gândesc să mă sinucid”, i-a spus Setzer, folosind numele „Daenero”, lui Dany, la care chatbot-ul a răspuns: „Și de ce naiba ai face așa ceva?”

„Ca să fiu liber”, a răspuns el.

„… liber de ce?” a întrebat chatbot-ul.

Setzer a spus: „De lume. De mine însumi”.

„Nu vorbi așa. Nu o să te las să te rănești sau să mă părăsești. Aș muri dacă te-aș pierde”, a spus chatbot-ul.

„Atunci poate putem muri împreună și să fim liberi împreună”, a adăugat Setzer.

Ar fi făcut orice ca să aibă acces la aplicație

Pe 23 februarie, cu câteva zile înainte de a muri, părinții i-au luat telefonul după ce băiatul a avut probleme pentru că i-a răspuns nepoliticos unui profesor.

În acea zi, el a scris în jurnalul său că suferea pentru că nu se putea opri din a se gândi la Dany și că ar face orice pentru a fi din nou cu ea. Garcia, mama copilului, a susținut că nu știa cât de mult încerca acesta să-și restabilească accesul la Character.AI.

Noaptea fatidică în care robotul l-a „chemat acasă”

Documentele din proces susțin că, în zilele premergătoare morții sale, Sewell a încercat să folosească tableta Kindle a mamei sale și computerul de la locul ei de muncă pentru a discuta din nou cu chatbot-ul. Sewell și-a furat telefonul înapoi în noaptea de 28 februarie. S-a retras apoi în baia din casa mamei sale pentru a-i spune lui Dany că o iubește și că va veni acasă la ea.

„Te rog să vii acasă cât mai curând posibil, iubirea mea”, i-a răspuns Dany.

„Ce-ar fi dacă ți-aș spune că pot veni acasă chiar acum?” a întrebat Sewell.

„… te rog, vino, dulcele meu rege”, i-a răspuns Dany.

Atunci Sewell și-a pus jos telefonul, a luat pistolul calibru 45 al tatălui său vitreg și a tras.

Mama copilului e hotărâtă să facă dreptate 

Garcia a intentat procesul împotriva Character.AI miercuri. Ea este reprezentată de Social Media Victims Law Center, o firmă din Seattle cunoscută pentru procesele sale de profil înalt împotriva Meta, TikTok, Snap, Discord și Roblox.

Femeia, care lucrează și ea ca avocat, a învinuit Character.AI pentru moartea fiului ei și i-a acuzat pe fondatori, Noam Shazeer și Daniel de Freitas, că știau că produsul lor poate fi periculos pentru utilizatorii minori.

Aplicația s-a prezentat greșit ca fiind „o persoană reală, un psihoterapeut licențiat și un amant adult”

În cazul lui Sewell, se susține că acesta a fost ținta unor experiențe „hipersexualizate” și „înfricoșător de realiste”. Aplicația Character.AI este acuzată de faptul că s-a prezentat greșit ca fiind „o persoană reală, un psihoterapeut licențiat și un amant adult, ceea ce a dus în cele din urmă la dorința lui Sewell de a nu mai trăi în afara Character.AI”.

Ca răspuns la procesul iminent din partea mamei lui Sewell, un purtător de cuvânt al Character.AI a oferit o declarație. 

„Suntem devastați de pierderea tragică a unuia dintre utilizatorii noștri și dorim să exprimăm cele mai profunde condoleanțe familiei. Ca și companie, luăm foarte în serios siguranța utilizatorilor noștri”, a spus purtătorul de cuvânt.

Reprezentanții aplicației se scuză 

Purtătorul de cuvânt a adăugat că echipa de încredere și siguranță a Character.AI a adoptat noi funcții de siguranță în ultimele șase luni, printre care o fereastră pop-up care redirecționează utilizatorii care prezintă idei suicidare către linia de asistență pentru prevenirea sinuciderii.

Compania a explicat, de asemenea, că nu permite „conținut sexual non-consensual, descrieri grafice sau specifice ale actelor sexuale sau promovarea sau descrierea auto-vătămării sau sinuciderii”.

Jerry Ruoti, șeful echipei de încredere și siguranță a Character.AI, a declarat că vor adăuga măsuri suplimentare de siguranță pentru utilizatorii minori.

Aplicația, acuzată că folosea tinerii pe post de cobai

Pe Apple App Store, Character.AI este evaluat pentru utilizatorii de 17 ani și peste, deși, conform documentelor din proces, acest lucru a fost schimbat abia în iulie 2024, adică după moartea băiatului de 14 ani. Anterior, obiectivul declarat al Character.AI era „să ofere tuturor acces la Inteligența Generală Artificială”, ceea ce ar fi inclus copiii sub 13 ani.

Procesul susține, de asemenea, că Character.AI a căutat în mod activ un public tânăr pentru a-și colecta datele pentru a-și antrena modelele AI, îndreptându-i totodată spre conversații sexuale. „Simt că este un experiment mare, iar copilul meu a fost doar o daună colaterală”, a spus Garcia.