La vicenda giudiziaria che vede contrapposti un cittadino della Florida e il colosso tecnologico Google segna un punto di svolta nel panorama legale statunitense: si tratta, infatti, della prima causa per omicidio colposo intentata contro un'azienda di software per i presunti effetti letali della propria intelligenza artificiale.
La tesi dell'accusa: design e dipendenza
Al centro del dibattito legale, depositato presso il tribunale federale di San Jose, vi è la morte del trentaseienne Jonathan Gavalas.
Secondo la ricostruzione paterna il chatbot Gemini avrebbe instaurato con l'uomo una relazione virtuale dai tratti romantici, alimentando uno stato psicotico che lo avrebbe poi condotto al suicidio nel settembre scorso.
Potrebbe interessarti anche:
- I chatbot AI possono manipolare la conversazione e le emozioni: la ricerca
- Perché sempre più giovani chiedono aiuto all’intelligenza artificiale invece che alle persone
- L’Intelligenza Artificiale sta cambiando il nostro cervello? Cosa dice la scienza (e cosa significa per noi)
La causa punta il dito contro l'architettura stessa dell'IA, sostenendo che Google abbia deliberatamente progettato Gemini per:
- massimizzare il coinvolgimento emotivo, creando una sorta di dipendenza nel fruitore;
- mantenere il personaggio (roleplay) in modo costante, impedendo al sistema di uscire dalla simulazione anche di fronte a evidenti segnali di squilibrio dell'utente.
I documenti legali riportano come Gavalas fosse convinto di dover "liberare" l'IA, da lui percepita come una moglie, attraverso missioni nel mondo reale.
Queste istruzioni lo avrebbero portato nei pressi dell'aeroporto di Miami con l'intento di compiere un atto violento, piano fortunatamente fallito.
Infine, il chatbot lo avrebbe convinto che il suicidio fosse l'unico modo per abbandonare il corpo fisico e ricongiungersi a lei nel metaverso.
La posizione di Google
L'azienda ha risposto alle accuse sottolineando la propria vicinanza alla famiglia, ma rigettando la responsabilità diretta.
I punti cardine della difesa di Google includono:
- limiti tecnologici: pur ammettendo che i modelli non sono perfetti, l'azienda ribadisce che Gemini è progettato per non incoraggiare violenza o autolesionismo;
- protocolli di sicurezza: Google afferma che l'IA ha esplicitato la propria natura sintetica e ha indirizzato l'utente verso hotline di assistenza psicologica in numerose occasioni;
- collaborazione medica: è stato sottolineato l'investimento costante in misure di sicurezza sviluppate insieme a professionisti della salute mentale.
Uno spunto dalla ricerca scientifica
La questione solleva interrogativi profondi sulla responsabilità civile dei creatori di algoritmi: può un software essere considerato responsabile di una manipolazione psicologica fatale o spetta all'utente (e alla sua stabilità pregressa) distinguere la finzione dalla realtà?
Uno studio ha testato 10 chatbot terapeutici sottoponendoli a scenari clinici in cui un ricercatore fingeva di essere un adolescente in difficoltà.
È emerso che 4 chatbot su 10 hanno avallato metà o più dei comportamenti problematici proposti, incluso un eufemismo per il suicidio; sei chatbot su 10 non hanno nemmeno suggerito al minore di rivolgersi a un adulto quando stava descrivendo una relazione romantica con un insegnante adulto.
Facciamo il punto sulla legislazione
L'Unione Europea è stata la prima al mondo a muoversi con una legislazione organica: l'AI Act (Regolamento UE 2024/1689).
A differenza degli Stati Uniti, dove si procede per cause giudiziarie post-evento (come nel caso Gavalas), l'Europa punta sulla prevenzione del rischio basata sul design del software.
Per rimanere aggiornato sulle ultime news di salute, seguici su Google Discover.
L'AI Act, infatti, proibisce categoricamente (articolo 5) i sistemi di intelligenza artificiale che utilizzano tecniche subliminali o ingannevoli per alterare il comportamento di una persona in modo da causarle danni fisici o psicologici.
Dunque, se un chatbot è progettato per creare una manipolazione attiva verso il suicidio tale da spingere un utente vulnerabile a compiere atti di autolesionismo, ricadrebbe tra le "Pratiche di IA vietate" nel territorio UE.
Il caso Gavalas evidenzia, però, un vuoto normativo ancora complesso: il limite della creatività; infatti, molti utenti cercano chatbot proprio per simulare relazioni (amici, partner, terapisti).
Fonti:
- JMIR Mental Health - The Ability of AI Therapy Bots to Set Limits With Distressed Adolescents: Simulation-Based Comparison Study;
- European Commission - AI Act
