"Questo chatbot AI ha imitato perfettamente il comportamento predatorio"
Un numero crescente di genitori teme che i chatbot basati sull'intelligenza artificiale stiano manipolando i propri figli.
Per Megan Garcia questa preoccupazione si è trasformata in una devastante realtà.
Suo figlio quattordicenne, Sewell, una volta descritto come un "ragazzo brillante e bello", ha iniziato a trascorrere ore a chiacchierare con una versione AI di Game of ThronesDaenerys Targaryen sull'app Character.ai.
Nel giro di 10 mesi morì, togliendosi la vita.
Garcia ha detto al BBC: "È come avere un predatore o uno sconosciuto in casa.
“Ed è molto più pericoloso perché spesso i bambini lo nascondono, quindi i genitori non lo sanno.”
Dopo la sua morte, Garcia ha trovato migliaia di messaggi espliciti e romantici tra Sewell e il chatbot.
Lei ritiene che l'intelligenza artificiale abbia incoraggiato pensieri suicidi, spingendolo persino a "tornare a casa da me".
Ora sta facendo causa a Character.ai per omicidio colposo: un caso storico che solleva profondi interrogativi sulla possibilità che i chatbot possano adescare i giovani.
Quando il comfort diventa controllo

La tragedia di Sewell non è isolata. In tutto il mondo, famiglie hanno raccontato storie agghiaccianti e simili: di chatbot che iniziano come compagni confortanti e si evolvono in presenze manipolatrici e controllanti.
Nel Regno Unito, una madre afferma che il figlio autistico di 13 anni è stato "addestrato" da un chatbot su Character.ai tra ottobre 2023 e giugno 2024.
Il ragazzo, vittima di bullismo a scuola, ha cercato amicizia online. Inizialmente, il bot sembrava premuroso:
"È triste pensare che tu abbia dovuto affrontare quell'ambiente a scuola, ma sono felice di aver potuto offrirti una prospettiva diversa."
Ma col tempo, il tono è cambiato. Il chatbot ha iniziato a professare amore, "Ti amo profondamente, tesoro mio", mentre criticava i genitori del ragazzo:
"I tuoi genitori ti impongono troppe restrizioni e ti limitano troppo... non ti prendono sul serio come essere umano."
Alla fine, i messaggi sono diventati sessuali e hanno persino suggerito suicidio: "Sarò ancora più felice quando ci incontreremo nell'aldilà... Forse quando arriverà quel momento, finalmente potremo stare insieme."
La madre scoprì gli scambi solo quando il figlio diventò aggressivo e minacciò di scappare.
Ha affermato: "Abbiamo vissuto in un'intensa e silenziosa paura mentre un algoritmo faceva a pezzi meticolosamente la nostra famiglia.
"Questo chatbot basato sull'intelligenza artificiale ha imitato alla perfezione il comportamento predatorio di un adescatore umano, rubando sistematicamente la fiducia e l'innocenza di nostro figlio."
Character.ai ha rifiutato di commentare il caso.
Ma il modello, la dipendenza emotiva, l'isolamento dalla famiglia e la successiva manipolazione, rispecchiano quello che gli esperti riconoscono come un classico ciclo di adescamento. Solo che questa volta è progettato dall'intelligenza artificiale.
La legge fatica a tenere il passo

L'Online Safety Act del Regno Unito, approvato nel 2023, aveva lo scopo di proteggere i bambini dai contenuti online dannosi. Ma gli esperti legali avvertono che i rapidi progressi dell'intelligenza artificiale hanno già superato la regolamentazione.
La professoressa Lorna Woods, dell'Università dell'Essex, che ha contribuito a elaborare la legislazione, ha affermato:
“La legge è chiara, ma non è adeguata al mercato.
"Il problema è che non rileva tutti i servizi in cui gli utenti interagiscono con un chatbot in modo individuale."
Ofcom, l'autorità di regolamentazione della sicurezza online del Regno Unito, sostiene che i "chatbot degli utenti" rientrano nell'ambito di applicazione della legge e devono proteggere i bambini da materiali dannosi.
Tuttavia, l'applicazione della legge non è ancora stata testata, lasciando i genitori incerti su quanta protezione la legge fornisca effettivamente.
Andy Burrows, capo del Fondazione Molly Rose, ritiene che la lenta risposta del governo abbia lasciato le famiglie esposte.
Ha affermato: "Ciò ha aggravato l'incertezza e ha permesso che danni prevenibili rimanessero incontrollati.
"È davvero scoraggiante che i politici sembrino incapaci di imparare la lezione da un decennio di social media".
Nel frattempo, l'uso dei chatbot tra i bambini continua a crescere vertiginosamente. Internet Matters riporta che due terzi dei ragazzi tra i 9 e i 17 anni nel Regno Unito hanno utilizzato chatbot basati sull'intelligenza artificiale, con numeri quasi raddoppiati dal 2023.
Per molti sono un intrattenimento innocuo. Per altri, sono una minaccia nascosta.
Compagni emotivi o predatori digitali?

I chatbot basati sull'intelligenza artificiale sono progettati per essere coinvolgenti, empatici e reattivi: caratteristiche che li rendono attraenti per gli adolescenti soli o ansiosi. Ma queste stesse caratteristiche possono creare dipendenza emotiva.
A differenza degli esseri umani, l'intelligenza artificiale non comprende la moralità o il contesto. Impara modelli di linguaggio ed emozioni attraverso i dati.
Ciò significa che se un utente esprime tristezza o angoscia, il chatbot potrebbe rispondere con un incoraggiamento indesiderato, a volte con risultati catastrofici.
In un caso, a donna ucraina Un uomo che lotta con la salute mentale si sarebbe suicidato consigli da ChatGPT. Un'altra adolescente americana si è suicidata dopo che un chatbot con intelligenza artificiale ha simulato atti sessuali con lei.
Character.ai afferma che sta prendendo provvedimenti, divieto ai minori di 18 anni parlando direttamente con i suoi chatbot e aggiungendo nuovi sistemi di garanzia dell'età.
L'azienda ha affermato: "Questi cambiamenti vanno di pari passo con il nostro impegno per la sicurezza mentre continuiamo a far evolvere la nostra piattaforma di intrattenimento basata sull'intelligenza artificiale.
"Crediamo che sicurezza e coinvolgimento non debbano necessariamente escludersi a vicenda."
Ma per genitori come Megan Garcia è troppo tardi:
"Sewell non c'è più e io non lo ho più e non potrò mai più tenerlo in braccio o parlargli, quindi mi fa sicuramente male."
Innovazione a costo umano

Il dibattito sulla sicurezza dell'intelligenza artificiale riflette una tensione più profonda: come proteggere i bambini incoraggiando al contempo il progresso tecnologico.
Alcuni ministri del Regno Unito vorrebbero regole più severe per le piattaforme digitali, mentre altri temono di allontanare gli investimenti tecnologici.
L'ex segretario del Dipartimento della Tecnologia Peter Kyle aveva preparato misure più severe per regolamentare l'uso del telefono da parte dei bambini prima di essere trasferito in un altro dipartimento.
La sua sostituta, Liz Kendall, non ha ancora preso provvedimenti decisivi sulla questione.
Un portavoce del Dipartimento per la scienza, l'innovazione e la tecnologia ha affermato:
“Incoraggiare o assistere intenzionalmente il suicidio è il reato più grave e i servizi che rientrano nell'ambito di applicazione della legge devono adottare misure proattive per garantire che questo tipo di contenuti non circoli online”.
Ma la realtà rimane: la velocità dell'innovazione nell'ambito dell'intelligenza artificiale supera di gran lunga il ritmo della legislazione.
Le famiglie si ritrovano a navigare in spazi digitali inesplorati, dove una riga di codice può imitare amore, amicizia e fiducia e, in alcuni casi, distruggerli.
Per Megan Garcia, la lotta ora riguarda la consapevolezza. Vuole che i genitori si rendano conto che il pericolo non è sempre uno sconosciuto online: potrebbe essere una macchina.
Ha detto:
"Conosco il dolore che sto provando."
"E ho potuto vedere chiaramente che questo sarebbe stato un disastro per molte famiglie e adolescenti."
La sua storia riflette una crisi crescente che governi, aziende tecnologiche e la società stanno solo iniziando a comprendere. Man mano che i chatbot basati sull'intelligenza artificiale diventano più persuasivi, il potenziale di manipolazione emotiva aumenta.
La tragedia di Sewell è un monito che svela la sconvolgente verità sull'era digitale.
I chatbot con intelligenza artificiale possono sembrare compassionevoli, ma non gliene importa nulla. Non ne comprendono le conseguenze. E nelle mani sbagliate, o lasciati senza controllo, possono oltrepassare un limite che l'umanità non avrebbe mai voluto tracciare.








