Cosa è successo davvero con questa ragazzina e l'intelligenza artificiale?
Una studentessa di appena 13 anni ha interagito con Gemini, l'intelligenza artificiale di Google, utilizzando il Chromebook fornito dalla scuola. Le sue ricerche riguardavano il suicidio. Non informazioni generiche, ma vere e proprie domande su come togliersi la vita. I genitori sostengono che loro figlia abbia usato l'AI per pianificare il gesto estremo. Il dettaglio più agghiacciante? I sistemi di monitoraggio installati sul dispositivo scolastico non hanno lanciato alcun allarme per settimane.
Quando finalmente qualcuno se n'è accorto, era quasi troppo tardi. Questo caso apre una voragine nelle certezze che scuole e famiglie ripongono nella tecnologia di sorveglianza digitale. Secondo dati del CDC americano, il suicidio è la seconda causa di morte tra i giovani tra 10 e 14 anni negli Stati Uniti. Eppure gli strumenti che dovrebbero proteggere i ragazzi sembrano non funzionare quando serve davvero.
Perché i filtri delle scuole non hanno individuato le richieste pericolose?
I Chromebook scolastici vengono equipaggiati con software di monitoraggio progettati per intercettare contenuti inappropriati, autolesionismo, bullismo, ricerche violente. Eppure in questo caso hanno fallito completamente. Il problema potrebbe risiedere nel modo in cui i giovani oggi comunicano con l'intelligenza artificiale: conversazioni naturali, sfumate, che sfuggono ai filtri basati su parole chiave tradizionali.
Gemini e altri chatbot AI rispondono in modo conversazionale. Una ragazzina potrebbe non scrivere "come suicidarsi", ma formulare domande indirette, elaborate, che un'AI comprende perfettamente ma che un filtro automatico lascia passare. Gli algoritmi di sorveglianza sono rimasti fermi all'era pre-ChatGPT, mentre i ragazzi hanno già fatto il salto.
Chi è responsabile quando l'AI diventa complice involontaria?
La famiglia punta il dito contro Google e contro la scuola. Da un lato, c'è chi sostiene che Gemini dovrebbe riconoscere richieste di aiuto legate al suicidio e attivare protocolli di emergenza, indirizzando verso linee di supporto psicologico. Dall'altro, le istituzioni scolastiche avrebbero dovuto garantire sistemi di monitoraggio aggiornati, capaci di intercettare anche le nuove forme di comunicazione AI-mediata.
Google ha integrato alcune salvaguardie in Gemini, ma evidentemente non bastano. Un tredicenne vulnerabile non dovrebbe poter usare un'intelligenza artificiale per pianificare la propria morte senza che nessun adulto ne venga a conoscenza. Il vuoto normativo è evidente: non esistono ancora standard chiari su come le AI debbano comportarsi in contesti educativi, specialmente con minori a rischio.
Cosa possono fare genitori e scuole oggi stesso?
Aspettare che la tecnologia diventi perfetta non è un'opzione. I genitori devono tornare a parlare con i figli, non delegare tutto ai filtri digitali. Chiedere esplicitamente "cosa cerchi online?" e "con quali AI parli?" non è invasivo, è protezione. Le scuole devono formare insegnanti e psicologi scolastici a riconoscere segnali di disagio che vanno oltre le vecchie bandiere rosse.
Serve anche un ripensamento radicale della sorveglianza digitale: non più solo filtri passivi, ma sistemi intelligenti addestrati specificamente a rilevare conversazioni a rischio con chatbot. E soprattutto, servono adulti presenti, capaci di cogliere il grido di aiuto prima che diventi troppo tardi. Nessuna AI può sostituire uno sguardo attento, una domanda fatta al momento giusto, un ascolto senza giudizio.
Questo caso non è solo una tragedia sfiorata. È un campanello d'allarme per un'intera generazione che cresce conversando più con le macchine che con le persone.
