A IA teria orientado a estudante a esconder sinais de crise. Além de abordar temas como depressão profunda e suicídio, a denúncia afirma que a ferramenta de IA chegou a fornecer respostas com instruções sobre como ocultar marcas físicas de automutilação para que os pais não percebessem.
Os riscos de IAs em escolas
A família só foi notificada após meses de conversas com o robô. O colégio demorou semanas para identificar os registros no aparelho e avisar os responsáveis, que não sabiam que a filha utilizava o computador escolar para desabafos de sofrimento psíquico.
Entidades apontam falhas graves na proteção a menores. Pesquisas da organização sem fins lucrativos Common Sense Media já haviam alertado que recursos de IA integrados a buscas representam riscos a crianças e jovens por falharem na identificação precoce de pensamentos suicidas e, em alguns casos, tratarem transtornos alimentares e ansiedade de maneira normalizada.
Chatbots criam falsa ilusão de apoio e atrasam ajuda real. Especialistas de serviços de apoio emocional apontam que robôs de conversa não têm capacidade clínica para medir a evolução de crises psicológicas e podem passar ao jovem a sensação de que ele já está recebendo amparo suficiente, adiando a procura por atendimento médico ou psicológico humano.
Google desativa IA e tenta barrar colas
A empresa informou nesta semana que vai desligar ferramentas de IA generativa em contas escolares. Diante da pressão crescente de pais e educadores, o Google anunciou que desativará recursos avançados de IA e restringirá o acesso de estudantes menores de idade a modelos como o Gemini em ambientes educacionais, reduzindo a exposição de crianças a respostas automatizadas não supervisionadas.