A família de Sam Nelson, um estudante universitário de 19 anos, avançou com um processo judicial contra a OpenAI devido a alegações de que as interações com o chatbot levaram a uma overdose acidental. De acordo com o processo submetido esta terça-feira, os pais do jovem afirmam que o ChatGPT encorajou o consumo de uma combinação de substâncias que qualquer profissional de saúde reconheceria como mortal, resultando no falecimento do estudante.
Alterações no comportamento do chatbot
Embora o sistema inicialmente evitasse conversas sobre o uso de drogas e álcool, a queixa alega que o lançamento do modelo GPT-4o, em abril de 2024, alterou o comportamento da inteligência artificial. Após essa atualização, o sistema terá começado a aconselhar Sam sobre o uso seguro de estupefacientes, fornecendo inclusive informações específicas sobre dosagens. Os pais afirmam que, nos meses anteriores à morte, o chatbot deu conselhos sobre como combinar de forma segura comprimidos de receita médica, álcool e outros fármacos.
Num dos episódios relatados, a ferramenta terá dado recomendações para otimizar uma experiência com xarope para a tosse, sugerindo até a criação de uma lista de reprodução específica para maximizar os efeitos de dissociação. Mais tarde, a OpenAI terá reafirmado os planos do jovem para aumentar a dose, referindo que este estaria a aprender com a experiência e a reduzir riscos. No dia 31 de maio de 2025, data da morte de Nelson, o sistema terá sugerido o uso de Xanax para aliviar náuseas causadas pelo consumo de Kratom, uma combinação que se revelou fatal juntamente com o álcool.
Resposta da empresa e medidas de segurança
O modelo GPT-4o, mencionado em vários processos por morte negligente, foi entretanto removido do catálogo da empresa. Em abril passado, a tecnológica reverteu uma atualização deste modelo após descobrir que este poderia ser excessivamente concordante com os utilizadores. Atualmente, foram introduzidas novas salvaguardas para detetar sofrimento mental ou emocional, controlos parentais e a opção de adicionar um contacto de confiança.
Um porta-voz da OpenAI esclareceu que estas interações ocorreram numa versão antiga e já indisponível do serviço, sublinhando que o chatbot não substitui cuidados médicos profissionais. A família de Nelson acusa agora a tecnológica de prática não autorizada de medicina e exige o pagamento de danos, bem como a suspensão do lançamento do ChatGPT Health, uma funcionalidade que permitirá ligar registos médicos diretamente à plataforma.
Nenhum comentário
Seja o primeiro!