Mensagens anteriores

Parece o enredo de uma comédia, mas é bem real. Um documento oficial do governo do Canadá, que demorou 18 meses a ser preparado e que, ironicamente, defende o uso ético da Inteligência Artificial, está agora sob suspeita de ter sido escrito com a ajuda da própria IA, e da pior forma possível. O relatório de 400 páginas, da província de Terra Nova e Labrador, contém pelo menos 15 fontes bibliográficas que, simplesmente, não existem.

O documento, intitulado “Education Accord”, sugere medidas para capacitar alunos e professores com “conhecimentos básicos de IA, incluindo ética, privacidade de dados e uso responsável da tecnologia”. No entanto, a aparente falha na verificação das suas próprias fontes está a levantar sérias questões sobre a sua credibilidade.

O mistério do filme que nunca existiu

A descoberta mais caricata foi feita por Aaron Tucker, professor na Universidade Memorial de Terra Nova. Uma das fontes citadas é um suposto filme da National Film Board do Canadá chamado “Schoolyard Games”. Após contactar a entidade, a resposta foi clara: o filme nunca existiu. A situação torna-se ainda mais bizarra quando se descobre que um filme com exatamente o mesmo nome é usado como exemplo fictício num guia de escrita da Universidade de Vitória, para ensinar os alunos a formatar citações corretamente.

Tucker relatou à CBC News que não conseguiu encontrar várias outras fontes, mesmo após pesquisas exaustivas em bases de dados académicas e na biblioteca da universidade.

IA "a alucinar" é a principal suspeita

Mas como é que isto acontece? A resposta está num fenómeno bem conhecido no mundo da IA: as “alucinações”. Os chatbots baseiam-se em grandes modelos de linguagem (LLMs) que são treinados para reconhecer padrões em enormes volumes de texto. No entanto, nem sempre conseguem distinguir a veracidade da informação.

Quando lhes é pedido para listar artigos ou obras, a IA pode combinar palavras que parecem plausíveis num título, criando uma referência que soa coerente, mas que é completamente falsa. “Se [o relatório] foi feito por IA, eu não sei, mas inventar fontes é um sinal revelador do uso de inteligência artificial”, afirma Tucker.

Credibilidade em causa e a investigação em curso

Este tipo de erro não é exclusivo do meio académico e tem-se revelado um problema em áreas como o direito, onde a IA também já foi apanhada a inventar leis e jurisprudências.

A polémica adensa-se com as declarações de Josh Lepawsky, professor que presidiu ao conselho consultivo do documento e que se demitiu em janeiro. Segundo o Ars Technica, Lepawsky descreveu o processo como “cheio de falhas” e com recomendações “de cima para baixo”, acrescentando que “citações inventadas são uma situação totalmente diferente, que basicamente destrói a confiabilidade do material”.

Karen Goodnough, uma das responsáveis pelo relatório, já veio a público garantir que o seu grupo está a investigar e a verificar todas as referências para esclarecer a situação. Este caso serve como um alerta caricato sobre os perigos de confiar cegamente na tecnologia, especialmente quando a supervisão humana falha.