Modelos de Inteligência Artificial como o ChatGPT da OpenAI e o Gemini da Google têm surpreendido pela sua capacidade de gerar texto coerente e até de "raciocinar" sobre problemas complexos. No entanto, um novo estudo realizado por investigadores da Universidade do Estado do Arizona, nos EUA, lança um balde de água fria sobre estas capacidades, sugerindo que o raciocínio dos grandes modelos de linguagem (LLMs) é, na verdade, uma "frágil miragem".
Segundo os cientistas, estas IAs são incapazes de resolver problemas lógicos que não tenham feito parte do seu extenso treino, limitando-se a imitar padrões em vez de aplicar uma lógica genuína.
Uma "miragem frágil" de inteligência
Nos últimos anos, assistentes de IA tornaram-se mais sofisticados ao adotar uma técnica conhecida como "cadeia de pensamentos". Este método permite-lhes decompor um pedido complexo numa sequência de passos lógicos, criando a ilusão de um raciocínio estruturado. Contudo, a investigação, ainda por rever pelos seus pares, indica que este método tem sérias limitações.
O trabalho, disponível na plataforma Arxiv, aponta que, embora a técnica da cadeia de pensamentos possa produzir resultados convincentes, estes estão repletos de falhas lógicas. Isto representa um risco real, especialmente se os utilizadores confiarem cegamente nas soluções apresentadas sem uma verificação rigorosa.
IA falha em testes de lógica simples e inéditos
Para testar a verdadeira capacidade de raciocínio dos LLMs, os investigadores criaram um ambiente de treino com tarefas de transformação de texto bastante simples, como, por exemplo, trocar letras de palavras para as codificar. De seguida, o modelo de IA foi desafiado com várias tarefas, umas semelhantes às do treino e outras que exigiam a combinação de diferentes transformações para criar uma operação completamente nova.
Os resultados foram claros: os modelos começaram a falhar de forma consistente assim que se depararam com transformações que nunca tinham visto. Por exemplo, um modelo treinado para "deslocar" letras (como trocar cada letra pela seguinte no alfabeto) não conseguia executar tarefas que implicassem simplesmente baralhar a ordem das letras. Da mesma forma, um modelo treinado com palavras de quatro letras apresentava grandes dificuldades em resolver problemas idênticos com palavras de três ou cinco letras.
Os investigadores observaram ainda que:
A IA tentava generalizar regras lógicas a partir dos padrões do seu treino, mas acabava por errar as respostas, mesmo apresentando um raciocínio aparentemente correto.
O inverso também acontecia: por vezes, o modelo chegava à resposta certa, mas através de um encadeamento de pensamentos ilógico e incoerente.
Quanto mais complexo o pedido e maior o número de passos necessários para a solução, pior era o desempenho do modelo.
Uma conclusão que não surge isolada
Esta não é a primeira vez que a capacidade de raciocínio das IAs é posta em causa. Conforme detalhado pela publicação The Decoder, outros estudos chegaram a conclusões semelhantes. Investigadores ligados à Apple já tinham publicado um artigo que indicava que os LLMs se baseiam no reconhecimento de padrões e não numa compreensão estrutural ou planeamento simbólico.
Outras investigações, conduzidas por académicos de universidades chinesas, descobriram que os métodos de treino atuais não ajudam os modelos a desenvolverem estratégias eficazes para a resolução de problemas. Da mesma forma, cientistas da Universidade de Nova Iorque concluíram que os modelos de IA não conseguem decompor tarefas num número suficiente de passos lógicos.
Críticos apontam limitações e o debate continua
Apesar das evidências, há quem critique estas investigações, considerando-as demasiado simplistas. Os críticos argumentam que estes testes não têm em conta que os LLMs modernos podem gerar código de programação para resolver problemas ou até recorrer a ferramentas externas para encontrar soluções, contornando as suas limitações lógicas inerentes.
Ainda assim, o estudo da Universidade do Arizona levanta um alerta importante: a aparente capacidade de raciocínio da IA pode ser apenas uma imitação de padrões altamente sofisticada. A questão que fica no ar é se, no futuro, estes modelos conseguirão evoluir para além da imitação e alcançar uma verdadeira compreensão lógica do mundo.
Nenhum comentário
Seja o primeiro!