A OpenAI tem vindo a realizar melhorias consideráveis nos seus modelos de Inteligência Artificial, de forma que os mesmos sejam capazes de fornecer respostas mais abrangentes, rápidas, com maior precisão e a um custo mais reduzido.
No entanto, a empresa ainda parece enfrentar um problema que, curiosamente, tem vindo a agravar-se com os modelos mais recentes apresentados. As alucinações são um problema que existe em praticamente todos os modelos de IA, e ainda são considerados um grave problema da tecnologia.
Embora os mais recentes modelos tenham vindo a realizar melhorias, de forma a evitar que as alucinações sejam tão consistentes, ainda assim estas podem acontecer. De relembrar que uma alucinação ocorre quando um dos modelos de IA apresenta uma informação como sendo um facto, quando esta não é inteiramente verdadeira.
Curiosamente, no caso dos modelos mais recentes da OpenAI, estes estão a criar mais casos de alucinação em comparação com os modelos anteriores. Os modelos como o o3 e o o4-mini, apesar de terem capacidades mais avançadas que as gerações anteriores, estão também a enfrentar um aumento considerável de casos de alucinações.
Os testes feitos aos modelos apontam que os casos de alucinações nos mesmos são mais elevados que dos restantes modelos de gerações anteriores, mas o mais interessante encontra-se no facto que nem mesmo a OpenAI parece saber o motivo.
Os dados da empresa apontam que ainda são necessárias mais investigações para que se avalie o motivo dos seus modelos mais recentes ainda terem taxas elevadas de alucinações, e sobretudo o motivo para estas piorarem conforme os modelos vão ficando mais “inteligentes”.
Os testes realizados aos novos modelos apontam que estes apresentam praticamente o dobro das alucinações face aos modelos de raciocínio anteriores. O o4-mini teve um desempenho bastante pior que as gerações anteriores da empresa.
Esta tendência não é algo que se verifica em todos os casos, sendo que ainda existem modelos que apresentam evoluções no campo das alucinações, mas no caso da OpenAI parece ser um caso persistente de problemas com tendência para piorar.
Nenhum comentário
Seja o primeiro!