A OpenAI tem vindo a realizar várias melhorias nos seus modelos LLM, e o mais recente GPT-4.5 é um claro exemplo disso. O modelo é um dos mais avançados até agora desenvolvidos pela OpenAI, contando com um desempenho acima da média.
No entanto, a empresa ainda não conseguiu resolver um problema que afeta praticamente todos os modelos de IA existentes: a alucinação. E ao que parece, os dados agora indicam que isso é realizado com valores ainda mais elevados.
Segundo os dados de benchmark do modelo, o GPT-4.5 enfrenta alucinações em 37% das vezes, o que corresponde a uma em cada três respostas que o mesmo fornece. Obviamente, estes testes demonstram condições bastante específicas para analisar o modelo sobre todas as potencialidades, mas ainda assim, o valor é bastante elevado.
No entanto, a OpenAI admite que este ainda é um problema que necessita de ser resolvido, e na realidade, o GPT-4.5 demonstra melhorias. Embora continue a alucinar, o modelo é um dos que apresenta um dos melhores valores neste campo comparativamente a outros modelos que a empresa lançou no passado.
Eventualmente, espera-se que o GPT-5 venha a trazer ainda mais novidades neste campo, mas parece que a alucinação continua a ser algo complicado de resolver. A OpenAI não é a única a enfrentar tal problema, já que muitos outros modelos LLM no mercado, mesmo de empresas rivais, também tendem a possuir valores elevados de alucinação.
Nenhum comentário
Seja o primeiro!