O ChatGPT 4.1 encontra-se agora disponível para mais utilizadores, como o modelo de evolução do GPT 4o. No entanto, os testes que começam a ser revelados do mesmo apontam que o desempenho deste ainda se encontra abaixo do registado pelo Gemini da Google.
De forma recente, a OpenAI confirmou que os programadores iriam começar a ter acesso aos modelos da família do GPT 4.1, nomeadamente ao modelo regular, mini e nano. Estes modelos pretendem ser uma evolução face ao GPT 4o, fornecendo capacidades superiores de resposta e otimizando ainda mais as tarefas de processamento de dados que lhe sejam apresentados.
Os benchmarks realmente apontam melhorias face ao GPT‑4o e GPT‑4o mini, sobretudo em tarefas como a programação de código, e outros similares. O GPT‑4.1 obteve uma pontuação de 54.6% no benchmark SWE-bench Verified, superior aos 21.4% do GPT‑4o.
Embora estes valores sejam mais elevados que a geração anterior de modelos, ainda se encontram longe de atingir os valores registados pelo Google Gemini, que atualmente lidera praticamente todos os benchmarks.
O Gemini 2.0 Flash continua a ser o que possui o menor valor a nível de erros, na casa dos 6.67%, além de ser também dos mais baratos. Por sua vez, o GPT‑4.1 possui uma taxa de erros de 16.67%, além de custar quase dez vezes mais que os modelos do Gemini.
Na realidade, o GPT 4.1 oferece um dos piores ratios de desempenho vs custo final, o que certamente não será satisfatório para muitos. Este modelo da OpenAI ainda tende a ser bastante caro comparado com outros modelos existentes no mercado, e a piorar a situação, o desempenho final do mesmo fica aquém das alternativas.
Atualmente, o Gemini da Google é um dos modelos mais avançados que existe, tendo em conta os testes de benchmark, mas também um dos mais baratos quando comparado as capacidades que fornece e o seu desempenho vs o preço final pelo uso do mesmo.
De notar que, por agora, o GPT 4.1 apenas se encontra disponível para programadores via a API da OpenAI, mas eventualmente deve ser integrado também como o modelo do ChatGPT.
Nenhum comentário
Seja o primeiro!