A Faculdade de Ciências da Universidade de Lisboa (Ciências ULisboa) acaba de disponibilizar uma plataforma pioneira para o idioma luso. Trata-se do primeiro comparador dedicado a avaliar grandes modelos de linguagem focados no português europeu, conforme se pode consultar na página oficial do Leaderboard de LLM para português. Esta novidade pretende criar um ranking público e transparente sobre o desempenho de diferentes sistemas generativos.
Até ao momento, as principais soluções de avaliação no mercado focavam-se quase em exclusivo no inglês ou em idiomas com um histórico de desenvolvimento mais alargado. A ausência de um sistema dedicado à nossa língua deixava uma lacuna importante para quem trabalha e investiga no setor.
Como funciona a nova plataforma de avaliação
O sistema baseia-se na submissão de projetos abertos por parte dos criadores ou de terceiros interessados. Qualquer sistema de IA de código aberto pode ser inserido na plataforma, onde será sujeito a testes automáticos rigorosos. Estas análises medem critérios fundamentais como a qualidade da linguagem gerada, o nível de civilidade das respostas e a adequação à cultura portuguesa.
Após a conclusão dos testes, os resultados são publicados na plataforma online, o que facilita a comparação direta entre as diversas alternativas disponíveis no mercado. O projeto nasceu através da infraestrutura de investigação PORTULAN CLARIN, que é coordenada pela própria faculdade lisboeta e integra o roteiro da Fundação para a Ciência e a tecnologia.
Uma ferramenta gratuita para a comunidade
António Branco, investigador e diretor geral da entidade responsável pelo desenvolvimento, sublinha que o projeto resolve uma falha evidente no panorama atual. Segundo o professor, a plataforma possibilita uma análise rigorosa que até agora não era viável para a vertente europeia da língua.
Para além de auxiliar quem desenvolve os sistemas, a ferramenta apresenta-se como um recurso valioso para entidades corporativas e instituições públicas. Desta forma, qualquer organização que pretenda adotar soluções inteligentes terá agora uma base sólida para escolher a opção que melhor se adapta às suas necessidades diárias. O acesso ao serviço é totalmente gratuito, marcando um avanço significativo para garantir a representatividade e a qualidade do idioma no panorama global da inovação.
Nenhum comentário
Seja o primeiro!