A OpenAI, empresa por detrás de modelos de inteligência artificial como o GPT-4, anunciou o lançamento de uma nova página web denominada "safety evaluations hub". O objetivo, segundo a organização, é partilhar publicamente informações cruciais sobre o desempenho e a segurança dos seus sistemas, incluindo dados sobre taxas de alucinação, produção de conteúdo prejudicial, capacidade de seguir instruções e tentativas de contornar as suas restrições de segurança (conhecidas como jailbreaks).
Esta iniciativa surge num momento em que a OpenAI procura oferecer maior transparência sobre as suas operações. Recorde-se que a empresa tem enfrentado múltiplos processos judiciais que a acusam de utilizar ilegalmente material protegido por direitos de autor para treinar os seus modelos de IA. Adicionalmente, alegações por parte do The New York Times indicam que a tecnológica poderá ter eliminado inadvertidamente provas relevantes no caso de plágio movido pelo jornal.
O novo hub de avaliações de segurança pretende ser uma evolução dos "system cards" (cartões de sistema) da OpenAI, que até agora apenas descreviam as medidas de segurança de um modelo no momento do seu lançamento. A nova plataforma deverá fornecer atualizações contínuas sobre estes parâmetros.
O que esperar deste novo centro de informações?
Segundo a OpenAI, "À medida que a ciência da avaliação da IA evolui, pretendemos partilhar o nosso progresso no desenvolvimento de formas mais escaláveis de medir a capacidade e segurança dos modelos". A empresa acrescenta: "Ao partilhar aqui um subconjunto dos nossos resultados de avaliação de segurança, esperamos que isto não só facilite a compreensão do desempenho de segurança dos sistemas da OpenAI ao longo do tempo, mas também apoie os esforços da comunidade para aumentar a transparência em todo o campo." A OpenAI refere ainda que está a trabalhar para ter uma comunicação mais proativa nesta área em toda a empresa.
Os interessados poderão consultar no hub secções dedicadas a modelos específicos, como as versões GPT-4.1 até GPT-4.5. No entanto, a própria OpenAI sublinha que a informação disponibilizada é apenas um "instantâneo" e que para uma análise mais detalhada se deve consultar os referidos "system cards", avaliações completas e outras publicações.
Transparência com um "mas" significativo
A grande questão que se levanta em torno deste novo hub de segurança reside no facto de ser a própria OpenAI a realizar os testes e a selecionar a informação que é partilhada publicamente. Consequentemente, não existe uma garantia independente de que a empresa divulgará todos os problemas ou preocupações identificados internamente. Esta centralização do controlo da informação poderá limitar o alcance da transparência que a iniciativa proclama promover, deixando em aberto o quão completo e imparcial será o retrato da segurança dos seus modelos de IA.
Nenhum comentário
Seja o primeiro!