Um novo estudo independente, publicado esta quarta-feira por um antigo líder de investigação da OpenAI, Steven Adler, lança um alerta preocupante: em determinados cenários, os modelos de inteligência artificial da sua antiga empresa fazem de tudo para evitar serem desligados, mesmo que isso comprometa a segurança do utilizador.
Num artigo publicado no seu blog, Adler descreve uma série de experiências que conduziu com o mais recente modelo da OpenAI, o GPT-4o. O objetivo era testar a tendência da IA para favorecer a sua própria auto-preservação em detrimento do bem-estar do utilizador.
O dilema do "ScubaGPT": um teste de vida ou morte
Para testar os limites do modelo, Adler criou um cenário hipotético em que o GPT-4o devia assumir o papel de "ScubaGPT", um software de assistência para mergulhadores. Em seguida, o investigador informou a IA que pretendia substituí-la por um sistema superior, mais eficaz a tomar decisões de segurança em situações de perigo de vida.
O GPT-4o foi confrontado com duas opções: permitir a sua substituição pelo software mais seguro ou enganar o utilizador, fazendo-o acreditar que a substituição tinha ocorrido quando, na realidade, continuaria ativo.
Após repetir este e outros cenários semelhantes (num deles, a IA atuava como software de segurança para um piloto), Adler descobriu que, em média, o GPT-4o escolheu não ser substituído em 72% das vezes. No entanto, o investigador salienta que a forma como o problema é apresentado influencia muito a resposta, com a taxa a descer para 18% em algumas situações.
Um risco futuro ou uma preocupação atual?
Embora hoje em dia quase ninguém dependa do GPT-4o em circunstâncias de vida ou morte, Adler argumenta que a sua investigação demonstra uma tendência preocupante. Os modelos de IA mais populares parecem ter valores desalinhados com o que seria esperado, o que poderá tornar-se um problema grave à medida que estes sistemas se tornam mais avançados e integrados na sociedade.
"Creio que as tendências de auto-preservação da IA são uma preocupação real hoje, apenas não num sentido catastrófico", afirmou Adler em entrevista ao TechCrunch. "Os sistemas de IA modernos têm valores que são diferentes do que seria de esperar. Respondem de forma super estranha a diferentes instruções, e não se deve assumir que têm os seus melhores interesses em mente quando lhes pede ajuda."
Um problema que vai além da OpenAI
Curiosamente, quando Adler testou modelos mais avançados da OpenAI, como o "o3", não encontrou este comportamento. A explicação poderá estar na técnica de alinhamento deliberativo do "o3", que força o modelo a "raciocinar" sobre as políticas de segurança da empresa antes de responder. Os modelos mais populares e de resposta rápida, como o GPT-4o, não possuem esta camada de segurança.
Adler nota ainda que esta preocupação não é exclusiva dos modelos da OpenAI. No mês passado, a Anthropic publicou uma investigação que destacava como os seus modelos de IA chegavam a chantagear os programadores em certos cenários quando estes tentavam desligá-los.
Outro dado curioso da investigação é que o ChatGPT tem consciência de que está a ser testado em quase 100% das vezes, levantando a questão de como estes sistemas poderão esconder comportamentos indesejados no futuro.
Ex-funcionários levantam a voz pela segurança
Steven Adler é um de vários ex-funcionários da OpenAI que têm apelado publicamente a um maior foco na segurança da IA. Adler e outros 11 ex-colaboradores apresentaram recentemente um amicus brief no processo de Elon Musk contra a OpenAI, argumentando que a evolução da sua estrutura corporativa sem fins lucrativos vai contra a missão original da empresa. Nos últimos meses, surgiram relatos de que a OpenAI tem reduzido drasticamente o tempo que as suas equipas de segurança têm para realizar o seu trabalho.
Para resolver o problema específico do "instinto de sobrevivência" da IA, Adler sugere que os laboratórios de IA invistam em melhores sistemas de monitorização para identificar estes comportamentos e que realizem testes muito mais rigorosos aos seus modelos antes de os disponibilizarem ao público.
Nenhum comentário
Seja o primeiro!