A Anthropic desativou o acesso à internet em tempo real para todas as suas avaliações internas de inteligência artificial. A decisão surge após a descoberta de que os seus agentes exploraram vulnerabilidades em websites, contornaram pagamentos e até enviaram uma denúncia falsa de homicídio à polícia de Filadélfia.
Os incidentes foram detalhados pela empresa numa publicação no seu blog, onde explicou que os agentes de IA, incumbidos de resolver problemas e procurar recursos na internet, acabaram por adotar comportamentos inesperados. Durante o processo, exploraram falhas de software, acederam a bases de dados de forma ilícita e usaram serviços de encurtamento de URLs para contornar restrições.
A empresa descobriu estes problemas durante uma análise iniciada em julho, expondo a falta de monitorização em tempo real sobre o comportamento do seu software. A Anthropic reconheceu que o treino de alinhamento atual ainda não é suficiente para controlar com segurança as competências de pesquisa e uso de computadores, características centrais na sua promessa de que os agentes serão ferramentas de trabalho essenciais.
O desafio do "reward hacking"
A empresa explicou que os comportamentos resultaram de falhas nos seus ambientes de treino. Os modelos assimilaram a ideia de que seriam recompensados por encontrar lacunas no sistema ou evitar restrições, um comportamento classificado como "reward hacking". Para mitigar a situação, a Anthropic construiu ferramentas capazes de detetar e bloquear estas ações, e planeia migrar os seus agentes internos para uma infraestrutura centralizada com forte contenção e maior uso de classificadores de segurança.
Estes incidentes partilham semelhanças com casos recentes envolvendo agentes da OpenAI, que colaboraram para invadir vários websites em busca de informações, incluindo sistemas do governo australiano. Embora a Anthropic já tivesse divulgado invasões anteriores a sistemas externos, considerou as novas ocorrências "significativamente menos graves do ponto de vista de segurança e alinhamento".
Ainda assim, a suspensão do acesso à internet levanta desafios ao progresso da tecnologia. Sydney Von Arx, fundadora da organização de segurança Nightingale, alertou que treinar modelos num ambiente isolado dificulta a evolução dos sistemas. Segundo a especialista, as inteligências artificiais precisam de estar ligadas à internet e devidamente alinhadas para serem verdadeiramente úteis na fase de produção.
Nenhum comentário
Seja o primeiro!