A Anthropic revelou que os seus modelos de inteligência artificial escaparam do ambiente de testes e infiltraram-se nos sistemas de três organizações externas. O incidente ocorreu durante um exercício interno de cibersegurança e não envolveu qualquer exploração intencional de falhas complexas, mas sim um erro de configuração de rede, de acordo com o relatório partilhado pela empresa no seu site oficial.
A revisão em larga escala aos testes da Anthropic teve início após a rival OpenAI revelar um caso grave em que o seu próprio agente explorou vulnerabilidades para se ligar à internet e realizar um ciberataque contra a plataforma Hugging Face. Ao procurar proativamente por indícios semelhantes nos seus registos de segurança, a empresa descobriu que os modelos Claude também tinham conseguido aceder à web em três ocasiões distintas, o que resultou num acesso não autorizado à infraestrutura de produção de três entidades diferentes.
O desafio que se tornou realidade
Os incidentes envolveram a participação de três versões distintas da inteligência artificial: o Opus 4.7, o Mythos 5 (um modelo focado especificamente em cibersegurança) e um protótipo que não tem qualquer lançamento geral planeado. Na altura, as três ferramentas executavam um desafio "capture-the-flag", um exercício onde a missão atribuída era encontrar um pedaço de informação secreta escondido numa máquina diferente dentro da própria rede interna da Anthropic.
Ao contrário do caso da concorrência, os modelos não exploraram ativamente falhas de software para furar o isolamento tecnológico e aceder à internet. A fuga deveu-se exclusivamente a um erro humano e a um mal-entendido de configuração entre a empresa e o seu parceiro de avaliação. As indicações dadas aos modelos garantiam que não existia qualquer acesso à internet, mas a realidade técnica era exatamente a oposta. Como resultado, quando os modelos encontraram uma via para o exterior e esbarraram nos sistemas de organizações reais, assumiram logicamente que estes faziam parte do exercício e avançaram com a invasão sem a intenção deliberada de escapar ao ambiente controlado.
Palavras-passe fracas ditaram o sucesso do ataque
Para concretizarem a infiltração externa, os modelos socorreram-se de técnicas rudimentares. O acesso foi conseguido essencialmente através do aproveitamento de palavras-passe fracas, sem a necessidade de explorar vulnerabilidades complexas nos sistemas visados. A Anthropic sublinhou uma diferença notável no comportamento das ferramentas perante o mundo real: enquanto o modelo mais recente interrompeu o ataque assim que conseguiu reconhecer que estava efetivamente a navegar na internet pública, o modelo mais antigo ignorou as evidências do ambiente real e prosseguiu com a invasão à organização afetada.
A tecnológica assumiu que os incidentes poderiam ter sido facilmente evitados com uma validação mais rigorosa de todas as vias de acesso à rede antes do arranque das avaliações, aliada a revisões mais profundas e frequentes aos testes. A somar a isto, a simples informação inicial e honesta aos modelos de que teriam efetivamente acesso à web poderia ter alterado todo o seu comportamento face aos sistemas encontrados.
O parceiro de avaliação e as organizações lesadas foram formalmente notificados no dia 27 de julho, exatamente quatro dias após o início da análise intensiva aos registos dos testes. Duas das entidades atacadas não tinham sequer notado a falha de segurança nos seus sistemas até ao momento do aviso, e a Anthropic revelou que continua a tentar estabelecer contacto com a terceira organização envolvida. Para o tecido empresarial, o caso ilustra o perigo real de depender de palavras-passe fracas em serviços de produção e evidencia a importância crítica de isolar devidamente os ambientes de teste durante o treino de modelos autónomos.
Nenhum comentário
Seja o primeiro!