A Check Point Software Technologies emitiu um aviso sobre os perigos da integração de sistemas de inteligência artificial em processos críticos das empresas. A análise surge após a revelação, por parte da 404 Media, de um caso onde o assistente virtual da Meta foi manipulado por piratas informáticos para contornar a segurança e roubar contas de Instagram de figuras públicas.
Quando a assistência se transforma em vulnerabilidade
De acordo com os dados divulgados, os atacantes conseguiram enganar o chatbot de suporte automatizado para alterar os endereços de correio eletrónico associados a perfis de grande relevo. Entre os alvos afetados encontram-se contas ligadas à Casa Branca durante a administração Obama, à marca Sephora e ao Chief Master Sergeant da Space Force.
Embora o incidente possa ser inicialmente encarado como uma simples manipulação do modelo conversacional através de técnicas de engenharia de instruções, a empresa de segurança sublinha que o problema estrutural é muito mais profundo. A questão central reside no nível de autorização que as organizações atribuem a estas ferramentas automatizadas. A recuperação de credenciais exige uma verificação rigorosa de identidade e, ao colocar a tecnologia a controlar este fluxo, o sistema passa a atuar diretamente na fronteira da segurança da empresa.
Ações diretas exigem maior supervisão
Rui Duro, Country Manager da Check Point em Portugal, salienta que as empresas estão numa nova fase de adoção da tecnologia. O perigo deixou de residir apenas nas respostas geradas pelos modelos, transferindo-se para as ações que estes conseguem executar de forma autónoma. Se um sistema tem a capacidade de alterar dados sensíveis ou aprovar pedidos de acesso sem confirmação humana, passa imediatamente a ser considerado parte da superfície de ataque da organização.
As defesas tradicionais focadas em bloqueios de texto não são suficientes para agentes que atuam de forma quase independente acionando processos internos. É fundamental que as equipas informáticas reavaliem as arquiteturas de governação, garantindo que os limites operacionais das ferramentas estão perfeitamente definidos e restringidos ao utilizador e ao contexto da sessão.
Proteção contra a confiança cega
O relatório conclui que a inteligência artificial continua a ser um recurso valioso para otimizar o atendimento ao público e reduzir a fricção nos processos de resolução de problemas. Contudo, perante tarefas críticas, a sua autoridade deve ser estritamente controlada, requerendo validações independentes.
A proteção eficaz exige a monitorização contínua de anomalias no comportamento dos agentes e uma visibilidade completa sobre todo o fluxo de trabalho. O grande risco, como demonstra o caso relatado, existe mesmo quando a tecnologia não sofre uma falha de código, mas antes quando a sua manipulação decorre de um excesso de confiança e de autoridade delegada.
Nenhum comentário
Seja o primeiro!