Embora a maioria das plataformas de IA tenham medidas para evitar que os seus sistemas sejam usados em fins maliciosos, de tempos a tempos demonstra-se que é possível contornar as medidas de proteção dos mesmos. E recentemente, um grupo de investigadores revelou ser possível usar o modelo de voz do ChatGPT-4o da OpenAI para esquemas.
O ChatGPT-4o da OpenAI conta com várias melhorias, entre as quais encontra-se um sistema de comunicação em voz que praticamente pretende imitar a conversa com seres humanos. Para prevenir que a funcionalidade possa ser usada para fins maliciosos, a OpenAI aplica algumas regras e limites.
No entanto, os investigadores Richard Fang, Dylan Bowman e Daniel Kang, da UIUC, revelaram que é possível contornar estes filtros, e usar o modelo da OpenAI para esquemas em chamadas de voz bastante realistas. Os investigadores afirmam que os sistemas de proteção existentes ainda são insuficientes, e podem ser usados para criar esquemas bastante convincentes contra potenciais vítimas, que ganha outros contornos se tivermos em conta que pode ser realizado em tempo real e em formato de voz.
Usando o ChatGPT-4o, os investigadores foram capazes de criar esquemas bastante convincentes para enganar as vítimas, levando-as a fornecer dados pessoais, bancários e até o acesso às suas contas do Gmail.
Embora o ChatGPT-4o tenha sistemas para prevenir tais casos, e nomeadamente alguns para impedir que dados pessoais sejam recolhidos, ainda assim é possível usar comandos dedicados para “contornar” o sistema.
O modelo é mesmo capaz de guiar as vítimas a realizar várias ações em diferentes sites, como sites de entidades bancárias, com o objetivo de levar ao roubo de fundos ou qualquer outra atividade maliciosa que seja dos interesses dos atacantes.
A taxa de sucesso destes ataques encontram-se entre os 20 e 60%, em parte dependendo da qualidade das interações que sejam necessárias de realizar e das medidas feitas para contornar os filtros da OpenAI.
Em resposta ao estudo, a OpenAI afirma que o seu modelo o1 encontra-se com melhores proteções para prevenir este caso de incidentes, mas que outras melhorias encontram-se a ser implementadas nos restantes modelos. A empresa afirma ainda que estes estudos podem ajudar a entidade a melhorar os seus modelos para o futuro, e são fundamentais para o treino seguro dos modelos de IA.
Nenhum comentário
Seja o primeiro!