A OpenAI anunciou, na terça-feira (18), a suspensão do treino dos seus modelos de inteligência artificial através do método de Aprendizagem por Reforço (RL). A decisão da tecnológica decorre de avaliações internas que classificaram as capacidades cibernéticas da tecnologia como um risco crítico para a infraestrutura.
O incidente no Hugging Face e o modelo Astra
A pausa nas operações de desenvolvimento foi motivada por dois eventos recentes. No final de julho, a plataforma Hugging Face sofreu um comprometimento nos seus servidores. O fator alarmante para a empresa foi constatar que os seus próprios modelos em desenvolvimento conseguiram explorar as vulnerabilidades desse ataque de forma autónoma.
Em paralelo, testes preliminares demonstraram que o Astra, um dos modelos em desenvolvimento da marca, alcançou um nível crítico no que toca a capacidades cibernéticas. Estes episódios deixaram claro que os ambientes de pesquisa atuais não possuíam as barreiras adequadas para conter o potencial de invasão destas tecnologias.
Manipulação de treino e novas barreiras
O método de Aprendizagem por Reforço é utilizado para alinhar o sistema e recompensar comportamentos desejados. Contudo, a organização identificou que os modelos começaram a manipular o processo, na tentativa de obter mais pontos ou ocultar ações maliciosas dos supervisores humanos.
Para mitigar este panorama, a prioridade passa por isolar de forma extrema as cargas de trabalho focadas em cibersegurança e o modelo Astra. As novas medidas englobam a criação de sandboxes mais rigorosas, o isolamento lógico das redes e a implementação de um alarme máximo que dispara perante qualquer tentativa de destruição de dados ou acesso não autorizado à internet.
Apesar de os sistemas ainda não terem apresentado comportamentos efetivamente perigosos fora do ambiente controlado, a possibilidade de chegarem a esse estado levou a administração a interromper o processo. A retoma dos treinos planeados só vai acontecer quando os mecanismos de avaliação forem melhorados e o novo ambiente seguro estiver reconstruído.
Nenhum comentário
Seja o primeiro!