Daniel Stenberg, o fundador do conhecido projeto curl, manifestou publicamente o seu descontentamento perante o dilúvio de relatórios de bugs de fraca qualidade, gerados por Inteligência Artificial (IA), que têm inundado o projeto. Recentemente, Stenberg anunciou a introdução de uma nova medida para travar estas submissões de baixo esforço, que estão a consumir um tempo precioso aos responsáveis pela manutenção do curl.
Um "ataque DDoS" de relatórios inúteis
Stenberg não poupa nas palavras e descreve o volume de tempo necessário para analisar cada relatório de vulnerabilidade assistido por IA, submetido através da plataforma HackerOne – apenas para concluir que são inválidos – como algo equiparável a um ataque de negação de serviço (DDoS) ao projeto.
A frustração atingiu o limite com um relatório recente que, segundo Stenberg numa publicação no LinkedIn, o "empurrou para o limite". "É isto. Já tive o suficiente. Vou pôr um travão nesta loucura", declarou.
Nova política: tolerância zero ao "lixo" da IA
Doravante, qualquer relatório submetido na HackerOne que alegue ter encontrado uma falha no curl – uma ferramenta de linha de comandos e biblioteca fundamental para a transferência de dados através de URLs – terá de declarar explicitamente se foi utilizada IA na sua criação.
Caso a caixa de seleção correspondente seja marcada, o autor do relatório pode esperar uma série de questões adicionais e um escrutínio rigoroso, exigindo provas concretas da genuinidade da falha antes que a equipa do curl dedique tempo à sua verificação.
"Agora banimos instantaneamente qualquer relator que submeta o que consideramos 'lixo' de IA", afirmou Stenberg. "Atingimos um limite. Estamos efetivamente a ser alvo de DDoS. Se pudéssemos, cobrar-lhes-íamos por esta perda do nosso tempo."
O fundador salientou ainda que o projeto nunca recebeu um único relatório de bug válido que tivesse sido gerado com recurso a IA, e a frequência destes tem vindo a aumentar. "Este tipo de relatórios não existia de todo há alguns anos, e a taxa parece estar a aumentar", comentou Stenberg em resposta a um seguidor. "Ainda não nos estão a afogar, mas a tendência não parece boa."
Um problema crescente no ecossistema open source
Estas preocupações não são exclusivas do projeto curl. Em dezembro último, Seth Larson, do projeto Python, também já tinha alertado para os problemas causados por estes relatórios de "lixo" gerados por IA. Larson destacou que a sua análise é dispendiosa e morosa, pois, à primeira vista, podem parecer legítimos, exigindo uma investigação aprofundada por especialistas antes de se confirmar a sua falsidade.
"Relatórios de segurança que desperdiçam o tempo dos responsáveis pela manutenção resultam em confusão, stress, frustração e, para culminar, um sentimento de isolamento devido à natureza secreta dos relatórios de segurança", escreveu Larson. "Todos estes sentimentos podem agravar o esgotamento de contribuidores provavelmente de alta confiança para projetos de código aberto." Acrescentou ainda: "De muitas formas, estes relatórios de baixa qualidade deveriam ser tratados como se fossem maliciosos. Mesmo que não seja essa a intenção, o resultado são responsáveis esgotados e mais avessos ao trabalho legítimo de segurança."
A decisão de Stenberg de adicionar um filtro para IA nos relatórios da HackerOne surge após anos de frustração. Já em janeiro de 2024, Stenberg tinha levantado a questão, referindo que relatórios feitos com o Google Bard (o antecessor do Gemini), por exemplo, eram "lixo", embora "lixo de melhor qualidade", aludindo ao facto de parecerem mais plausíveis inicialmente, mas que demoram tempo a revelar problemas como as "alucinações" da IA.
Este problema é particularmente prejudicial para projetos de software de código aberto como o curl e o Python, que dependem largamente do trabalho de um pequeno número de especialistas voluntários, muitas vezes não remunerados, para a sua melhoria contínua. Os programadores tendem a ter passagens temporárias por estes projetos, muitas vezes para ajudar a corrigir uma falha que reportaram ou implementar alguma funcionalidade específica, antes de seguirem em frente. Atualmente, o site do curl indica que pelo menos 3.379 pessoas contribuíram individualmente para o projeto desde a sua fundação por Stenberg em 1998.
A corrida às recompensas e a (falta de) qualidade
O curl oferece um programa de recompensas por falhas (bug bounty) que pode atingir os $9.200 (cerca de €8.450 à taxa de câmbio atual) pela descoberta e comunicação de uma vulnerabilidade crítica, tendo já pago $86.000 (aproximadamente €79.100) em recompensas desde 2019.
De acordo com a sua página na HackerOne, o projeto recebeu 24 relatórios nos últimos 90 dias, nenhum dos quais resultou em pagamento. Como Stenberg mencionou, nenhum dos relatórios assistidos por IA nos últimos seis anos descobriu efetivamente uma falha genuína.
As ferramentas de IA generativa permitiram que indivíduos com poucas competências técnicas, mas cientes dos programas de recompensa, submetam rapidamente relatórios baseados em conteúdo gerado por IA, na esperança de conseguirem algum ganho financeiro. No entanto, Stenberg alerta que não são apenas os novatos ou oportunistas a tentar a sua sorte; mesmo indivíduos com alguma reputação na área estão a recorrer a estas práticas.
O relatório que fez transbordar o copo
O incidente que esgotou a paciência do fundador do curl ocorreu há poucos dias e foi um exemplo clássico de submissão gerada por IA. O relatório descrevia "um novo exploit que explora ciclos de dependência de stream na pilha do protocolo HTTP/3, resultando em corrupção de memória e potenciais cenários de negação de serviço ou execução remota de código."
Contudo, após análise, descobriu-se que o relatório se referia a funções inexistentes no código do curl. Stenberg confessou: "O que me enganou por um breve momento foi que soava quase plausível, combinado com o facto de o relator ter, de facto, uma 'reputação' considerável (o que significa que esta pessoa já tinha submetido muitos relatórios anteriores que foram validados como corretos). Além disso, claro, estávamos bastante ocupados durante o dia com a reunião anual 'curl up'."
Nenhum comentário
Seja o primeiro!