A relação entre os proprietários de websites e a Inteligência Artificial está a passar por uma transformação profunda e estratégica. Uma nova análise abrangente, que examinou uns impressionantes 66 mil milhões de pedidos de bots em mais de 5 milhões de sites, revela que a web está a dividir-se em duas realidades distintas. Enquanto os bots dedicados ao treino de modelos de linguagem (LLMs) estão a perder acesso a uma velocidade vertiginosa, os assistentes de IA que alimentam ferramentas de pesquisa estão a expandir o seu alcance.
Os dados, provenientes de registos de servidor anonimizados e analisados pela Hostinger, mostram que os administradores de sites estão cada vez mais seletivos sobre quem (ou o quê) deixam entrar nas suas propriedades digitais. A tendência é clara: se o bot serve apenas para recolher dados sem oferecer nada em troca, a porta está a fechar-se; se traz tráfego ou visibilidade, é bem-vindo.
O declínio dos bots de treino
O número mais chocante deste estudo envolve o GPTBot, o crawler da OpenAI utilizado especificamente para recolher dados para o treino dos seus modelos. Durante o período analisado, a cobertura deste bot na web caiu drasticamente de 84% para apenas 12%. Isto significa que a grande maioria dos sites decidiu bloquear ativamente o acesso a esta ferramenta.
Outro gigante nesta categoria, o ExternalAgent da Meta, que foi identificado como o maior crawler da categoria de treino em termos de volume de pedidos, também registou quedas acentuadas. Estes números validam uma tendência que se tem vindo a desenhar ao longo do último ano: os editores e donos de sites não estão dispostos a ceder o seu conteúdo gratuitamente para treinar modelos comerciais sem receberem tráfego ou compensação em troca. O estudo nota que estes bloqueios estão a acontecer mesmo quando o volume de tentativas de acesso por parte destes bots permanece elevado, o que pode aumentar os custos de largura de banda para os sites sem qualquer retorno.
Assistentes de pesquisa ganham privilégios
Em contraste absoluto com os bots de treino, os chamados "bots assistentes" — aqueles que procuram conteúdo para responder a perguntas específicas dos utilizadores em tempo real — estão a ver a sua aceitação crescer. O OAI-SearchBot, responsável por alimentar a funcionalidade de pesquisa do ChatGPT, alcançou uma cobertura média de 55,67%. Outros exemplos incluem o bot do TikTok, que cresceu para 25,67% de cobertura com 1,4 mil milhões de pedidos, e o bot da Apple, que chegou aos 24,33%.
A diferença de tratamento explica-se pela função: estes bots são geralmente ativados por uma ação do utilizador e têm o potencial de gerar cliques e visibilidade para a fonte da informação, funcionando de forma mais semelhante aos motores de busca tradicionais.
Falando em tradição, os crawlers clássicos mantiveram-se estáveis. O Google (Googlebot) manteve uma cobertura média de 72% com 14,7 mil milhões de pedidos, e o Bingbot ficou pelos 57,67%. Já as ferramentas de SEO, como o Ahrefs, viram a sua cobertura diminuir, em parte porque consomem muitos recursos dos servidores e os proprietários de sites estão a tornar-se mais rigorosos na gestão do tráfego não humano. A recomendação para o futuro passa por uma abordagem equilibrada: bloquear os bots que apenas consomem recursos para treino, mas permitir o acesso àqueles que impulsionam a descoberta e o tráfego.
Nenhum comentário
Seja o primeiro!