A Reuters e a Time decidiram alterar a forma como lidam com a raspagem de dados, bloqueando por predefinição todos os robots de inteligência artificial e permitindo apenas a entrada de ferramentas autorizadas através de uma lista de permissão. Conforme revelado numa publicação do Digiday, esta medida visa ganhar maior controlo sobre os conteúdos editoriais e forçar as empresas tecnológicas a negociar acordos de licenciamento de conteúdos.
A Reuters sublinha que a mudança não prejudicou o seu volume de tráfego e permitiu reduzir os custos operacionais com servidores. Adicionalmente, o atrito criado por estas barreiras técnicas tem funcionado como um forte incentivo para empurrar as tecnológicas rumo a negociações formais.
Listas de bloqueio tradicionais deixaram de ser suficientes
A estratégia anterior baseada puramente no ficheiro robots.txt revelou-se ineficaz, uma vez que depende inteiramente da conformidade voluntária dos controladores dos rastejadores. Dados de um relatório da Tollbit indicam que cerca de 30% das recolhas feitas por sistemas de inteligência artificial ignoram as restrições explícitas desse ficheiro. Ao adotar o modelo de negação por predefinição, os editores garantem que os rastejadores paguem pelos recursos necessários para contornar os bloqueios.
Esta transição para uma lista de permissão estrita expandiu significativamente o volume de ameaças travadas. A People Inc., que adotou uma configuração semelhante no último ano juntamente com o The Atlantic, viu o número de agentes de utilizador bloqueados disparar de 2100 para mais de 30 000. Tendência semelhante foi espelhada em janeiro por uma análise da BuzzStream, revelando que 79% dos principais meios de comunicação social barram pelo menos um robot de treino. No Reino Unido, novas regras exige que a Google dê a opção aos sites de rejeitarem a inclusão em ferramentas de pesquisa avançadas.
O critério da Reuters para autorizar ligações
A escolha de quem pode aceder aos dados passou a depender estritamente de uma troca justa de valor. Segundo Josh London, diretor da Reuters Professional, um robot só obtém autorização se oferecer contrapartidas claras distribuídas por quatro vertentes: pagamento direto através de licenciamento, direcionamento de tráfego de referência, apoio à manutenção do site ou suporte à monetização.
O resultado prático é visível no ficheiro robots.txt em tempo real da Reuters. A plataforma apresenta uma lista exclusiva de rastejadores aprovados, onde figuram apenas a Amazon, a Bing/Microsoft, a Yahoo, a Google e a OpenAI. Todas as outras entidades automatizadas estão impedidas de aceder à maioria das secções do portal.
Para ganhar escala nesta postura defensiva, vários meios de comunicação juntaram-se na Coligação SPUR, que expandiu para 36 organizações com o objetivo de estabelecer normas unificadas de licenciamento. Contudo, o desfecho deste modelo permanece incerto para os pequenos editores, que enfrentam a perda de visibilidade nos motores de busca sem possuírem a influência necessária para atrair as grandes tecnológicas para contratos de pagamento.
Nenhum comentário
Seja o primeiro!