A falta de memória de hardware não é o único problema da tecnologia atual, visto que a memória de contexto dos modelos de inteligência artificial também se tornou um obstáculo de peso. Para responder a este desafio, conforme detalhado pelo The Register, a Cloudflare desenvolveu o Agent Memory. Trata-se de um serviço gerido que extrai o contexto das conversas quando o espaço escasseia e volta a injetar os dados exatos apenas quando são estritamente necessários.
Os modelos de inteligência artificial suportam um limite máximo de entrada de dados, medido em tokens. Segundo os responsáveis da engenharia da empresa, esta novidade confere aos agentes uma memória persistente, permitindo que recordem a informação crucial, descartem o que é irrelevante e se tornem mais precisos ao longo do tempo.
O desafio do limite de tokens
Atualmente, a janela de contexto varia drasticamente consoante o modelo utilizado. O Claude Opus 4.7 da Anthropic, por exemplo, suporta cerca de um milhão de tokens, o que se traduz em aproximadamente 555 mil palavras. Já a família Gemma 4 da Google apresenta limites que oscilam entre os 128 mil e os 256 mil tokens, dependendo do tamanho da versão.
Embora estes números pareçam generosos para introduzir comandos normais, a verdade é que os bastidores de cada interação consomem uma grande fatia do espaço. Instruções de sistema, agentes personalizados, ficheiros de memória e outras definições ocultas podem roubar até 20% do espaço útil da janela de contexto.
Ao guardar as respostas e interações como memórias externas, o sistema liberta o espaço precioso do modelo principal. Curiosamente, os especialistas notam que fornecer menos contexto a um modelo pode até resultar em respostas de melhor qualidade, tornando esta gestão de memória duplamente benéfica. Em vez de entupir a operação com histórico passado irrelevante, o processo extrai e fornece apenas os detalhes que realmente importam para aquela interação específica.
Controlo de dados e disponibilidade
A empresa argumenta que ferramentas baseadas em inteligência artificial que operam durante semanas seguidas precisam de uma memória que se mantenha útil à medida que cresce, assegurando um custo razoável por pedido e sem provocar atrasos na interação com o utilizador. O funcionamento assemelha-se a uma operação de base de dados, onde o sistema regista uma preferência do utilizador num momento e a pode recuperar através de um comando direto muito mais tarde.
O acesso ao Agent Memory pode ser realizado de forma nativa através da infraestrutura de Workers da empresa ou através de uma simples API REST, abrindo as portas a programadores externos a este ecossistema. A ferramenta encontra-se atualmente em fase beta privada, mas os criadores já deixaram uma garantia importante sobre a privacidade de quem a utilizar: a informação recolhida pertence exclusivamente ao cliente. Todas as memórias gravadas são exportáveis, garantindo que o conhecimento acumulado ao longo de meses não fica refém de uma única plataforma caso a empresa decida migrar as suas operações.
Nenhum comentário
Seja o primeiro!