Um dos maiores desafios da Inteligência Artificial (IA) moderna é o chamado "esquecimento catastrófico". Simplificando, é a tendência que um modelo de IA tem para perder conhecimento prévio sempre que é atualizado com nova informação ou aprende uma nova competência. Para resolver este entrave, a Google Research desenvolveu uma nova técnica de machine learning: o "Nested Learning" (Aprendizagem Aninhada).
Uma IA inspirada na neuroplasticidade
A Google explica que o Nested Learning representa uma mudança de paradigma na forma como os modelos de IA são construídos e otimizados. Tradicionalmente, a arquitetura do modelo e o seu algoritmo de otimização são vistos como entidades separadas. A nova abordagem, no entanto, trata-os como um só elemento.
A inspiração vem diretamente do cérebro humano. O Nested Learning trata os modelos de IA como uma série de problemas de otimização mais pequenos, interligados e "aninhados". Crucialmente, cada um destes sub-problemas pode aprender e atualizar o seu conhecimento a um ritmo específico, numa técnica designada como "atualizações em múltiplas escalas de tempo".
Este processo simula a neuroplasticidade do cérebro humano, onde diferentes partes se adaptam a novas experiências sem apagar memórias antigas. Em vez de o modelo de IA se atualizar uniformemente e "limpar" o que sabia antes, o Nested Learning permite um sistema dinâmico e em camadas que retém o conhecimento antigo enquanto adquire novo.
"Hope": O protótipo que não se esquece
Para validar estes princípios, a Google Research desenhou um modelo de prova de conceito chamado "Hope". Trata-se de uma arquitetura recorrente auto-modificável, capaz de otimizar a sua própria memória.
O Hope utiliza o que os investigadores chamam de "Sistemas de Memória Contínua" (Continuum Memory Systems). Este conceito abandona a ideia tradicional de dividir a memória em "curto prazo" e "longo prazo". Em vez disso, trata a memória como um espectro de módulos em camadas, onde cada um é atualizado com a sua própria frequência. Segundo a Google, isto permite ao modelo gerir e reter mais dados ao longo do tempo, de forma mais rica e organizada.
Um futuro promissor para o Google Gemini
Nos testes, o Hope demonstrou ser capaz de superar consistentemente os modelos de última geração (state-of-the-art) em desafios de memória de longo contexto. Um exemplo são as tarefas "Needle-In-Haystack" (literalmente, agulha num palheiro), onde o modelo tem de recordar um detalhe específico escondido num documento de grandes dimensões.
Além disso, o Hope revelou-se mais preciso e eficiente na modelação de linguagem geral. A Google descreve esta abordagem como uma fundação robusta para ligar os atuais LLMs e a sua natureza "esquecida" ao funcionamento do cérebro humano.
Espera-se que estas melhorias venham a ser integradas em futuras versões do Google Gemini. No entanto, a gigante tecnológica não partilhou qualquer cronograma sobre quando esta nova capacidade de aprendizagem contínua poderá chegar ao seu principal modelo de IA.
Nenhum comentário
Seja o primeiro!