A empresa chinesa de inteligência artificial DeepSeek lançou uma atualização significativa para o seu modelo otimizado de custos e latência, apresentando o novo DeepSeek V4.1 Flash. Segundo dados avançados pelo The Register, a nova versão atinge os 763 mil milhões de parâmetros, o que representa um aumento superior a 2,5 vezes face ao modelo antecedente, ultrapassando a dimensão dos modelos V3 e R1 lançados no início de 2025.
Apesar do elevado número de parâmetros, o DeepSeek V4.1 Flash destaca-se por exigir menos recursos de memória GPU do que seria esperado para o seu tamanho. O desenvolvimento incluiu alterações na arquitetura, nomeadamente na gestão do armazenamento temporário de chave-valor (KV cache) utilizado para acompanhar o estado do sistema em múltiplas sessões simultâneas.
Otimização da memória de contexto e codificador causal
As melhorias nos mecanismos de atenção e a introdução de um novo codificador-descodificador causal (CED) permitiram otimizar o processamento de pedidos. Estas alterações reduziram o consumo da memória KV cache para valores entre 13% e 25% dos requisitos do DeepSeek V4 Flash original. Na prática, esta otimização permite suportar entre quatro a oito vezes mais utilizadores em simultâneo com a mesma pegada de memória.
Além disso, a arquitetura introduziu um conceito de separação entre memória e processamento através de um módulo de memória condicional. Dos 763 mil milhões de parâmetros totais do modelo, 196 mil milhões correspondem a parâmetros N-gram.
Utilização de parâmetros N-gram e transferência de dados
A abordagem com parâmetros N-gram funciona de forma semelhante ao conceito de associação de palavras ou frases. Em vez de calcular todas as probabilidades da forma tradicional, os pesos N-gram funcionam como fontes de conhecimento implícito e memória integrada. Esta estrutura opera como uma tabela de consulta rápida baseada em hashes e vetores, permitindo aceder a informação relevante de forma imediata.
Durante a execução, estes 196 mil milhões de parâmetros N-gram complementam os 8 mil milhões de parâmetros ativos que o modelo utiliza para processar cada pedido. A grande vantagem técnica reside no facto de estes pesos N-gram não necessitarem de ser carregados na totalidade na memória da GPU durante a geração de cada elemento. Em vez disso, podem ser transferidos para a memória RAM do sistema ou para armazenamento de alta velocidade.
Esta transferência reduz significativamente os requisitos de hardware. Um modelo com a precisão FP8 com esta dimensão exigiria, no mínimo, 763 GB de memória na GPU. Com a transferência dos parâmetros N-gram para a RAM, a exigência de memória dedicada na GPU desce para cerca de 567 GB, sem contabilizar as necessidades adicionais de contexto em ambientes de produção.
Tendência na eficiência dos modelos de linguagem
A utilização de parâmetros N-gram para tornar a execução de modelos de inteligência artificial mais leve está a ser adotada por várias empresas do setor. A equipa da Google responsável pelo Gemma já tinha explorado abordagens semelhantes com a tecnologia Per-Layer Embedding (PLE) para permitir a execução de modelos em dispositivos com limitações de largura de banda e capacidade de processamento.
Do mesmo modo, a Alibaba revelou recentemente o modelo experimental Qwen 3.8-Flash-Next, um sistema de 180 mil milhões de parâmetros que integra um conjunto de 51 mil milhões de parâmetros N-gram. A tecnológica chinesa confirmou que esta base arquitetural servirá de fundação para a próxima geração de modelos Qwen 4.
Nenhum comentário
Seja o primeiro!