O Ollama registou recentemente uma melhoria significativa de desempenho nos computadores da Apple, graças à integração direta com a framework de aprendizagem automática MLX. De acordo com a publicação no blogue oficial do Ollama, esta atualização tira partido da arquitetura de memória unificada da fabricante, resultando numa maior rapidez na execução de grandes modelos de linguagem (LLMs) em hardware Mac.
Ganhos de velocidade nos chips M5
Embora a otimização beneficie todo o ecossistema Apple Silicon, os utilizadores com os processadores mais recentes M5, M5 Pro e M5 Max vão notar as maiores diferenças. A integração com os aceleradores neurais da GPU reduz o tempo necessário para gerar o primeiro token e aumenta a velocidade de resposta geral. Este ganho de desempenho torna a utilização de assistentes pessoais e agentes de programação integrados, como o OpenClaw, Claude Code, OpenAI Codex e OpenCode no macOS, consideravelmente mais fluida.
Suporte para formatos da NVIDIA e novo sistema de cache
Para além das otimizações focadas no ambiente da marca da maçã, a ferramenta adicionou também suporte para o formato NVFP4 da NVIDIA. Esta característica permite reduzir de forma notória o consumo de memória e o espaço de armazenamento necessário durante as tarefas de inferência, garantindo que não existe qualquer perda na precisão dos modelos. Através desta adição, os programadores conseguem obter resultados consistentes com os ambientes de produção finais e assegurar compatibilidade com o software de otimização da tecnológica.
A acompanhar estas inovações, o sistema de cache da plataforma foi amplamente revisto. O Ollama consegue agora reutilizar dados de cache entre diferentes conversas, o que diminui o consumo de memória e acelera o processamento de pedidos subsequentes. Para fluxos de trabalho ramificados, como a criação de código ou tarefas controladas por agentes, o sistema cria instantâneos inteligentes da cache, o que se traduz em respostas muito mais céleres e numa redução da sobrecarga computacional exigida à máquina.
Nenhum comentário
Seja o primeiro!