A Ollama, popular aplicação que permite executar diferentes modelos de IA em desktop, acaba de receber uma nova atualização, trazendo consigo melhorias para a plataforma e a experiência dos utilizadores.
A nova versão do Ollama 0.2 conta com várias melhorias, mas o grande destaque encontra-se no suporte para pedidos paralelos e a capacidade de executar diferentes modelos ao mesmo tempo.
Com o suporte para vários pedidos ao mesmo tempo, Ollama pode assim enviar vários comandos ao mesmo tempo para os modelos, sem necessitar de memoria adicional para cada um deles. Os utilizadores apenas enviam um pedido, sendo que o processamento feito em segundo plano envia os mesmos de forma paralela.
Esta funcionalidade pode acelerar consideravelmente o processamento de dados pelos modelos no programa.
Além disso, o Ollama agora permite que se possam executar diferentes modelos LLM ao mesmo tempo, o que também pode ter benefícios em diferentes cenários. Dependendo da configuração, pode-se carregar diferentes modelos ao mesmo tempo na memoria, que podem assim ser executados ao mesmo tempo – e que, conjugando com o envio de pedidos em paralelo, pode acelerar consideravelmente as tarefas necessárias nos mesmos.
Nenhum comentário
Seja o primeiro!