Ollama v0.40.17-rc0: melhorias no CLI, suporte a GPUs Vulkan integradas e geração concorrente no MLX

imagem 3

A nova versão de pré-lançamento do Ollama, v0.40.17-rc0, traz uma série de aprimoramentos focados em estabilidade, desempenho e integração com ferramentas de desenvolvimento. Para quem usa o Ollama em um ambiente self-hosted, essas mudanças devem melhorar a experiência geral.

Entre os destaques está a melhoria no comando de linha do ChatGPT CLI, com restauração e reinicialização mais suaves, além do uso de metadados de “thinking” para ajustar as configurações do OpenCode. Isso significa que usuários que dependem dessas integrações terão menos interrupções e maior consistência.

No lado do desempenho, o Ollama agora utiliza mapeamento de memória (mmap) para GPUs integradas Vulkan, o que pode reduzir o consumo de memória e melhorar a eficiência. A versão também adiciona suporte a geração concorrente no MLX, permitindo que múltiplas solicitações sejam processadas simultaneamente no hardware da Apple. Além disso, as bibliotecas llama.cpp e MLX/MLX-C foram atualizadas para versões mais recentes, trazendo correções e otimizações subjacentes.

Por fim, esta atualização dá as boas-vindas a um novo colaborador, que fez sua primeira contribuição ao projeto. O changelog completo está disponível no repositório oficial.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *