llama.cpp: Build b10159 adiciona kernel FWHT para Metal e renova builds para diversas plataformas

imagem 41

Uma nova versão do llama.cpp, identificada como build b10159, foi disponibilizada, trazendo uma importante adição: a inclusão de um kernel FWHT (Fast Walsh-Hadamard Transform) para o backend Metal. Esse aprimoramento visa acelerar o processamento em dispositivos Apple com suporte a Metal, beneficiando diretamente usuários de macOS e iOS. O desenvolvimento contou com contribuições da comunidade, incluindo YiChen Lv e Georgi Gerganov, garantindo maior eficiência e correções de forma.

Além da novidade no backend, o release oferece uma ampla gama de builds pré-compiladas para diversos sistemas operacionais e hardwares. Para macOS, estão disponíveis versões para Apple Silicon (arm64) e Intel (x64), bem como um XCFramework para iOS. No Linux, os binários contemplam Ubuntu x64 e arm64 (CPU), além de variantes com aceleração Vulkan, ROCm 7.2, OpenVINO e SYCL (FP32 e FP16). Também foram publicadas builds para Ubuntu s390x (CPU). Para Android, há um pacote arm64 otimizado para CPU.

No ambiente Windows, os usuários encontram builds para x64 e arm64 (CPU), com suporte adicional a OpenCL Adreno, CUDA 12.4 e 13.3 (com DLLs correspondentes), Vulkan, OpenVINO, SYCL e HIP. A versão para openEuler, que anteriormente gerava pacotes específicos para arquiteturas x86 e aarch64 com aceleradores como 310p e 910b via ACL Graph, foi desabilitada nesta build. Uma interface de usuário (UI) também é distribuída separadamente. Todos os arquivos podem ser acessados no site oficial do projeto: https://llama.app.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *