Das neueste Release von llama.cpp, Build b10075, bringt eine wichtige Erweiterung für Nutzer von Geräten mit Qualcomm-Hexagon-DSPs: die Unterstützung der CLAMP-Operation. Diese mathematische Operation – im Kern das Begrenzen von Werten auf einen vorgegebenen Bereich – wird in vielen Modellen für Quantisierung und als Aktivierungsfunktion eingesetzt. Durch die hardwarenahe Implementierung auf dem Hexagon-DSP werden Inferenzen auf Snapdragon-basierten Smartphones, Tablets und Embedded-Systemen spürbar beschleunigt. Wer also seine KI-Modelle lokal auf solchen Geräten betreibt, profitiert von kürzeren Ladezeiten und einer effizienteren Ressourcennutzung.
Wie gewohnt liefert das llama.cpp-Team auch diesmal vorkompilierte Binaries für alle gängigen Plattformen mit – von macOS (arm64 und x64) über diverse Linux-Varianten (Ubuntu, openEuler) und Windows bis hin zu Android. Dabei werden zahlreiche Backends wie CUDA, Vulkan, ROCm, OpenVINO und SYCL unterstützt, sodass für nahezu jede Hardwarekonfiguration ein passendes Paket bereitsteht. Die vollständige Liste aller Download-Links findet sich wie immer auf der offiziellen Release-Seite auf GitHub.
