Die neue Version b10189 von llama.cpp bringt eine gezielte Verbesserung für Apple-Silicon-Systeme. Eine bisher verwendete, speziell für die CPU optimierte Operation wurde aus dem M3-Grafen entfernt und durch Standardoperationen ersetzt. Dadurch wird die Codebasis schlanker und die langfristige Wartbarkeit erhöht – ein bedeutender Schritt für alle, die llama.cpp selbst hosten oder auf M3-Prozessoren betreiben.
Wie gewohnt stellt das Release vorkompilierte Binärpakete für eine Vielzahl von Plattformen bereit: macOS (Apple Silicon und Intel), Linux (verschiedene Architekturen inklusive Vulkan-, ROCm-, OpenVINO- und SYCL-Backends), Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, HIP), Android (arm64 CPU) sowie ein XCFramework für iOS. Auch die Benutzeroberfläche (UI) ist separat verfügbar. Anwender profitieren von einer einfachen Installation ohne eigene Kompilierung und können sofort mit den neuesten Optimierungen arbeiten.
Durch den Verzicht auf die benutzerdefinierte Operation wird die Kompatibilität mit zukünftigen Entwicklungen im Ökosystem der Apple GPUs sichergestellt. Nutzer, die llama.cpp lokal einsetzen, können das Update bedenkenlos durchführen, da sich an der Funktionalität nichts ändert – es handelt sich um eine rein technische Verfeinerung im Hintergrund.
