Die neueste Version von llama.cpp, Build b10176, bringt eine praktische Erweiterung für das Remote Procedure Call (RPC)-System: den Befehl tensor_memset. Damit lassen sich Tensoren im verteilten Inferenzbetrieb effizient mit einem bestimmten Wert initialisieren oder zurücksetzen – ein hilfreiches Werkzeug für alle, die große Modelle selbst hosten und mehrere Rechenknoten einsetzen.
Neben diesem internen Feature stehen wieder vorgefertigte Binärpakete für eine Vielzahl von Systemen zur Verfügung. Besuchen Sie die llama.app-Website für weitere Informationen und die grafische Oberfläche.
macOS & iOS: Für Apple-Geräte gibt es Pakete für Apple Silicon (arm64), eine Apple Silicon-Variante mit KleidiAI (deaktiviert), Intel (x64) sowie das iOS XCFramework.
Linux: Unter Linux sind zahlreiche Konfigurationen abgedeckt: Ubuntu x64 (CPU), Ubuntu arm64 (CPU), Ubuntu s390x (CPU), Vulkan auf x64, Vulkan auf arm64, ROCm 7.2 (x64), OpenVINO (x64), sowie SYCL in den Varianten FP32 und FP16.
Windows: Windows-Anwender können zwischen CPU-Builds (x64 und arm64), OpenCL für Adreno (arm64), CUDA-Beschleunigung (CUDA 12 mit separaten DLLs, CUDA 13 mit DLLs), Vulkan, OpenVINO, SYCL und HIP wählen.
Android: Ein arm64-CPU-Paket für Android ist ebenfalls verfügbar.
openEuler: Die openEuler-Builds sind derzeit deaktiviert und umfassen x86 (310p), x86 (910b, ACL Graph), aarch64 (310p) und aarch64 (910b, ACL Graph).
Die grafische Benutzeroberfläche können Sie separat herunterladen.
