Die neueste Entwicklerversion von llama.cpp, Build b10240, bringt eine bedeutende Ankündigung für Betreiber selbst gehosteter Server mit: Der standardmäßig verwendete Port wird sich in Kürze von 8080 auf 9931 ändern. Um Nutzer darauf vorzubereiten, haben die Entwickler einen sichtbaren Hinweis integriert. Noch bleibt der Port bei 8080, doch schon bald wird der Wechsel vollzogen – eine wichtige Information für alle, die llama.cpp über den eingebauten HTTP-Server nutzen.
Zusätzlich stehen wie gewohnt vorkompilierte Binaries für eine Vielzahl von Plattformen zum Download bereit. Nachfolgend eine vollständige Übersicht aller angebotenen Pakete für diesen Build.
Download-Übersicht
Website
Die offizielle Webanwendung: https://llama.app
macOS / iOS
- macOS Apple Silicon (arm64)
- macOS Apple Silicon (arm64, KleidiAI enabled) – derzeit deaktiviert
- macOS Intel (x64)
- iOS XCFramework
Linux
- Ubuntu x64 (CPU)
- Ubuntu arm64 (CPU)
- Ubuntu s390x (CPU)
- Ubuntu x64 (Vulkan)
- Ubuntu arm64 (Vulkan)
- Ubuntu x64 (ROCm 7.2)
- Ubuntu x64 (OpenVINO)
- Ubuntu x64 (SYCL FP32)
- Ubuntu x64 (SYCL FP16)
Android
Windows
- Windows x64 (CPU)
- Windows arm64 (CPU)
- Windows arm64 (OpenCL Adreno)
- Windows x64 (CUDA 12) – CUDA 12.4 DLLs
- Windows x64 (CUDA 13) – CUDA 13.3 DLLs
- Windows x64 (Vulkan)
- Windows x64 (OpenVINO)
- Windows x64 (SYCL)
- Windows x64 (HIP)
openEuler
Die openEuler-Builds sind in dieser Version nicht verfügbar. Folgende Varianten waren ursprünglich geplant:
- openEuler x86 (310p)
- openEuler x86 (910b, ACL Graph)
- openEuler aarch64 (310p)
- openEuler aarch64 (910b, ACL Graph)
