llama.cpp-Build b10075: Neue CLAMP-Operation für Hexagon-DSPs und frische Binaries für alle Plattformen
Das neueste Release von llama.cpp, Build b10075, bringt eine wichtige Erweiterung für Nutzer von Geräten mit Qualcomm-Hexagon-DSPs: die Unterstützung der CLAMP-Operation. Diese mathematische Operation – im Kern das Begrenzen von Werten auf einen vorgegebenen Bereich – wird in vielen Modellen für Quantisierung und als Aktivierungsfunktion eingesetzt. Durch die hardwarenahe Implementierung auf dem Hexagon-DSP werden Inferenzen […]






