f16

In einer aktuellen Erweiterung des llama.cpp-Projekts wurde die Metal-Integration um die Unterstützung des f16-Datentyps für die Leaky-ReLU-Aktivierungsfunktion ergänzt. Bisher wurde diese Operation ausschließlich mit voller 32-Bit-Genauigkeit (f32) ausgeführt. Mit der Einführung von halbgenauen Gleitkommazahlen (float16) profitieren Nutzer von Apple-Silicon-Geräten nun von einer spürbar verbesserten Inferenzleistung und einem geringeren Speicherbedarf, sofern ihre Modelle Leaky ReLU enthalten. […]