Metal backend

Llama.cpp Build b10159 mit neuem FWHT-Kernel für Metal veröffentlicht Die neueste Build b10159 des llama.cpp-Projekts führt einen speziellen FWHT-Kernel für das Metal-Backend ein. Die schnelle Walsh-Hadamard-Transformation (FWHT) wird nun direkt auf Apple-GPUs beschleunigt, was die Inferenzgeschwindigkeit für selbst gehostete Sprachmodelle auf macOS- und iOS-Geräten spürbar verbessern kann. Diese Optimierung ist vor allem für rechenintensive Operationen […]