Backend Metal do llama.cpp agora suporta f16 para leaky ReLU
O projeto llama.cpp acaba de receber uma atualização importante para quem utiliza dispositivos Apple: o backend Metal ganhou suporte ao tipo f16 (ponto flutuante de 16 bits) na operação leaky ReLU. Essa mudança permite que os cálculos sejam realizados com menor precisão numérica, mas com ganhos expressivos em consumo de memória e velocidade, algo especialmente […]
Backend Metal do llama.cpp agora suporta f16 para leaky ReLU Read More »