Mejora en la comunicación remota con tensor_memset
La versión b10176 de llama.cpp introduce una adición significativa al módulo de RPC: la función tensor_memset. Esta permite inicializar de forma eficiente la memoria de los tensores durante las llamadas a procedimientos remotos, lo que resulta especialmente valioso para quienes despliegan modelos en entornos autogestionados con cargas distribuidas. Al evitar operaciones redundantes, se optimiza el rendimiento y se reduce la latencia en la transmisión de datos entre procesos.
Binarios disponibles para múltiples plataformas
Esta entrega incluye paquetes precompilados para una amplia variedad de sistemas. En macOS, se ofrecen versiones para Apple Silicon (arm64) y para Intel (x64); además, está disponible el XCFramework para iOS. Cabe destacar que la variante de Apple Silicon con KleidiAI permanece deshabilitada. Para Linux, los binarios cubren Ubuntu x64, arm64 y s390x en CPU, así como opciones con aceleración Vulkan, ROCm 7.2, OpenVINO y SYCL (tanto FP32 como FP16). Los usuarios de Android cuentan con una versión arm64 para CPU. En Windows, la oferta es aún más extensa: ejecutables para x64 y arm64 en CPU, OpenCL para Adreno en arm64, CUDA 12.4 y 13.3 (con las DLLs correspondientes), Vulkan, OpenVINO, SYCL e HIP. Para openEuler, las compilaciones están temporalmente desactivadas, aunque se contemplaban sabores para x86 y aarch64 con aceleradores 310p y 910b mediante ACL Graph. Adicionalmente, se suministra un paquete de interfaz de usuario (UI) y un enlace al sitio web del proyecto.
