assisted generation

Esta actualización resuelve varios inconvenientes que aparecieron tras la integración del modelo Inkling. El problema más notable afectaba a los modelos que utilizan EncoderDecoderCache durante la generación asistida, causando fallos en el proceso. Asimismo, se corrigió un error que podía surgir durante la etapa de precarga (prefill) al emplear StaticCache y sdpa sin relleno en […]