Die Version 5.17.0 der Transformers-Bibliothek bringt eine Reihe neuer Modellintegrationen und Optimierungen mit sich. Dazu gehören hybride Architekturen wie HYV4, ein Mixture-of-Experts-Modell mit 780 Milliarden Parametern und einem Kontextfenster von einer Million Token, sowie VibeVoice, ein Framework für die Synthese hochwertiger, langer Sprachaufnahmen mit mehreren Sprechern. Weitere Neuzugänge sind NeoMME (effiziente multimodale Encoder mit 260 bzw. 800 Millionen Parametern), Fun-ASR-Nano (ein 800-Millionen-Parameter-Modell für Spracherkennung in Chinesisch, Englisch und Japanisch), KimiLinear (eine hybride lineare Aufmerksamkeitsarchitektur), Canary (ein robustes Modell für Spracherkennung und Übersetzung) und NeuCodec (ein neuronaler Audio-Codec mit niedriger Bitrate).
Für Nutzer, die Modelle selbst hosten, bringt diese Version wichtige Verbesserungen bei der Leistung und Stabilität. Die Generierung wurde optimiert, indem überflüssige Synchronisierungen pro Decodierschritt vermieden werden und ein Fehler behoben wurde, der unnötige Downloads aus dem Hub verursachte. Auch im Cache-Management, bei den Kernen (Kernels) und bei der Quantisierung wurden zahlreiche Fehler korrigiert. Eine Breaking Change betrifft die Vereinheitlichung der 2D/3D-Rotations-Embeddings für Vision-Modelle – wer eigene Vision-Modelle mit spezieller RoPE-Logik verwendet, muss auf das neue zentrale Modul migrieren.
Darüber hinaus enthält das Release viele weitere Bugfixes und Verbesserungen für verschiedene Modelle, Pipelines und Trainingsabläufe, darunter Korrekturen für Gradient-Checkpointing, Continuous Batching, Tokenisierung und Export-Tests. Die Community hat erheblich zu dieser Version beigetragen; die Änderungen reichen von neuen Modellimplementierungen bis hin zu Infrastrukturverbesserungen. Ein Update auf v5.17.0 wird allen Self-Hosting-Nutzern empfohlen, um von den neuen Modellen und den Stabilitätsverbesserungen zu profitieren.
