Neue Modelle
Die Version 5.15.0 bringt mehrere neue Modelle. Hervorzuheben ist Meta Muse Glimmer, ein multimodales 30B-Modell unter Apache-2.0-Lizenz, das speziell für agentengestützte Anwendungen entwickelt wurde. Es besteht aus einem 2B-ViT-Bildencoder und einem 28B-Textdecoder. Ebenfalls neu sind die Granite-Modelle (granite-swa und granitemoe-swa) sowie die koreanischen Modelle A.X-K1 und A.X-K2. Für Videoverarbeitung wurde Cosmos3 Edge hinzugefügt.
Wichtige Änderungen (Breaking Changes)
Mehrere Verhaltensänderungen erfordern Anpassungen: Kernel für lineare Aufmerksamkeitsmodelle (Mamba, GDN etc.) sind jetzt opt-in – wer bisher auf automatische Kernel-Auswahl vertraute, muss sie explizit aktivieren. Die Cache-Cropping-API akzeptiert nun nur noch negative Werte (relative Offsets). Für T5 und verwandte Modelle wurde SDPA standardmäßig aktiviert; bei Problemen kann mit attn_implementation="eager" auf das alte Verhalten zurückgeschaltet werden. Zudem wurden mehrere private Hilfsfunktionen aus multimodalen Processoren entfernt.
Weitere Verbesserungen
Die Aufmerksamkeitsmechanismen wurden optimiert, darunter Fixes für Multi-Head Latent Attention (MLA), Flash-Attention-Berechnungen in Vision-Modellen und SDPA-Prefill. Im Bereich Bildverarbeitung gibt es schnellere Vorverarbeitung, Korrekturen in Kosmos2, Phi4Multimodal und Hunyuan-VL. Bei der Generierung wurde batched Audio für Qwen2.5/3-Omni ermöglicht, Speicherlecks durch statische Caches behoben und diverse Modell-spezifische Abstürze gefixt. Die Cache- und Kernel-Integration wurde stabilisiert, und in Quantisierung gibt es nun FP8-Unterstützung für komprimierte Tensoren sowie XPU-Erweiterungen. Audio-Modelle erhielten Fehlerbehebungen und VibeVoice unterstützt optionale Audioeingaben. Die Parallelisierung wurde durch FSDP-Pläne für 94 Modellklassen und verteilte Tests ausgebaut. In der Tokenisierung wird nun das „tekken“-Format von Mistral nativ unterstützt, und ein ReDoS-Problem wurde behoben. Auch der Serve-Chat-Parser wurde vereinheitlicht.
Community-Beiträge
Besonderer Dank gilt den aktiven Community-Mitgliedern, die mit zahlreichen Pull Requests zu Tests, CI-Verbesserungen, neuen Modellen und Fehlerbehebungen beigetragen haben. Namentlich hervorzuheben sind @ydshieh, @kaixuanliu, @vasqu, @kmswin1, @remi-or, @juliendenize, @IMvision12, @jiqing-feng, @tarekziade, @daviswer und @atharvajoshi10 – stellvertretend für viele weitere.
