Wir freuen uns, die Veröffentlichung der Version 5.16.1 von Transformers bekannt zu geben. Dieses Release bringt eine wichtige Neuerung: die Unterstützung für GLM-5.3-Flash, das erste nativ multimodale Modell der GLM-5-Serie. Zusätzlich gibt es einige kleinere Korrekturen.
GLM-5.3-Flash
GLM-5.3-Flash ist das erste nativ multimodale Modell der GLM-5-Serie. Mit insgesamt 320 Milliarden Parametern und nur 18 Milliarden aktiven Parametern übertrifft es GLM-5.2 in Benchmarks und realen Arbeitslasten – und das zu einem Zehntel des Preises. Gleichzeitig nähert es sich bei Coding- und agentenbasierten Benchmarks dem Niveau von Claude Opus 4.8 an.
Das Modell basiert auf einem neu trainierten Basismodell, dessen Architektur und Trainingsrezept im Hinblick auf Leistungsfähigkeit und Effizienz neu gestaltet wurden. Erstmals kommt in der GLM-Serie eine hybride Architektur zum Einsatz, die spärliche und lineare Aufmerksamkeit kombiniert. Dadurch werden die Kosten für die Verarbeitung langer Kontexte deutlich gesenkt, während die präzisen Fähigkeiten bei langen Kontexten erhalten bleiben. Zusätzlich verwendet das Modell Manifold-Constrained Hyper-Connections (mHC), um die Skalierungseffizienz weiter zu verbessern. Zusammen mit unserem neuesten multimodalen Vortrainingskorpus von 30 Billionen Token ermöglichen diese Änderungen, dass GLM-5.3-Flash mehr Intelligenz mit weniger Rechenaufwand liefert.
Kleinere Korrekturen
Neben der neuen Modellunterstützung enthält dieses Release zwei kleinere Korrekturen. Zum einen wurde die Abwärtskompatibilität für die Tensor-Parallel-API wiederhergestellt, um bestehende Integrationen nicht zu beeinträchtigen. Zum anderen wurde ein Problem mit den Kernel-Commit- und Repository-Pfaden für ESMFold2 behoben, was insbesondere die Sicherheit verbessert.
Das vollständige Änderungsprotokoll finden Sie zwischen v5.16.0 und v5.16.1.
