KI & Machine Learning

imagem 5

llama.cpp Build b10240: Server-Port wechselt von 8080 auf 9931 – und alle Downloads

Schreibe einen Kommentar / KI & Machine Learning /

Die neueste Entwicklerversion von llama.cpp, Build b10240, bringt eine bedeutende Ankündigung für Betreiber selbst gehosteter Server mit: Der standardmäßig verwendete Port wird sich in Kürze von 8080 auf 9931 ändern. Um Nutzer darauf vorzubereiten, haben die Entwickler einen sichtbaren Hinweis integriert. Noch bleibt der Port bei 8080, doch schon bald wird der Wechsel vollzogen – […]

llama.cpp Build b10240: Server-Port wechselt von 8080 auf 9931 – und alle Downloads Weiterlesen »

imagem 3

Llama.cpp Update: Neuer Qwen3-Parser und Verbesserungen bei Tool Calls

Schreibe einen Kommentar / KI & Machine Learning /

Die neueste Version von llama.cpp bringt wesentliche Verbesserungen für die Chat-Funktionalität, insbesondere für das Qwen3-Modell. Ein neuer, spezialisierter Parser wurde hinzugefügt, der tagged thinking und Werkzeugaufrufe (Tool Calls) optimiert verarbeitet. Konkret wurde ein Parser für getaggte Denkwerkzeuge integriert und die interne Struktur für Permutationen überarbeitet. Die Unterstützung für das Weglassen von -Tags macht die Nutzung

Llama.cpp Update: Neuer Qwen3-Parser und Verbesserungen bei Tool Calls Weiterlesen »

imagem 1

Neues llama.cpp Release: Tool-Aufrufe in der Denkphase für DS4-Modelle aktiviert

Schreibe einen Kommentar / KI & Machine Learning /

Das llama.cpp-Projekt hat eine neue Version veröffentlicht, die eine wichtige Neuerung für Nutzer von DS4-Modellen mit sich bringt: Tool-Aufrufe können nun auch während der Denkphase („Thinking“) des Modells erfolgen. Bisher waren solche Aufrufe von externen Werkzeugen oder APIs nur in der Antwortphase möglich. Diese Erweiterung verbessert die Fähigkeit des Modells, komplexe Aufgaben durch die Einbindung

Neues llama.cpp Release: Tool-Aufrufe in der Denkphase für DS4-Modelle aktiviert Weiterlesen »

imagem 56

LangChain Core 1.5.3: Verbesserte API-Schlüssel-Fallback-Logik für das Gateway

Schreibe einen Kommentar / KI & Machine Learning /

Die neue Version 1.5.3 von LangChain Core bringt eine gezielte Fehlerbehebung mit sich, die insbesondere für selbst gehostete Umgebungen relevant ist. Der Fix adressiert die Gateway-Konfiguration: Nutzer, die den API-Schlüssel über die Umgebungsvariable LANGSMITH_API_KEY setzen, erhalten nun einen verlässlichen Fallback. Bisher konnte es vorkommen, dass der Schlüssel nicht korrekt übernommen wurde, wenn keine explizite Angabe

LangChain Core 1.5.3: Verbesserte API-Schlüssel-Fallback-Logik für das Gateway Weiterlesen »

imagem 55

llama.cpp Build b10203: SYCL-Unterstützung für q2_mul_mat und plattformübergreifende Binärpakete

Schreibe einen Kommentar / KI & Machine Learning /

Das llama.cpp-Team hat Build b10203 veröffentlicht, der eine wichtige Erweiterung für SYCL-Nutzer bringt: Die Unterstützung von q2_0 in der mul_mat-Operation wurde hinzugefügt. Mit diesem Update können Modelle, die auf 2-Bit-Quantisierung basieren, effizienter auf SYCL-kompatiblen GPUs ausgeführt werden, was die Inferenzleistung und den Speicherverbrauch verbessert. Neben dieser Neuerung stehen vorkompilierte Binärpakete für eine Vielzahl von Plattformen

llama.cpp Build b10203: SYCL-Unterstützung für q2_mul_mat und plattformübergreifende Binärpakete Weiterlesen »

imagem 50

llama.cpp Build b10189: Optimierung für M3-Grafikprozessoren und breite Plattformunterstützung

Schreibe einen Kommentar / KI & Machine Learning /

Die neue Version b10189 von llama.cpp bringt eine gezielte Verbesserung für Apple-Silicon-Systeme. Eine bisher verwendete, speziell für die CPU optimierte Operation wurde aus dem M3-Grafen entfernt und durch Standardoperationen ersetzt. Dadurch wird die Codebasis schlanker und die langfristige Wartbarkeit erhöht – ein bedeutender Schritt für alle, die llama.cpp selbst hosten oder auf M3-Prozessoren betreiben. Wie

llama.cpp Build b10189: Optimierung für M3-Grafikprozessoren und breite Plattformunterstützung Weiterlesen »

imagem 46

LangChain Core 1.5.2: Wichtige Fehlerbehebung und Dependency-Aktualisierungen

Schreibe einen Kommentar / KI & Machine Learning /

Das LangChain-Team hat die Version 1.5.2 von langchain-core veröffentlicht. Im Mittelpunkt steht eine entscheidende Fehlerkorrektur: Gateway-Umgebungsvariablen, die einen leeren String enthalten, werden nun zuverlässig erkannt und korrekt verarbeitet. Diese Verbesserung verhindert unerwartete Laufzeitfehler und ist vor allem für selbst gehostete Umgebungen relevant, in denen solche Konstellationen häufiger auftreten können. Zusätzlich wurden mehrere interne Abhängigkeiten auf

LangChain Core 1.5.2: Wichtige Fehlerbehebung und Dependency-Aktualisierungen Weiterlesen »

imagem 45

llama.cpp Build b10176: Neuer RPC-Befehl und plattformübergreifende Binaries

Schreibe einen Kommentar / KI & Machine Learning /

Die neueste Version von llama.cpp, Build b10176, bringt eine praktische Erweiterung für das Remote Procedure Call (RPC)-System: den Befehl tensor_memset. Damit lassen sich Tensoren im verteilten Inferenzbetrieb effizient mit einem bestimmten Wert initialisieren oder zurücksetzen – ein hilfreiches Werkzeug für alle, die große Modelle selbst hosten und mehrere Rechenknoten einsetzen. Neben diesem internen Feature stehen

llama.cpp Build b10176: Neuer RPC-Befehl und plattformübergreifende Binaries Weiterlesen »

imagem 42

LangChain Fireworks 1.5.2: Aktualisierte Modellprofile und Wartungsupdate

Schreibe einen Kommentar / KI & Machine Learning /

LangChain Fireworks 1.5.2 ist jetzt verfügbar Das neueste Update der LangChain Fireworks-Integration, Version 1.5.2, bringt eine Reihe von Wartungsarbeiten mit sich, die vor allem die Modellprofile betreffen. Für selbst gehostete Nutzer bedeutet dies, dass die unterstützten KI-Modelle und deren Konfigurationen auf den neuesten Stand gebracht wurden. Konkret wurden in mehreren Schritten die Modelldaten aktualisiert. Diese

LangChain Fireworks 1.5.2: Aktualisierte Modellprofile und Wartungsupdate Weiterlesen »

imagem 41

Neues llama.cpp-Release b10159 bringt FWHT-Kernel für Metal-Backend

Schreibe einen Kommentar / KI & Machine Learning /

Llama.cpp Build b10159 mit neuem FWHT-Kernel für Metal veröffentlicht Die neueste Build b10159 des llama.cpp-Projekts führt einen speziellen FWHT-Kernel für das Metal-Backend ein. Die schnelle Walsh-Hadamard-Transformation (FWHT) wird nun direkt auf Apple-GPUs beschleunigt, was die Inferenzgeschwindigkeit für selbst gehostete Sprachmodelle auf macOS- und iOS-Geräten spürbar verbessern kann. Diese Optimierung ist vor allem für rechenintensive Operationen

Neues llama.cpp-Release b10159 bringt FWHT-Kernel für Metal-Backend Weiterlesen »

RSS FEED
RSS FEED