self-hosted LLM

imagem 8

LangChain-Anthropic 1.7.1: Performance-Tuning und Claude Fable 5.1

Schreibe einen Kommentar / KI & Machine Learning /

Seit Version 1.7.0 bringt das Update auf LangChain-Anthropic 1.7.1 gezielte Verbesserungen für alle, die ihre LLM-Anwendungen selbst hosten. Im Bereich Performance und Observability werden Middleware-Trace-Eingaben nun standardmäßig weggelassen. Das reduziert Overhead und sorgt für schlankere Abläufe, ohne dass relevante Diagnosedaten verloren gehen. Zusätzlich unterstützt die Bibliothek ab sofort das neue Anthropic-Modell Claude Fable 5.1. Entwicklerinnen […]

LangChain-Anthropic 1.7.1: Performance-Tuning und Claude Fable 5.1 Weiterlesen »

imagem 50

llama.cpp Build b10189: Optimierung für M3-Grafikprozessoren und breite Plattformunterstützung

Schreibe einen Kommentar / KI & Machine Learning /

Die neue Version b10189 von llama.cpp bringt eine gezielte Verbesserung für Apple-Silicon-Systeme. Eine bisher verwendete, speziell für die CPU optimierte Operation wurde aus dem M3-Grafen entfernt und durch Standardoperationen ersetzt. Dadurch wird die Codebasis schlanker und die langfristige Wartbarkeit erhöht – ein bedeutender Schritt für alle, die llama.cpp selbst hosten oder auf M3-Prozessoren betreiben. Wie

llama.cpp Build b10189: Optimierung für M3-Grafikprozessoren und breite Plattformunterstützung Weiterlesen »

imagem 37

llama.cpp b10149 veröffentlicht: Builds für alle Plattformen und eine kleine Optimierung

Schreibe einen Kommentar / KI & Machine Learning /

Die neue Version b10149 von llama.cpp ist da und bringt vorkompilierte Pakete für nahezu alle gängigen Betriebssysteme und Hardware-Beschleuniger. Nutzer, die llama.cpp selbst hosten, erhalten damit sofort einsatzbereite Installationsarchive – ohne selbst kompilieren zu müssen. Intern wurde ein Test optimiert: Im test-save-load-state wurde eine überflüssige Synchronisation entfernt. Das verbessert die Testausführung dezent, hat aber keinen

llama.cpp b10149 veröffentlicht: Builds für alle Plattformen und eine kleine Optimierung Weiterlesen »

imagem 31

langchain-openai 1.4.1: Nahtlose Gateway-Anbindung und Korrektur des gpt-5.3-chat-latest-Profils

Schreibe einen Kommentar / KI & Machine Learning /

Was gibt’s Neues in Version 1.4.1? Das langchain-openai-Paket wurde auf Version 1.4.1 aktualisiert und bringt vor allem zwei wichtige Neuerungen für Entwickler, die LangChain in selbst gehosteten Umgebungen einsetzen. LangSmith Gateway bequem per Umgebungsvariable nutzen Die Integration des LangSmith Gateways wurde vereinfacht: Ab sofort reicht eine einzige Umgebungsvariable, um die Verbindung einzurichten – und das

langchain-openai 1.4.1: Nahtlose Gateway-Anbindung und Korrektur des gpt-5.3-chat-latest-Profils Weiterlesen »

imagem 24

Ollama v0.32.3-rc0: Feinschliff für GLM, Laguna und Apple Silicon

Schreibe einen Kommentar / KI & Machine Learning /

Die Vorabversion 0.32.3-rc0 von Ollama liefert wichtige Stabilitäts- und Kompatibilitätsverbesserungen für selbst gehostete Sprachmodelle. Entwickler und Betreiber profitieren von optimierten Modellschnittstellen und einer aktualisierten Hardware-Anbindung. Zuverlässigere Werkzeugnutzung und aktualisierte Modelle Bei GLM-Modellen kam es bislang zu unvollständigen Werkzeugaufrufen – dieser Fehler ist nun behoben. Tool Calls werden jetzt sauber abgeschlossen, was insbesondere für interaktive Anwendungen

Ollama v0.32.3-rc0: Feinschliff für GLM, Laguna und Apple Silicon Weiterlesen »

RSS FEED
RSS FEED