KI-Inferenz: Tensormesh und AMD senken Latenz um das Siebenfache
Veröffentlicht am: 27.07.2026 um 23:21 Uhr | Redaktion boerse-global.de
Eine neue Partnerschaft soll Engpässe bei der KI-Inferenz massiv reduzieren – mit siebenfach niedrigeren Latenzen.
Der KI-Software-Spezialist Tensormesh und AMD haben heute eine strategische Zusammenarbeit bekannt gegeben. Im Zentrum steht die Integration von Tensormesh' LMCache-Software in AMDs Live-Context-Virtualisierung. Ziel ist es, den GPU-Speicher als softwaredefinierte Ressource zu verwalten – ein entscheidender Hebel für große KI-Modelle.
Denn genau hier liegt das Problem: Werden umfangreiche Dokumente analysiert oder lange KI-Gespräche geführt, stoßen herkömmliche Speicherarchitekturen schnell an ihre Grenzen. Die neue Lösung verspricht Abhilfe.
Siebenfach schneller, doppelt so dicht
Die technischen Ergebnisse können sich sehen lassen. In Tests auf Dell-Servern mit acht AMD MI355-GPUs gelang ein Durchbruch: Bei der Verarbeitung eines 300 Gigabyte großen Dokumentsatzes mit dem Modell Kimi-K2.6 sank die Zeit bis zum ersten Token (TTFT) von 3,4 Sekunden auf unter 0,5 Sekunden.
Das entspricht einer siebenfachen Latenzreduktion bei gleichzeitig verdoppelter Modelldichte. Möglich wird dies durch ein optimiertes Management des sogenannten KV-Cache – jener Komponente, die bei langlaufenden KI-Interaktionen den Gesprächsverlauf speichert.
Während die technische Effizienz von KI-Systemen rasant steigt, rücken auch die rechtlichen Rahmenbedingungen für Unternehmen in den Fokus. Dieser kostenlose Umsetzungsleitfaden unterstützt Sie dabei, die Anforderungen des EU AI Acts für Ihre IT-Infrastruktur sicher zu erfüllen. EU AI Act in 5 Schritten verstehen
20 Millionen Euro für die KI-Infrastruktur
Der Partnerschaft vorausgegangen war eine Finanzierungsrunde über 20 Millionen Euro im Mai 2026. Beteiligt waren unter anderem AMD Ventures, CoreWeave und NVentures. Das Geld floss in die Entwicklung von Softwarelösungen, die bestehende KI-Infrastruktur effizienter machen sollen – ohne teure neue Hardware.
Tensormesh positioniert sich damit als Teil eines größeren Ökosystems. Gemeinsam mit VAST Data und AMD arbeitet das Unternehmen an einer Referenzarchitektur für sogenannte KI-Fabriken. VAST Data erweiterte dazu heute seine eigene Partnerschaft mit AMD und kombiniert sein KI-Betriebssystem mit den neuesten EPYC-Prozessoren und Instinct-GPUs.
Neunfache Verbesserung im Gesamtsystem
Die ersten Tests auf der AMD Instinct MI355X-GPU innerhalb dieses Ökosystems übertreffen die Einzelergebnisse sogar noch: Eine neunfache Verbesserung der TTFT und ein 9,7-facher Durchsatz bei der Token-Verarbeitung wurden gemessen.
Der Einsatz leistungsfähiger KI-Systeme in Unternehmen erfordert eine klare Einordnung in Risikoklassen, um rechtliche Sanktionen zu vermeiden. Erfahren Sie in diesem kostenlosen Report, welche Dokumentationspflichten und Übergangsfristen die EU-KI-Verordnung konkret für Ihre Systeme vorsieht. Kostenlosen Leitfaden zum EU AI Act herunterladen
Diese Werte basieren auf automatisiertem KV-Cache-Lifecycle-Management und Hardware-Unterstützung durch Komponenten wie der AMD Pensando Pollara 400 AI-Netzwerkkarte. Neben Tensormesh sind auch EmbeddedLLM und DriveNets an der Referenzarchitektur beteiligt, die PCIe Gen6 und EPYC-Prozessoren der sechsten Generation nutzt.
Das Ziel ist klar: Der Fokus verschiebt sich vom Training großer Modelle hin zu deren effizientem Betrieb – und genau dafür braucht es intelligente Speicherlösungen.
Disclaimer zu unseren Artikeln: Keine Anlageberatung, keine Kauf- oder Verkaufsempfehlung. Angaben zu Kursen, Unternehmen und Märkten ohne Gewähr; Änderungen jederzeit möglich. Börsengeschäfte können zu hohen Verlusten führen. Unsere Beiträge werden ganz oder teilweise automatisiert mit Unterstützung von AI erstellt und geprüft.
