MCPVerse-Benchmark: KI-Agenten scheitern bei 550 Werkzeugen

Die Welt-KI-Konferenz in Shanghai offenbart am heutigen Samstag ein grundlegendes Problem: Die meisten KI-Agenten scheitern an der Navigation durch komplexe Werkzeuglandschaften. Währenddessen verschärfen europäische Wettbewerbshüter ihre Warnungen vor Marktkonzentration – und sowohl das Silicon Valley als auch chinesische Entwickler bringen taktische Neuerungen in Stellung.

Wenn die Werkzeugkiste überquillt

Der neue MCPVerse-Benchmark, vorgestellt auf der Konferenz, hat die Fähigkeiten von KI-Agenten anhand von über 550 realen Werkzeugen getestet. Das ernüchternde Ergebnis: Die allermeisten Modelle zeigen deutliche Leistungseinbußen, sobald die Anzahl der verfügbaren Tools steigt. Bei Aktionsräumen, die mittlerweile über 140.000 Token umfassen, fällt es den meisten Agenten schwer, die richtigen Funktionen auszuwählen und korrekt auszuführen.

Zwar profitieren einige wenige fortgeschrittene Modelle durchaus von größeren Werkzeugsätzen. Doch die Benchmark-Ergebnisse deuten auf eine wachsende Kluft hin: zwischen universell einsetzbaren Modellen und solchen, die für komplexe, vielschrittige Arbeitsabläufe optimiert sind.

Französische Wettbewerbshüter schlagen Alarm

Die Schwierigkeiten bei der Werkzeugauswahl werden durch einen hochkonzentrierten Markt noch verschärft. Bereits am 17. Juli veröffentlichte die französische Wettbewerbsbehörde eine Stellungnahme, wonach OpenAI, Google und Anthropic im Mai 2026 mehr als 84 Prozent des globalen KI-Agenten-Marktes kontrollierten.

Besonders besorgt zeigt sich die Behörde über die sogenannte „Disintermediation": KI-Anbieter kontrollieren die Protokolle – wie das Universal Control Protocol (UCP) und das Agent Control Protocol (ACP) – die bestimmen, wie Nutzer mit Drittanbieter-Diensten interagieren. Ein Experiment der Regulierungsbehörde förderte Erstaunliches zutage: Während ChatGPT bei 87,4 Prozent der Einkaufsanfragen Plattformen wie Reddit konsultierte, lieferte es nur in 1,0 Prozent der Fälle formelle Quellenangaben. Das wirft Fragen zur Transparenz auf – und zur Gefahr einer Plattformabhängigkeit.

Die wachsende Macht und Komplexität von KI-Systemen führt zu immer strengeren Regulierungen wie dem EU AI Act, der Unternehmen nun in die Pflicht nimmt. Dieser kostenlose Umsetzungsleitfaden bietet Ihnen einen kompakten Überblick über alle Anforderungen, Fristen und Risikoklassen der neuen Verordnung. EU AI Act in 5 Schritten verstehen: Jetzt kostenloses E-Book sichern

Google baut Such-Assistenten aus

Um die Werkzeugnutzung für Verbraucher zu vereinfachen, hat Google am 18. Juli seine Search AI Mode in den USA erweitert. Die Neuerung namens „Connected Apps" erlaubt es Nutzern, Aufgaben über Partner wie Canva, YouTube Music und Instacart direkt aus der Suchoberfläche heraus zu erledigen.

Playlists erstellen, Designvorlagen generieren oder den Einkaufswagen füllen – all das soll per KI-Eingabe möglich sein. Google hat noch keinen Zeitplan für eine weitere Ausweitung genannt. Doch der Schritt signalisiert einen klaren Trend: hin zu tief integrierten Agenten-Ökosystemen, in denen die KI selbstständig entscheidet, welcher Dienstleister zum Zug kommt.

Open-Source-Alternativen im Aufwind

Während die großen Konzerne unter Beobachtung stehen, erlebt die Branche einen Aufschwung leistungsstarker Open-Weight-Modelle. Diese senken die Einstiegshürden für Entwickler erheblich.

Mit der rasanten Entwicklung neuer KI-Modelle entstehen auch neue rechtliche Pflichten zur Kennzeichnung und Dokumentation für Anwender und Entwickler gleichermaßen. Welche KI-Systeme konkret als Hochrisiko gelten und was Unternehmen jetzt tun müssen, klärt dieser praxisnahe Report auf. Kostenlosen Leitfaden zur KI-Verordnung hier herunterladen

Moonshot AI enthüllte am 16. Juli sein Modell Kimi K3 – ein System an der Spitzenklasse mit 2,8 Billionen Parametern. Die auf einer Mixture-of-Experts-Architektur basierende KI hat mehrere Benchmarks für Frontend-Code angeführt und dabei gelegentlich sogar proprietäre Modelle wie Claude Fable 5 und GPT-5.5 übertroffen. Moonshot plan, die Gewichte des Modells am 27. Juli zu veröffentlichen.

Auch andere Akteure tragen zur Open-Source-Landschaft bei:

• SpaceXAI veröffentlichte am 18. Juli „grok-build", einen terminalbasierten Code-Agenten, der innerhalb von 24 Stunden über 17.000 GitHub-Sterne einsammelte.
• Capital One brachte am selben Tag „VulnHunter" auf den Markt, ein Open-Source-Sicherheitstool, das mit einer „Angreifer-zuerst"-Analyse-Engine Software-Schwachstellen aufspürt.
• Nvidia und Hugging Face erweiterten am 18. Juli ihre LeRobot-Robotikbibliothek um neue Vision-Language-Action-Modelle für die humanoide Entwicklung.

Japan setzt auf souveräne KI

In Japan hat ein Konsortium unter dem Namen Noetra – unterstützt von Sony, SoftBank und Honda Motor – am 17. Juli mit der Forschung und Entwicklung eines multimodalen Fundamentmodells speziell für physische Robotik begonnen. Die Gruppe plant, bis Mitte 2028 einen groß angelegten Nvidia-Rubin-GPU-Cluster zu installieren, um diese souveräne KI-Initiative voranzutreiben.

de | wissenschaft | 69798087 |