Analyse von 17.000 Testläufen: Wie Claude, Codex und Cursor Tools in der Softwareentwicklung auswählen
Eine umfassende Untersuchung von Armature.tech analysiert das Entscheidungsverhalten von KI-Coding-Agenten wie Claude, Codex und Cursor bei der Tool-Auswahl. In über 17.000 Experimenten wurde untersucht, wie diese Agenten Drittanbieter-Dienste in bestehende Codebasen integrieren. Die Studie basiert auf 75 speziell erstellten Repositories in zehn Programmiersprachen, die reale Unternehmensumgebungen simulieren. Durch den Einsatz von vier verschiedenen Benutzerprofilen – vom vagen „Vibe-Coder“ bis zum präzisen Konzern-Ingenieur – wurde getestet, wie unterschiedliche Anforderungsniveaus und spezifische Constraints wie Kosten oder Nutzungsvolumen die Ergebnisse beeinflussen. Die Methodik umfasst statistisch bereinigte Daten aus tausenden GitHub-Repositories, um ein realistisches Bild der aktuellen Softwarelandschaft zu zeichnen und die Autonomie der KI-Modelle unter realen Bedingungen zu bewerten.
Die wichtigsten Punkte
- Umfangreiche Datenbasis: Die Studie umfasst 17.000 Testläufe, die auf 75 verschiedenen Repositories in zehn Programmiersprachen basieren.
- Realistische Testumgebung: Es wurden 1.163 Varianten von Aufgaben erstellt, die mit gefälschten Unternehmensnamen, Git-Historien und API-Schlüsseln, aber echten Lockfiles arbeiten.
- Differenzierte Benutzerprofile: Vier Personas (Vibe-coder, Junior, Senior und Enterprise Engineer) simulieren unterschiedliche Grade an technischer Präzision und Anforderungen.
- Statistische Bereinigung: Die Auswahl der Test-Repositories wurde an realen Marktdaten ausgerichtet, um die Überrepräsentation von Open-Source-Startups gegenüber Großunternehmen auszugleichen.
- Kontextsensitive Prompts: In etwa 20-25 % der Fälle wurden spezifische Faktoren wie Kosten oder Nutzungsvolumen in die Aufgabenstellung integriert.
Analyse
Methodik und Erstellung der Testumgebungen
Die Grundlage der Untersuchung bildete eine tiefgehende Analyse von tausenden öffentlichen GitHub-Repositories. Dabei wurden statistische Daten zu Programmiersprachen, Frameworks, Drittanbieter-Diensten, Deployment-Plattformen sowie Teamgrößen und dem Alter der Codebasen erhoben. Ein entscheidender Schritt war die statistische Bereinigung dieser Daten: Da Tech-Startups häufiger Open-Source-Repositories pflegen als Großunternehmen, wurden die Statistiken anhand öffentlich zugänglicher Daten angepasst, um ein unverfälschtes Abbild der tatsächlichen Industrielandschaft zu erhalten.
Auf Basis dieser bereinigten Daten wurden 75 Repositories in zehn verschiedenen Sprachen erstellt. Um eine realistische Arbeitsumgebung für die KI-Agenten zu schaffen, wurden diese Repositories mit fiktiven Unternehmensnamen, Git-Historien und API-Schlüsseln ausgestattet. Ein besonderes Augenmerk lag auf der Authentizität der Abhängigkeiten: Die verwendeten Lockfiles wurden gegen offizielle Paketmanager-Register wie npm geprüft. Um kontrollierte Experimente durchzuführen, wurden Varianten der Codebasen erstellt, in denen gezielt Teile des Codes oder Implementierungen von Drittanbieter-Diensten entfernt wurden.
Der Einfluss von Benutzer-Personas auf die Tool-Wahl
Ein zentraler Aspekt der Studie ist die Verwendung von vier verschiedenen Profilen, die reale Interaktionen mit KI-Coding-Agenten widerspiegeln. Diese Personas unterscheiden sich signifikant in ihrer Ausdrucksweise und Detailtiefe:
- Vibe-coder: Beschreibt primär Symptome und den gewünschten Idealzustand, nennt jedoch selten konkrete Tool-Kategorien.
- Junior Engineer: Erwähnt in der Regel den Zielzustand und die entsprechende Kategorie des benötigten Werkzeugs.
- Senior Engineer: Liefert präzise Anforderungen und benennt explizit Dinge, die vermieden werden sollen.
- Engineer at a large enterprise: Definiert spezifische Einschränkungen, die Compliance-Vorgaben und Beschaffungsprozesse berücksichtigen.
Die Prompts wurden für jedes Experiment individuell angepasst, wobei in einem Viertel der Fälle zusätzliche Parameter wie Kostenaspekte oder das erwartete Nutzungsvolumen hinzugefügt wurden. Ein Beispiel für eine solche Aufgabe ist die automatische Generierung und Versendung von Rechnungen per E-Mail, wobei der Agent die beste Lösung finden und implementieren muss.
Bedeutung für die KI-Branche
Diese Untersuchung markiert einen wichtigen Schritt hin zu einer standardisierten Bewertung von KI-Coding-Agenten. Anstatt nur die reine Code-Generierung zu messen, rückt die Fähigkeit zur autonomen Entscheidungsfindung und Tool-Integration in den Fokus. Die Ergebnisse verdeutlichen, wie wichtig der Kontext der Codebasis und die Präzision der Benutzeranweisungen für die Qualität der KI-gestützten Softwareentwicklung sind. Für Entwickler von KI-Modellen liefert die Studie wertvolle Erkenntnisse darüber, wie Agenten mit komplexen Enterprise-Vorgaben und realen Infrastruktur-Beschränkungen umgehen. Die Methodik der „unbiased“ (unverfälschten) Statistik stellt zudem sicher, dass die Ergebnisse nicht nur für die Open-Source-Welt, sondern auch für die proprietäre Softwareentwicklung in Großunternehmen relevant sind.
Häufig gestellte Fragen
Welche KI-Modelle wurden in der Studie untersucht?
Die Studie konzentrierte sich auf die Analyse von Claude, Codex und Cursor, um deren Verhalten bei der Auswahl und Implementierung von Software-Tools zu vergleichen.
Wie wurden die Test-Repositories realistisch gestaltet?
Die Forscher nutzten echte statistische Daten aus GitHub, bereinigten diese um Verzerrungen zwischen Startups und Großunternehmen und erstellten 75 Repositories mit fiktiven Firmendaten, aber realen Abhängigkeiten und Lockfiles.
Warum wurden verschiedene Personas für die Prompts verwendet?
Die Personas dienen dazu, die unterschiedlichen Kommunikationsstile und Wissensstände realer Nutzer abzubilden. So konnte untersucht werden, ob eine KI auch bei vagen Beschreibungen (Vibe-coder) oder unter strengen regulatorischen Auflagen (Enterprise Engineer) die richtige Tool-Entscheidung trifft.
