
METR aktualisiert KI-Zeithorizont: Modelle sind beim Programmieren besser als bei Aufgaben, die Urteilsvermögen erfordern
Die gemeinnützige Organisation METR, die KI-Systeme evaluiert, hat einen neuen Bericht vorgelegt und ihre Zeithorizont-Grafik aktualisiert. Laut dem Bericht verbessern sich einige KI-Fähigkeiten weiterhin entlang einer exponentiellen Entwicklung. Zugleich deutet die Auswertung auf einen Unterschied zwischen Aufgabentypen hin: Modelle schneiden bei Aufgaben, die Urteilsvermögen erfordern, nicht ganz so gut ab wie beim Programmieren. Die beiden Befunde betreffen damit unterschiedliche Fragen: wie sich bestimmte Fähigkeiten im Zeitverlauf entwickeln und wie sich die Leistung bei verschiedenen Aufgaben unterscheidet. Der vorliegende Ausschnitt der Meldung von MIT Technology Review nennt weder konkrete Messwerte noch einzelne Modelle. Wie groß der Unterschied ausfällt und welche Fähigkeiten im Einzelnen exponentiell zulegen, geht aus ihm nicht hervor.
Die wichtigsten Punkte
- Die gemeinnützige KI-Evaluierungsorganisation METR hat einen neuen Bericht vorgelegt, der ihre Zeithorizont-Grafik aktualisiert.
- Laut dem Bericht verbessern sich einige KI-Fähigkeiten weiterhin exponentiell. Die Aussage bezieht sich ausdrücklich nicht auf sämtliche Fähigkeiten.
- Der Bericht deutet darauf hin, dass Modelle bei Aufgaben, die Urteilsvermögen erfordern, nicht ganz so gut abschneiden wie beim Programmieren.
- Der verfügbare Ausschnitt der Meldung enthält keine konkreten Messwerte und beziffert den Leistungsunterschied nicht.
Analyse
Was der Bericht über den Fortschritt aussagt
Im Mittelpunkt der Meldung von MIT Technology Review steht die aktualisierte Zeithorizont-Grafik von METR. Die Organisation kommt in ihrem neuen Bericht zu dem Ergebnis, dass sich einige KI-Fähigkeiten weiterhin entlang einer exponentiellen Entwicklung verbessern. Entscheidend ist dabei der Geltungsbereich: Der Befund betrifft einige Fähigkeiten, nicht die Leistung von KI-Modellen in allen Bereichen. Aus der Aussage lässt sich deshalb kein allgemeines Tempo ableiten, mit dem sich jede Fähigkeit verbessert.
Auch das Wort „weiterhin“ ist für die Einordnung wichtig. Die Meldung beschreibt damit eine anhaltende Entwicklung und nicht den erstmaligen Beginn eines exponentiellen Trends. Sie nennt im vorliegenden Ausschnitt aber weder den Zeitraum, auf den sich der Befund bezieht, noch Messwerte, anhand derer sich das Tempo beziffern ließe. Die Aussage beschreibt also die Form der beobachteten Entwicklung, ohne hier eine konkrete Rate zu nennen. Eine Vorhersage darüber, wie lange sich der Trend fortsetzt, enthält der Ausschnitt ebenfalls nicht.
Was der Vergleich mit Programmieraufgaben zeigt
Der zweite Befund betrifft nicht das Entwicklungstempo, sondern den Vergleich zwischen Aufgabentypen. Der Bericht deutet darauf hin, dass Modelle bei Aufgaben, die Urteilsvermögen verlangen, nicht ganz so gut abschneiden wie beim Programmieren. Das Programmieren ist hier der Vergleichsmaßstab. Die Meldung sagt damit weder, dass Modelle bei Aufgaben mit Urteilsanforderungen grundsätzlich versagen, noch beziffert sie, wie gut die Modelle beim Programmieren sind. Sie gibt lediglich die Richtung des Leistungsunterschieds an.
Der Ausdruck „Aufgaben, die Urteilsvermögen erfordern“ wird im vorliegenden Text nicht anhand konkreter Beispiele erläutert. Ebenso wenig nennt der Ausschnitt einzelne Modelle oder Ergebnisse für bestimmte Aufgaben. Daher lässt sich aus ihm nicht ableiten, ob der Unterschied bei allen untersuchten Modellen gleich ausfällt oder bei welchen Aufgaben er besonders ausgeprägt ist. Auch die Formulierung, dass der Bericht auf einen Unterschied „hindeutet“, sollte bei der Wiedergabe erhalten bleiben: Sie gibt den Befund wieder, ohne daraus ein allgemeines Urteil über die Fähigkeiten von KI-Modellen zu machen.
Warum die beiden Befunde einander nicht widersprechen
Der exponentielle Trend und der Unterschied zwischen Aufgabentypen beantworten zwei verschiedene Fragen. Der erste Befund betrifft die Entwicklung im Zeitverlauf: Verbessern sich bestimmte Fähigkeiten weiterhin entlang der beschriebenen Kurve? Der zweite betrifft die Leistung im Vergleich: Wie schneiden Modelle bei Aufgaben mit Urteilsanforderungen gegenüber Programmieraufgaben ab? Eine Aussage darüber, wie sich eine Fähigkeit entwickelt, beantwortet nicht automatisch die Frage, wie gut Modelle bei unterschiedlichen Aufgaben sind.
Entsprechend ist es kein Widerspruch, dass der Bericht für einige Fähigkeiten einen fortgesetzten exponentiellen Fortschritt feststellt und zugleich auf schwächere Ergebnisse bei einer Aufgabengruppe hinweist. Umgekehrt sagt der schwächere Vergleichswert nichts darüber aus, ob und wie schnell sich die Leistung bei Aufgaben mit Urteilsanforderungen im Zeitverlauf verändert. Der verfügbare Ausschnitt schlüsselt nicht auf, wie sich die Entwicklung einzelner Fähigkeiten zu dem beschriebenen Leistungsvergleich verhält. Wer beide Befunde trennt, kann die Aussage des Berichts wiedergeben, ohne mehr aus der Grafik abzuleiten, als die Meldung hergibt.
Bedeutung für die KI-Branche
Die Aktualisierung ist vor allem für die Einordnung von KI-Evaluierungen relevant. Wenn über Fortschritte bei Modellen berichtet wird, macht es einen Unterschied, ob ein Ergebnis den zeitlichen Trend bestimmter Fähigkeiten oder den Vergleich zwischen verschiedenen Aufgaben beschreibt. Im Fall von METR stehen beide Aussagen nebeneinander. Die Ergebnisse beim Programmieren sind nach dem vorliegenden Bericht kein Maßstab, der sich unverändert auf Aufgaben mit Urteilsanforderungen übertragen lässt. Ebenso ist das schwächere Abschneiden bei solchen Aufgaben kein Gegenbeleg für den berichteten Fortschritt bei einigen Fähigkeiten.
Für die Bewertung von Modellen bleibt damit die Frage wichtig, auf welchen Aufgabentyp sich ein Befund bezieht. Die Meldung liefert einen Anhaltspunkt dafür, warum diese Unterscheidung nötig ist, aber keine Grundlage für eine Rangfolge einzelner Modelle. Sie erlaubt auch keine Aussage darüber, wie groß ein Leistungsunterschied in einem bestimmten Einsatzbereich wäre. Die branchenrelevante Aussage liegt hier nicht in einer bezifferten Prognose, sondern in der begrenzten Reichweite der Befunde: Fortschritt bei einigen Fähigkeiten und unterschiedliche Leistung je nach Aufgabe können gleichzeitig beobachtet werden.
Häufig gestellte Fragen
Was hat METR aktualisiert?
METR hat mit einem neuen Bericht seine Zeithorizont-Grafik aktualisiert. Die Meldung nennt als zentralen Befund, dass sich einige KI-Fähigkeiten weiterhin exponentiell verbessern. Welche konkreten Messwerte sich durch die Aktualisierung geändert haben, geht aus dem vorliegenden Ausschnitt nicht hervor.
Sind KI-Modelle beim Programmieren besser als bei Aufgaben, die Urteilsvermögen erfordern?
Der Bericht deutet darauf hin, dass Modelle bei Aufgaben mit Urteilsanforderungen nicht ganz so gut abschneiden wie beim Programmieren. Der Ausschnitt gibt die Richtung des Unterschieds an, nennt aber weder seine Größe noch die Ergebnisse einzelner Modelle.
Bedeutet der exponentielle Trend, dass sich alle KI-Fähigkeiten gleich schnell verbessern?
Nein. Die Meldung spricht ausdrücklich von einigen Fähigkeiten. Sie nennt weder eine einheitliche Rate für alle Fähigkeiten noch eine Prognose darüber, wie lange sich die beobachtete Entwicklung fortsetzt.


