Agentisches Videoverständnis in Gemini nutzt eine aktive Logikschleife zum dynamischen Scannen von Videosegmenten, was den Token-Verbrauch um bis zu 88 % senkt und die Genauigkeit bei langen Inhalten verbessert.
Funktion und offizielle Positionierung des Produkts
Agentisches Videoverständnis in Gemini verbessert die Effizienz und Genauigkeit der Videoanalyse, indem es von der festen Bildrate bei der Datenaufnahme abrückt. Das Modell übernimmt eine aktive Rolle bei der Entscheidung, welche spezifischen Momente und Signale erforderlich sind, um eine Anfrage zu beantworten.
Diese Funktion ist in die Gemini Flash-Modellfamilie integriert und über Entwicklerplattformen zugänglich. Sie ist für Langform-Inhalte wie Vorlesungen und mehrstündige Aufnahmen optimiert, bei denen die herkömmliche statische Verarbeitung oft zu hohen Token-Kosten führt.
Durch offizielle Quellen belegte Anwendungsfälle
Identifizierung von Zustandsänderungen in Bruchteilen von Sekunden und präzisen Schnittgrenzen, die bei Standard-Bildraten oft übersehen werden.
Erkennung von Anomalien durch erneutes Abtasten spezifischer Zeitfenster mit höheren Bildern pro Sekunde zur Untersuchung schneller Bewegungen.
Genaues Zählen wiederholter Bewegungen oder Verfolgen unterschiedlicher Objekte über den gesamten Verlauf eines Videos hinweg.
Der dokumentierte Ablauf, sofern verfügbar
Der Entwickler setzt den Videoverarbeitungsparameter in den Konfigurationseinstellungen der Gemini API auf „agentic“.
Der Nutzer stellt eine Videoquelle bereit, etwa einen Datei-Upload oder eine YouTube-URL, zusammen mit einem Prompt in natürlicher Sprache.
Das Modell nutzt ein internes Werkzeug, um nur die relevanten Segmente von Video, Audio oder Transkript abzurufen, die für die Aufgabe benötigt werden.
Das System liefert die angeforderten Informationen zurück, wie etwa eine Zusammenfassung, einen spezifischen Zeitstempel oder eine Ereigniszählung.
Traditionelle Videoanalysemodelle verwenden typischerweise eine statische Verarbeitung, bei der das Video mit einer festen Rate eingelesen wird. Dieser Ansatz kann bei langen Videos ineffizient sein, da er entweder eine massive Anzahl von Token verbraucht oder kritische Details verpasst, die zwischen den abgetasteten Einzelbildern auftreten.
Agentisches Videoverständnis ändert dies, indem es dem Modell ermöglicht, als Agent zu agieren, der entscheidet, was und in welcher Geschwindigkeit betrachtet wird. Durch den Aufruf interner Tools zum Laden nur der notwendigen Daten kann das Modell eine höhere Genauigkeit bei deutlich geringerem Ressourcenverbrauch erzielen.
Prüfungen mit eigenen Inhalten und Arbeitsabläufen
Welche Quellen wann geprüft wurden
Antworten auf Basis des quellengeprüften Produkteintrags
Die Funktion ist für die Modelle Gemini 3.7 Flash, Gemini 3.6 Flash und Gemini 3.5 Flash-Lite verfügbar.
Sie senkt die Kosten um bis zu 66 %, indem nur die notwendigen Videosegmente abgerufen werden, anstatt den gesamten Stream mit einer festen Rate zu verarbeiten.
Ja, die Funktion unterstützt sowohl direkte Video-Uploads als auch YouTube-Videos über die Gemini API und Google AI Studio.
Das Modell kann je nach Ziel dynamisch wählen, ob es visuelle Einzelbilder, Audiospuren oder Videotranskripte untersucht.
Nein, die Funktion nutzt die Standard-Token-Preise der Gemini API ohne zusätzliche funktionsspezifische Gebühren.
