Das neue Paradigma von AI-Agenten: Wie video-use Text statt Video für intelligente Bearbeitung nutzt
2 months ago
Das browser-use-Team hat kürzlich ein Projekt namens video-use veröffentlicht, das an einem Tag fast tausend Sterne gewonnen hat.
Was es tut, klingt futuristisch: Du wirfst ungeschnittenes Rohmaterial in Claude, und es entfernt automatisch Füllwörter, richtet Schnittpunkte aus, fügt Untertitel hinzu und korrigiert die Farben, um schließlich einen fertigen Film auszuspucken.
Aber was mich innehalten ließ, war seine Methode.
Dass KI Videos schneiden kann, ist nicht neu – interessant ist, wie sie es tut.
Diese KI, die Videos schneidet, hat das Video nie gesehen.
Sie hat nicht Frame für Frame das Bild verstanden, sie hat das Video nicht in ein multimodales Modell eingespeist. Die meiste Zeit hatte sie nur ein paar Kilobyte Text vor sich.
Das ist keine Abkürzung.
Es ist die gleiche Methode, die derzeit die klügsten Agentenprodukte teilen.
Sie zu verstehen, ist viel nützlicher, als nur zu wissen: „Schon wieder ein neues KI-Schnittwerkzeug.“
Angenommen, du willst einem Modell ein zehnminütiges Video verständlich machen.
Der intuitivste Ansatz ist das Extrahieren von Frames: ein paar Frames pro Sekunde, insgesamt etwa 30.000 Frames, jeder Frame kostet etwa 1.500 Token, wenn er an ein multimodales Modell gesendet wird.
Multipliziert ergibt das 45 Millionen Token, nur um das Bild einmal anzusehen.
Und selbst dann merkt sich das Modell meistens Rauschen – es weiß, dass in Frame 12.000 jemand spricht, aber was gesagt wird und wo geschnitten werden muss, kann das Bild allein nicht sagen.
Das ist keine Theorie.
Im Mai dieses Jahres ergab eine öffentliche Bewertung, dass ein visueller Agent, der nur durch Bildschirmansicht arbeitet, für dieselbe Aufgabe 45-mal mehr Token verbraucht als einer, der direkt eine API aufruft.
Die Rechnung ist die eine Sache, aber schlimmer ist, dass er auch schlechter abschneidet – Agenten, die Screenshots betrachten und Buttons anklicken, klicken oft daneben oder lassen sich von Pop-ups ablenken.
Das Modell direkt mit Rohdaten zu füttern, ist teuer, dumm und fehleranfällig.
video-use stellt eine andere Frage
video-use fragt nicht:
„Was ist in diesem Frame zu sehen?“
Es fragt:
„Wie wurde dieser Satz gesagt?“
Zunächst transkribiert es das gesamte Material mit ElevenLabs in einen Text mit Wort-für-Wort-Zeitstempeln, der Sprecher unterscheidet und sogar „(lacht) (Pause)“ markiert.
Dieser Text ist nur wenige Kilobyte groß.
Claude bekommt genau das – ein Drehbuch, das mit Textpräzision analysiert werden kann.
Schnitt bedeutet letztlich Entscheidungen auf der Zeitachse:
- Welcher Satz wiederholt sich?
- Wo stockt es?
- Dieses Segment behalten oder löschen?
Diese Entscheidungen sind im Text schneller und genauer zu treffen als im Bild.
Das Modell liest:
„Ähm … also, heute reden wir über …“
Und weiß sofort, dass dies unnötiges Gefüllsel ist, das gelöscht werden muss – ohne das Gesicht zu sehen.
Wann wird das Bild dann verwendet?
Nur an unsicheren Schlüsselpunkten.
Zum Beispiel:
- Zwei gut gesagte Alternativsegmente, zwischen denen gewählt werden muss
- Ob eine Pause ein Versprecher oder beabsichtigt ist
Dann generiert es temporär ein zusammengesetztes Bild aus Filmstreifen-Miniaturansichten, Audiowellenform und Textbeschriftungen und wirft einen Blick darauf.
Die teure Wahrnehmung bleibt die ganze Zeit ausgeschaltet und wird nur an unsicheren Punkten kurz aktiviert.
Für den gesamten Schnitt: Text ein paar Kilobyte, plus ein paar Bilder von Schlüsselpunkten – im Vergleich zu 45 Millionen Token der dummen Methode fast vernachlässigbar.
Diese Methode hat browser-use bereits verwendet
Wenn dir das bekannt vorkommt, liegt es daran, dass browser-use selbst mit dem gleichen Trick groß geworden ist.
Um KI eine Webseite bedienen zu lassen, ist der dumme Ansatz, ihr einen Screenshot zu zeigen und sie entscheiden zu lassen:
„Wo ist der Login-Button, wo klicke ich hin?“
browser-use macht keine Screenshots.
Es extrahiert die DOM-Struktur der Webseite – den Baum der Tags hinter der Seite – und gibt sie als Text an das Modell.
Das Modell liest strukturierte Daten, der Schritt des Bildbetrachtens entfällt komplett.
Der Effekt geht in die gleiche Richtung:
Studien haben gezeigt, dass die Verwendung von strukturierten Element-Lokalisierern anstelle von ganzseitigen Screenshots über 90 % des Kontexts einspart;
und das Modell liest eine bestimmte Struktur, wird nicht durch visuelles Rauschen wie Stile oder Pop-ups abgelenkt, und die Wahrscheinlichkeit, beim ersten Mal richtig zu klicken, ist viel höher.
Rückblickend siehst du, dass die Agenten, die in den letzten Jahren wirklich erfolgreich waren, fast alle dasselbe tun:
- Code-schreibende Agenten lesen Text und Syntaxbäume, nicht Screenshots deiner IDE;
- Browser-bedienende Agenten lesen das DOM, nicht das Webseitenbild;
- Video-schneidende Agenten lesen Transkriptionstext, nicht Videoframes.
Ihre Domänen sind völlig unterschiedlich, aber der Lösungsansatz ist derselbe.
Ein mitnehmbarer Bewertungsrahmen
Wenn wir diese Linie extrahieren, erhalten wir ein wiederverwendbares Denkmodell:
Starke KI-Agenten lassen das Modell fast nie direkt mit der rohen Welt umgehen.
Sie komprimieren die Domäne zuerst in eine Struktur, die das Modell von Natur aus gut verarbeitet (Text, Baum, Sequenz), führen den Großteil der Inferenz auf dieser Struktur durch und setzen nur an kritischen Entscheidungspunkten teure rohe Wahrnehmung ein.
Video wird zu Transkriptionstext komprimiert.
Webseiten werden zum DOM komprimiert.
Code ist bereits Text.
Diese kostengünstige strukturelle Repräsentation zu finden, ist der entscheidende Faktor dafür, ob solche Produkte erfolgreich sein können.
Also, wenn du das nächste Mal einen angeblich vollautomatischen KI-Agenten siehst, hör nicht nur auf die Demo, sondern stelle ihm drei Fragen:
Erstens: Hat er die Domäne in eine strukturierte Repräsentation komprimiert?
Oder lässt er das Modell direkt Rohdaten (Screenshots, Videoframes, ganze HTML-Seiten) verarbeiten?
Letzteres bedeutet in der Regel langsam, teuer und instabil – schwer skalierbar.
Zweitens: Ist die teure rohe Wahrnehmung die ganze Zeit aktiv oder wird sie nur an Schlüsselpunkten bei Bedarf eingesetzt?
Wenn sie die ganze Zeit aktiv ist, explodieren die Kosten mit der Aufgabenlänge.
Die Demo sieht gut aus, aber in der Praxis ist es nicht bezahlbar.
Drittens: Ist die strukturelle Repräsentation selbst genau?
Die Achillesferse von video-use ist die Transkription – ein falsch transkribiertes Wort, und alle nachfolgenden Schnittentscheidungen stehen auf falschem Fundament.
Die Obergrenze eines Agenten hängt oft nicht davon ab, wie intelligent das Modell ist, sondern davon, wie viel bei der Übersetzung der Welt in eine Struktur verloren geht oder falsch ist.
Diese drei Fragen kannst du nicht nur nutzen, um Werkzeuge auszuwählen, sondern auch, um über deine eigenen Aufgaben nachzudenken:
Wenn du möchtest, dass KI eine bestimmte Sache übernimmt, ist der erste Schritt nicht, ihr das Rohmaterial einfach in den Mund zu stopfen, sondern zuerst zu klären:
Gibt es für diese Sache eine kostengünstige und genaue strukturelle Repräsentation, auf der das Modell denken kann?
Diesen Punkt zu verstehen, ist oft nützlicher, als ein größeres Modell zu verwenden.
video-use ist oberflächlich ein Schnittwerkzeug.
Es zeigt, wie diese Generation von Agenten die Welt betrachtet:
Statt die Augen weit aufzureißen und auf das rohe Bild zu starren, übersetzt die Welt zuerst in eine Sprache, die es lesen kann, und beginnt dann zu denken.
