5 Dinge, die ich gelernt habe, als ich einen KI-Agenten für 45.000 Menschen betrieben habe

Ich habe einen KI-Agenten gebaut, der 45.000 Menschen erreicht hat – 7,5 Millionen Nachrichten und 735.000 Anrufe. Einige Dinge, die ich dabei gelernt habe:

1. Das Lesen der Gespräche ist unersetzlich.

Wir anonymisieren die Protokolle – das Lesen von Benutzergesprächen fühlt sich etwas schmutzig an, und man sollte verantwortungsvoll damit umgehen – aber es ist so, so hilfreich. Evaluierungen und Qualitätssicherung erfassen nur so viel. Echte Benutzer werden unzählige Dinge finden, die Ihre Tests nie entdecken, und das Lesen, wie der Agent tatsächlich damit umgegangen ist, war die Grundlage dafür, was wir reparieren, hinzufügen oder unverändert lassen.

2. Die Verwaltung eines Agenten ähnelt stark der Verwaltung einer Person.

Diese Formulierung klingt niedlich, aber sie beschreibt tatsächlich die Arbeit. Wenn ich etwas erreichen wollte – Leute kontaktieren, die still geworden waren, eine bestimmte Art von Anfrage anders behandeln, den Ton milder machen – gab ich dem Agenten eine Anweisung, er führte sie aus, und ich überprüfte seine Arbeit in den Protokollen. Manche Anweisungen sind universell, Dinge, die Sie in jeder einzelnen Interaktion haben möchten. Manche sind spezifisch für einen Kunden. Beides richtig zu machen, ist die eigentliche Aufgabe, und wie bei der Führung einer Person ist man nie fertig – manchmal hat der Agent es richtig gemacht, manchmal nicht.

3. Manche Leute werden versuchen, es romantisch zu gestalten, und man kann nur begrenzt dagegen vorgehen.

Bei 45.000 Menschen wird ein Teil unabhängig von Ihren Maßnahmen in diese Richtung drängen. Jede zusätzliche Sicherheitsvorkehrung verschlechtert das Produkt für alle anderen ein wenig, also ab einem bestimmten Punkt bestraft man nur seine normalen Benutzer. Die Leute finden einen Weg.

4. Spezifische Agenten schlagen allgemeine. Jedes Mal.

Ein allgemeines Produkt verschlechtert sich, je mehr man hinzufügt, und irgendwann stößt man auf Anforderungen, die direkt im Konflikt stehen – man kann entweder das eine oder das andere haben, aber nicht beides. Bilder waren ein Beispiel für uns: Einige Benutzer wollten Bildgenerierung, andere wollten überhaupt keine Bilder von Personen. Die romantischen Sachen sind ein weiteres: Manche wollen nichts davon, manche ein wenig, manche viel. Der Versuch, einen Agenten für viele Menschen zu formen, ist wirklich schwierig. Je enger die Aufgabe, desto besser erledigt der Agent sie.

5. Die Wirtschaftlichkeit muss irgendwoher kommen.

Dies ist ein teurer Dienst, und für ein Verbraucherprodukt ist es wirklich schwierig, die wirtschaftliche Rechtfertigung zu finden – ohne Risikokapitalfinanzierung ist es ziemlich schwer, rentabel zu sein. Es muss einen echten ROI für die Nutzung des Agenten geben, weshalb es am sinnvollsten ist, ihn an einen geschäftlichen Anwendungsfall zu koppeln. Unser Agent läuft jetzt auf Autopilot, verdient etwa 10.000 Dollar im Monat, und soweit wir das beurteilen können, ist das etwa so groß, wie diese Gelegenheit wird.

Also haben wir alles, was wir gelernt haben, in eine Plattform verpackt, auf der jeder SMS-Agenten erstellen kann. Die Plattform heißt Outside Agent. Sie bauen sie aus Ihrem Codierungsagenten – beschreiben Sie, was Sie wollen, und in etwa 30 Minuten ist sie auf einer echten Telefonnummer live.