45,000人向けにAIエージェントを運用して学んだ5つのこと

私は45,000人にリーチしたAIエージェントを構築しました — 750万件のメッセージと73万5千件の通話です。その過程で学んだいくつかのこと：

1. 会話を読むことは代替不可能です。

ログを匿名化しています — ユーザーの会話を読むのは少し気が引けますし、責任を持って行う必要があります — しかし、それは非常に役立ちます。評価やQAだけでは限界があります。実際のユーザーはテストでは決して見つからない無数の問題を見つけ出し、エージェントが実際にどのように対応したかを読むことで、何を修正し、何を追加し、何をそのままにするかを決定しました。

2. エージェントの管理は人の管理とよく似ています。

このフレームはかわいらしく聞こえますが、実際の作業はまさにその通りです。何かをしてほしいとき — 連絡が途絶えた人に再度連絡する、特定の種類のリクエストを別の方法で処理する、トーンを柔らかくする — エージェントに指示を与え、それを実行させ、ログでその作業を確認します。すべてのやり取りに適用したい普遍的な指示もあれば、特定の顧客に固有の指示もあります。両方を正しく行うことが実際の仕事であり、人の管理と同様に、完了することはありません — エージェントが正しく実行することもあれば、そうでないこともあります。

3. ロマンチックな関係を求めようとする人もおり、防ぐにも限界があります。

45,000人いれば、何をしてもその方向に進もうとする人が一定数います。安全策を追加するたびに、他のユーザーにとって製品が少しずつ悪くなるため、ある時点を超えると、通常のユーザーに負担をかけるだけです。人は方法を見つけます。

4. 特化したエージェントは汎用エージェントに常に勝ります。

汎用製品は機能を追加するにつれて劣化し、最終的には直接矛盾する要求に直面します — どちらかを選べますが、両方は選べません。画像はその一例です：画像生成を望むユーザーもいれば、人物の画像を一切望まないユーザーもいました。ロマンチックな要素も同様です：全く望まない人、少しだけ望む人、多くを望む人がいます。1つのエージェントを多くの人に合わせようとするのは非常に困難です。仕事が狭ければ狭いほど、エージェントはそれをうまくこなします。

5. 経済性はどこかから生まれなければなりません。

これは運用コストが高いサービスであり、消費者向け製品では経済的根拠を見つけるのが本当に難しいです — VC資金なしでは存続可能にするのはかなり困難です。エージェントを使用することに真のROIが必要であり、そのためビジネスユースケースに結びつけるのが最も理にかなっています。私たちのエージェントは現在自動運転で、月に約1万ドルを稼いでおり、私たちの知る限り、その機会はそれくらいの規模です。

そこで、学んだすべてをパッケージ化して、誰でもSMSエージェントを作成できるプラットフォームを構築しました。プラットフォーム名はOutside Agentです。コーディングエージェントからエージェントを構築し、希望を説明すると、約30分で実際の電話番号で稼働します。