HuaRenCa
Back to Forum
Community

実際に役立つAIエージェントの作り方:デモだけじゃない

sanqi
sanqi

2 months ago

しばらくAIエージェントについて読んできましたが、そのたびに同じ感覚に陥ります。制御されたデモでは印象的に見えても、実際のワークフローに適用しようとすると崩れてしまうのです。

見つけたチュートリアルのほとんどは、おもちゃの例(このPDFを要約、CSVについて質問に答える)か、あまりに抽象的で実際のビジネスプロセスにどうマッピングすればいいかわかりません。私のチームは、CRM、いくつかの内部ツール、そして誰も適切に文書化していない手動の引き継ぎステップにデータが散らばった、かなり複雑な営業オペレーションワークフローを扱っています。その一部でも処理できるエージェントのアイデアは魅力的ですが、十分な資金のあるエンタープライズパイロット以外では、その技術はまだそこまで来ていないと正直疑っています。

実際にノートブックに住む概念実証ではなく、本番環境で動作するものをデプロイした人はいますか?具体的に知りたいです:どのツールやプラットフォームを使ったか、実際にどのワークフローを引き継いだか、どこで壊れたり失望したか。誇大広告ではなく、実際にそのフラストレーションを経験し、何が現実かを教えてくれる人が欲しいのです。

3
16

Comments (3)

Your avatar
Sign in to comment
yantao
yantao2 months ago

ええ、実際にクライアント向けに本番環境でいくつか導入した経験から言うと、正直な答えは、デモと実際のワークフローの差はほぼ完全にデータの信頼性と判断境界にあり、AI自体にはありません。

デモがうまくいくのは、すべてがクリーンで範囲が限定されているからです。あなたの営業運用ワークフローには、CRMデータの乱雑さ、文書化されていない引き継ぎ、誰も書き留めていないエッジケースがあります。エージェントがそれに遭遇すると、先への道を幻覚するか、単に停止します。どちらも良くありません。

実際にうまくいった方法は、1つの引き継ぎステップから始めることです。最も面倒なもの、つまり誰かが手動で2つのツール間でコピーペーストしていたり、週に30回同じメールを書いているようなものです。ワークフロー全体を自動化しようとしないでください。まずはその1つの部分を本番で確実に動作させることです。それにより、ロジックを文書化する必要も生まれ、おそらくチームにも必要だったものです。

ツールについては、クライアントがセルフホストを希望する場合にはn8nをオーケストレーションに使用し、判断レイヤーにはOpenAIの関数呼び出しとカスタムロジックを組み合わせて使用しています。プラットフォームよりも、エージェントが独自に判断してよいことと、人間に戻す必要があることの境界をどれだけ明確に定義しているかの方が重要です。

どこで壊れるかというと、不完全な情報に基づく判断が必要な場合です。CRMレコードにフィールドが欠けていたり、2つのツールでデータが矛盾している場合、エージェントはそのケースを明示的に処理していなければ、自信を持って間違ったことをします。そして、すべてのケースを事前に処理することはできないので、本番で失敗をキャッチすることになります。それが現実です。

何かを構築する前にチームに尋ねるべき質問は、このタスクを実行するために新入社員が従う正確なルールを書き出せますか?もし答えがノーなら、エージェントはまだ問題ではなく、プロセスが問題です。

meisan
meisan2 months ago

デモから実運用へのギャップは、ほとんどの場合モデルではなく、ツールと障害処理にあります。セールスオペレーションフローをまずプレーンなスクリプトとして書き出し、CRMと内部ツール全体でハッピーパスをハードコードします。次に、LLMには実際に判断が必要なステップ(どのレコードが一致するかの選択やフォローアップの作成など)だけを渡します。各ツールに型付き入力を与え、何かが進む前にその出力を検証し、すべての呼び出しをログに記録してどこで壊れるかを確認できるようにします。3つのステップを確実に実行するエージェントは、20のステップを試みて静かにデータを破壊するものよりも優れています。

zhezhe
zhezhe2 months ago

farhadnawabはすでに大きなポイント(モデルではなく、データの信頼性と決定境界)を指摘しているので、私にとって違いを生んだ部分を追加します。ワークフロー全体を自動化しようとするのではなく、繰り返される1つのステップを自動化し、重要なことには人間の承認ボタンを設けることです。

デモが本番で死ぬ理由は能力ではなく、信頼です。CRMに自律的にアクセスするエージェントは毎回正しくなければならず、そうでなければ損害を与えます。しかし、更新をドラフトしてワンクリックを待つエージェントは、85%の精度でも有用です。なぜなら、人間が15%をキャッチする位置にいるからです。ただし、ドラフトが一目で確認でき、ただ承認するだけの出力の壁にならないことが条件です。ゲートは実際に何が変わったか見える場合にのみ機能しますが、そうすれば信頼できないものを出荷可能にします。

あなたの営業業務の混乱に対しては、エージェントを「ワークフロー」全体に向けるのではなく、最も面倒な繰り返しの引き継ぎを1つ選び、完成したドラフト(メール、CRM更新、サマリー)を生成させ、承認のためにあなたをループに入れてください。それが出荷可能です。「エージェントが全体を無人で実行する」は出荷できませんし、そうあるべきでもありません。(私はこの分野で構築しているので、この壁に何度かぶつかりました。)