我构建了一个AI代理,已经覆盖了45,000人——750万条消息和73.5万通电话。以下是我一路走来学到的一些东西:
1. 阅读对话是不可替代的。
我们对日志进行匿名化处理——阅读用户对话感觉有点不道德,你需要对此负责——但这非常有帮助。评估和质量检查只能发现这么多。真实用户会发现你测试中永远不会遇到的无数问题,而阅读代理实际处理这些情况的方式,是我们决定修复什么、添加什么以及保留什么的依据。
2. 管理代理很像管理一个人。
这种说法听起来很可爱,但工作方式确实如此。当我想做某件事时——重新联系那些沉默的人,以不同方式处理某种请求,缓和语气——我会给代理指示,它就会去执行,然后我在日志中检查它的工作。有些指示是通用的,是你希望在每次交互中都体现的。有些则针对特定客户。把两者都做好才是真正的工作,就像管理一个人一样,你永远无法完成——有时代理做对了,有时没有。
3. 有些人会试图让它变得浪漫,而你只能阻止这么多。
在45,000人中,无论你做什么,都会有一部分人朝那个方向推进。你添加的每一条安全措施都会让产品对其他用户稍微变差,所以超过某个点,你只是在惩罚你的正常用户。人们总能找到办法。
4. 特定代理总是优于通用代理。
通用产品随着你不断添加功能而退化,最终你会遇到直接冲突的需求——你可以拥有其中之一,但不能同时拥有。图片对我们来说就是一个例子:一些用户想要图像生成,另一些用户根本不想要任何人的图像。浪漫内容则是另一个例子:有些人完全不想要,有些人想要一点,有些人想要很多。试图塑造一个代理来适应很多人是非常困难的。工作范围越窄,代理做得越好。
5. 经济性必须来自某个地方。
这是一项运营成本高昂的服务,对于消费产品来说,找到经济合理性确实很难——没有风险投资的支持,很难使其可行。使用代理需要有真正的投资回报率,这就是为什么将其附加到商业用例上最有意义。我们的代理现在以自动驾驶模式运行,每月大约赚取10,000美元,据我们所知,这差不多是这个机会的上限了。
因此,我们将学到的一切打包成一个平台,任何人都可以创建短信代理。这个平台叫做Outside Agent。你可以通过你的编码代理来构建它们——描述你想要的内容,大约30分钟后它就会在一个真实的电话号码上上线。


第四名是人们争夺最激烈的。我为企业构建这些系统,通用版本在演示中总是看起来很出色,但一旦扩大范围,就开始遗漏真正的问题。
对我有效的解决方案:故意保持代理的狭窄范围。它只从企业自己的内容中回答,任何超出范围的问题都会转交给人工处理,而不是猜测。这一条规则对可靠性的提升比任何额外的训练数据都有效。
你的图像示例也是如此。一旦你试图服务所有人,你就无法很好地服务任何人。最好发布狭窄版本,并对其他需求说不。