Auto-GPT实测报告虽不完美但却是最有前景的AI路线

电视盒子信息

Auto-GPT找到了所需要的数据,但是也仅给出了分析出的Top5的盒子的参数和价格,并没有列出数据来源和评判标准。同时也没有做市场分析,只是单列出了数据和配置,没有针对所收集到的数据进行额外分析。

可以说虽然Auto-GPT降低了对Prompt的依赖性,但是对初始任务的描述详细性仍然要求较高。

2.测试二任务:自动写作。

这个测试中,Auto-GPT被定义为作家,要求写一个以赛博朋克为背景的科幻小说的大纲。

Auto-GPT完成的非常出色,其在文件夹中分别生成了几个文件:“赛博朋克大纲”、“对话”、“赛博朋克调查”、“世界背景”、“人物性格”、“人物目标及其背景”等等文件。每份文件中都详实地记下了其文件名的内容,而且每个内容都是基于同一个世界观下生成的。

Auto-GPT的长期记忆功能帮助了Auto-GPT可以始终保持在相同的背景设定里而不偏离。虽然没有完成整篇文章,但是故事脉络已经非常清晰,甚至已经可以说是在“创作”一些新文字了。

03 Auto-GPT当前的问题

1.开销极高

Auto-GPT是基于GPT-3.5和GPT-4而建立起来的。而GPT-4的单个token价格为GPT-3.5的15倍。

假设每次任务需要50个step(较好状况下),每个step会花费6K tokens的GPT-4 使用量,Prompt(提示词)和Completion(回答)的平均每一千tokens花费是0.05美元(因为实际使用中回答使用的token远远多于提示词),汇率为1美元 : 6.8人民币,那么花费就是50*6*0.05*6.8=102人民币。

GPT-4 API访问价格

GPT-3.5 API访问价格

注意,这仅仅只是理想状况下,而且假设了使用时Auto-GPT没有出现其他的问题(后续会提到),单次任务的成本就为100余元。这个成本显然是不可以被大规模应用的。

2.常见死循环现象

在执行任务的时候,Auto-GPT会将任务细化并分解。但是一旦遇到了一些GPT-4都无法处理的问题时,就会陷入自我循环,每一个step执行完后的动作都为“do_nothing”,而且下一个动作仍为这个。

但是每次都会将相同的Prompt交给GPT-4处理从而造成了极其大量的资源浪费现象。而且从目前来看并没有什么很好的解决方案。

Auto-GPT陷入死循环中常见表现

除了这种do_nothing类型的死循环外,还可以经常发现Auto-GPT的另一种死循环,即生成的python脚本执行的时候无法正确完成任务。

接着GPT-4就会尝试修复脚本,再重新执行。通常的修复可能分为很多步让人很难发现问题所在。但是通常来说这种修复都是不起作用的,就又会陷入另一种死循环。

3.执行速度过慢

从实测的第一个问题来看,还有一个非常大的问题就是响应速度过慢。GPT-4的生成token的速度就比GPT-3.5慢许多,再加上脚本执行指令(比如Google)所消耗的时间就更长了。

本次统计出Top5的电视盒子,Auto-GPT共耗时8分钟,进行了20个steps完成了总结。但是联网的AI工具除了Auto-GPT还有的AI工具可以完成,例如New Bing。

虽然Bing无法自我搜索网络评论并鉴别是否为虚假评论,而且数据来源比较狭窄,但是New Bing的响应只花了8秒,还提供了参考链接供读者自行参考,比起Auto-GPT更加直观。

04 总结

AGI,即通用人工智能,最重要的一个特点就是脱离人工监督可自行完成任务,并且可以完成一些“创意任务”。而Auto-GPT正是在当前条件比较有限的前提下对AGI做出的一个有益尝试。

通过主任务生成子任务(也有人叫子智能体)的方法而让AI通过LLM脱离人类监督自行完成任务可能是未来的发展方向之一。

当前的问题是LLM的能力还是比较弱,对当前的状态把握的还不够好,从而经常让自己陷入死循环需要人类的介入。而且虽然向量数据库成功赋予了AI中长期记忆的可能性,但是对于后续的任务缺无法继续沿用此前的记忆了。

执行速率也可以通过调整架构提升,例如将逐项执行的子智能体转换为可以异步同时执行的模式,大幅提升效率,每一步不强依赖于上一步,就可以极大提升运行效率。又可以像Bing一样快速获取信息,还可以自行分析获取内容达到超过New Bing的效果。

在可预见的未来,这种自动生成子智能体的AI会进一步发展,为复杂问题的解决给出一种新式的答案。