如何评价 DeepMind 新发布的通用人工智能 Gato?
admin
2023-07-31 22:42:08
0

看到这个问题,我第一时间想起去年DeepMind的另一篇论文,那篇论文大概是说:「别搞其他有的没的,只要强化学习搭配合适的reward,就能实现通用人工智能!虽然我们还没做出来」

我以为能用强化学习实现通用智能了。结果今年的论文,还是Transformer。

不过DeepMind挺有意思啊,之所以称之为Generalist Agent(通才代理),而不是AGI(Artificial General Intelligence),还是考虑过的。

回答区其实都总结得差不多了,确实要说这是强人工智能,那么确实还差的远,更像是多任务学习玩出新高度了,不过还是得承认,挺强的了。

1. 令人惊喜的地方

1.1. 简洁的架构

这个项目给我第一个亮点是,这只用了一个transformer。尤其在推特上看到这个老哥的对比图,感觉更是震惊。



2019年,DeepMind出过一个游戏AI,AlphaStar,用于打游戏StarCraft II。当时是架构是这样的,非常复杂:



而到了2022年,一个可以完成数百个任务的AI,它的架构仅仅是:




1.2. 不再那么烧钱

其实Gato还是指出了一个方向:Transformer即使不能成为通用智能,也能成为多面手,毕竟:

  • 只用了12亿参数(咦,一块显卡都没的我为啥要说「只」)
  • 据说训练Gato仅需5万美元

就这点花费,就能在604个任务上,有450个任务中都超过了专家水平的50%,这比很多巨量语言模型省钱多了。当然,性能肯定比不上的。


2. 不要太兴奋

虽然Gato看起来很强,但它执行的任务主要是Atari游戏和机械控制,但这些任务其实并不算复杂任务。例如Atari的游戏,所以前面其实和AlphaStar的架构对比,仅仅是为了展示简洁性,要比性能肯定是不公平的,因为AlphaStar玩的游戏是StarCraft II,比Atari的游戏复杂得多。当然,这里没有否定Gato的意思,毕竟如果通用模型想战胜专用模型,需要付出更更更高的复杂度。

你看论文时,看到下图会感觉水平挺不错啊,但我个人感觉,这些结果存在一定的cherry-picking。研究时好看,如果要落地到应用中,肯定会被骂成「通用人工智障」(oд)o,如果你用过GPT-3或者其衍生品(例如Copilot),就知道,连1750亿参数的语言模型都不是那么好用,更别说12亿参数的多任务模型。




彩蛋

顺便一说,Gato其实是西班牙语的猫的意思,所以,其实有没可能,桔猫就是人工智能?怪不得桔猫那么认真学习机器学习,原来,Gato就是你!



相关内容