DeepMind发布“通才”AI模型Gato，单一架构且参数仅约12亿

近日，DeepMind 推出了单一通才代理（Generalist Agent）Gato。该 AI 系统能够执行 600 多种不同的任务，可使用相同的权重来完成注释图像、聊天、玩小游戏、关节力矩控制、在现实中使用机械臂堆叠积木、在模拟 3D 环境中导航等众多任务。

据了解，这是第一个在如此多不同任务上都表现较好的 AI 模型。

（来源：DeepMind）

具体来说，Gato 被 DeepMind 描述为一种多模式、多任务、多实施例的通才策略，构建方法与 GPT-3 等大规模语言模型类似。

但相比有 1750 亿参数的 GPT-3，Gato 要小很多，只有约 12 亿个参数。而且，其建设基础非常简洁，只依赖于一个 Transformer 架构。

Gato 训练用的数据集包括模拟环境和现实环境中的大量实际经验数据、各种自然语言和图像数据等。这些数据集及其属性可见下图。

图 | Gato 训练用数据集。样本权重指每个数据集所占平均比例（来源：DeepMind）

据了解，在进行训练时，数据被序列化为一个扁平的令牌序列（Sequence of Tokens），由 Transformer 神经网络进行批量化处理。换句话说，无论是聊天中的单词，还是积木练习中的移动向量，对于 Gato 来说都一样，不会区别对待。

图 | Gato 训练场景（来源：DeepMind）

另外，Gato 在 450 多项任务（共 604 种）上的基准测试中，实现了专家水平约 50% 的性能。

虽然 Gato 比可以达到专家水平的专用 AI 模型还有较大差距，但其胜在能够做的任务数量较多。

但话又说回来，为什么要做一个能做很多事，但各方面都较平庸的 AI 呢？

DeepMind 表示，通用性往往会让 AI 取得更大优势。其说道：从过往 70 年的 AI 历史中，可以看到，更善于利用计算的通用模型最终也倾向于超越更专业的特定领域模型，而且超出幅度很大。最终，通用的 AI 模型可能会取代专门的模型。

值得注意的是，Gato 也不是在所有方面都比专用的机器学习程序要差，比如，在控制堆叠块的机器人臂方面它比专业程序做得更好。

另外，研究人员也提到，预计未来计算能力的增加将弥补通才AI 的不足，计算规模将继续成为机器学习发展的主要载体。

可以说，通用模型越大越好。DeepMind 在 Gato 上也验证了这一点。研究人员在将 Gato 与另外两个分别有 7900 万、3.64 亿参数模型的所有基准任务平均分数，进行比较后发现，对于等效的令牌计数，随着规模的增加，AI 性能会显著提高。更大的 Gato 模型可以使用更多数据进行训练，并可能更好地执行各种任务。

图 | 随着神经网络参数大小的增加，Gato 会变得更好（来源：DeepMind）

DeepMind 还提到了与它同为 Alphabet 子公司的谷歌。谷歌前不久（今年 4 月）推出了有着 5400 亿参数的 Pathways 语言模型，即 PaLM。

对于 PaLM、GPT-3、Gato 等 AI 模型，DeepMind 表示，未来的工作应该考虑如何将它们统一到一个完全通用的代理中，该代理也可以在现实世界、不同环境和实施例中实时行动。

值得一提的是，Gato 可以被视为解决 AI 最困难问题机器人技术的重要一步。

训练机器人可能是机器学习最复杂的领域。据了解，绝大多数 AI 都是在较为理想化的计算机模拟环境中所开发。而现实世界中充满了各种无法预料的约束。

非确定性的机器人在现实世界中会很容易面临失败。例如，让机器人手臂抓住一个物体并将其从桌子上的一个位置移动到另一个位置，这类在我们看来极其简单的任务，对机器人来说也充满着挑战。

出于这个原因，深度学习最困难、也最有前途的应用可能在机器人领域。Gato 或在未来被推向该领域。

研究人员还讨论了一个问题：一个多面手的程序是否比其他类型的 AI 程序更危险？

处理多任务的程序体现了一种人类的适应性，可能会使人们将 AI 代理拟人化，在其系统出现故障的情况下导致错误的信任，或者被恶意行为者利用。

（来源：Pixabay）

虽然跨领域知识转移通常是 AI 研究的一个目标，但如果将某些行为转移到错误的环境中，可能会产生意想不到的不良结果。随着通用 AI 系统的发展，知识转移的伦理和安全考虑可能需要大量的新研究。

因此，研究人员表示：多面手代理仍然只是一个新兴的研究领域，需要对它们的风险和利益，以及对社会的潜在影响进行彻底的跨学科分析。

最后，值得注意的是，Gato 是一个通才AI，但还不能称作通用人工智能（Artificial General Intelligence，AGI）。DeepMind 的研究正在不断向 AGI 或人类水平的智能靠拢。

-End-

参考：https://deepmind.com/publications/a-generalist-agenthttps://zdnet.com/article/deepminds-gato-is-mediocre-so-why-did-they-build-it/https://zdnet.com/article/way-beyond-alphazero-berkeley-and-google-work-shows-robotics-may-be-the-deepest-machine-learning-of-all/https://thenextweb.com/news/deepminds-astounding-new-gato-ai-makes-fear-humans-will-never-achieve-agi