皇冠hga038安卓二维码 皇冠hga038安卓二维码 皇冠hga038安卓二维码

Yoshua Bengio:注意力是“有意识”人工智能的核心要素

作者 | 姜宝尚

注意力机制可能是未来机器学习的核心要素。

图灵奖获得者 Yoshua Bengio 本周在 ICLR 2020 上的客座演讲中强调了这一点。

目前,注意力机制是深度学习的一大杀手。无论是图像处理、语音识别还是自然语言处理,都容易遇到注意力模型。

借鉴人类的注意力机制,关注注意力的焦点,注意力机制作为一个总体思路出现。

Bengio 在其报告《Deep Learning Priors Related to Consciousness》中提到,Daniel Kahneman 的《Thinking, Fast and Slow》一书中指出,人类的认知系统有两种,一种是无意识(fast system),关键词是直觉,非语言的,习惯;第二类是有意识的(慢系统),关键词是口头的、算法的、推理的和计划的。

Bengio 指出,第二类认知系统允许操作、重组语义概念,这是当前人工智能和机器学习算法非常需要的功能。

但目前的机器学习方法还远未从无意识走向全意识,但本吉奥认为,从“无”到“存在”的转变是完全可能的,而注意力是转变过程的核心要素之一。

在报告中,Bengio 提到注意力机制关注其中的几个概念并一次执行计算,因为意识先验及其相关假设中的许多高级依赖关系可以通过稀疏因子图来近似捕获。

最后,报告介绍了元学习,即从先验意识和能动性的角度学习表征,这有助于以新颖的方式支持强大的综合泛化形式。

AI Technology Review对演讲内容进行了编辑整理,供大家参考:

本吉奥:

球球大作战奇妙宝箱怎么获得_球球大作战进化等级_球球大作战进化知识怎样获得

本次报告的主题是深度学习的未来发展方向,尤其是深度学习与意识的关系。事实上,近几十年来,关于意识内容的神经科学研究取得了长足的进步。

球球大作战进化知识怎样获得_球球大作战进化等级_球球大作战奇妙宝箱怎么获得

球球大作战进化等级_球球大作战进化知识怎样获得_球球大作战奇妙宝箱怎么获得

所以现在是机器学习考虑为模型添加意识的时候了。另一方面,它对意识的研究也有好处,有助于测试意识的特定假设功能并将其形式化,还可以让我们从意识中获得一些魔力,了解进化、计算和统计意识的优势。

球球大作战奇妙宝箱怎么获得_球球大作战进化等级_球球大作战进化知识怎样获得

对于意识,在《思考,快与慢》一书中,丹尼尔·卡尼曼对直觉、幻觉、偏见等许多常见现象进行了科学解释,并介绍了“系统1、系统2”,即人类的两种思维模式。大脑被描述。

对于【系统一】,想象一下这样的场景:在你已经非常了解路况的道路上驾驶汽车,此时你并没有全神贯注于驾驶,如果有人在和你说话,你也很容易回应。

相反,【系统2】的场景描述是:如果你在一个新地方开车,这个时候有人跟你说话,你会很烦,因为你要专心开车。

所以“系统一”的任务涉及直觉知识,执行速度非常快,在不知不觉中一步步发生。“系统一”通常涉及隐性知识,很难用语言来解释,但人工神经网络擅长存储隐性知识,这也是深度学习现在做得这么好的原因。

“系统2”的任务需要有意识地、有序地描述,并且可以用语言来描述。这也称为显性知识,它涉及推理和规划的算法。

所以“System 2”在执行任务的时候可能会很慢,但是涉及的关键确实是我们想要进一步扩展深度学习的功能。

简而言之,System 2 任务的一个有趣特性是它允许操纵高级语义概念,这些概念可用于新情况并与分布外泛化相关联,这正是未来深度学习所需要的“操纵”功能。

球球大作战进化知识怎样获得_球球大作战奇妙宝箱怎么获得_球球大作战进化等级

从认知的角度看,我们大脑中关于世界的知识和认知可以分为两类:隐性知识和显性知识。能被语言化的其实是一种特殊的知识,我们应该尽量去描述和表征它,这样我们才能把它放到模型的训练框架中。此外,这些知识是围绕我们可以用语言命名的概念组织起来的。因此,这些研究与建立更好的自然语言理解之间存在着密切的联系。

球球大作战进化等级_球球大作战进化知识怎样获得_球球大作战奇妙宝箱怎么获得

球球大作战奇妙宝箱怎么获得_球球大作战进化等级_球球大作战进化知识怎样获得

将意识加工成深度学习需要先验知识。那么什么样的先验知识可以帮助将深度学习扩展到“系统 2”任务中存在的高级概念和结构?

第一个前提是高层之间的某种联合分布的结构,也称为语义变量。联合分布可以用图模型来描述,尤其是因子图,因为它是稀疏的,并且每块涉及的知识很少。此外,这些变量往往与因果关系有关。

还有一个关于高级变量的假设,即思想与单词和句子之间存在简单的关系,因此可以表达有意识的思想。

例如,在编程或逻辑思维中,某些知识是可重用的,可以将它们视为跨多个实例应用的规则,当然也可以视为类似于函数的参数。

考虑变量中的数据类型如何随时间变化以及概率分布如何随时间变化也很重要。弄清楚这一点很重要,因为这些变量可能是因果关系的闪光点。这里涉及的假设是,当分布发生变化时,联合分布的其余部分大多不会随关系而变化。

还需要注意的是,我们的观察、感官数据、低级动作和高级变量,当有干预时,唯一改变的是高级变量的某些属性,而不是它们与低级变量的关系洞察力。

最后一个假设是关于推理和计划,以及分配这些变量的原因(信用分配),这里的假设是这里的信用分配涉及更短的成本变化。

符合上述假设的先验知识可以帮助扩展深度学习。

球球大作战进化等级_球球大作战进化知识怎样获得_球球大作战奇妙宝箱怎么获得

然后看“系统2”这个任务的有趣本质,也就是所谓系统的泛化能力。专业的语言学对此做了大量的研究。这些研究发现,人类可以动态地重组现有的概念,形成一个新的概念。

这些概念可以是口头的,也可以是视觉的,如上图所示,不同类型的车辆组合形成一个新的概念,这种概念的重组可以解释我们以前从未见过的观察,即使在以下条件下也是可能的训练分布概率为零。

球球大作战进化知识怎样获得_球球大作战进化等级_球球大作战奇妙宝箱怎么获得

对于这种现象,我们迄今为止在多篇论文中通过实验观察到的是,当前的深度学习系统在发生这种分布变化时表现不佳,并且往往会过拟合。

球球大作战进化知识怎样获得_球球大作战奇妙宝箱怎么获得_球球大作战进化等级

显然,人工智能不如人类做的那么好,经典的人工智能程序想要两全其美,避免基于人工智能规则的符号操作的经典陷阱。

这需要保留通过深度学习获得的一些收益,例如“系统1”中的高效-大规模学习、语义基础和知识表示,以及机器学习正确处理不确定性的能力。

然而,我们想要的是与“系统 2”相关的一些优势,在分解知识之后,我们可以操作变量、实例和引用。

球球大作战进化等级_球球大作战进化知识怎样获得_球球大作战奇妙宝箱怎么获得

接下来看注意力机制,在过去的几年里,软注意力等工具在深度学习方面取得了进展,这可能是我们向“未来深度学习”过渡到“操纵”能力的关键。

从机器翻译开始,软注意力对自然语言处理产生了巨大的影响,一些有趣的神经科学表明,这种注意力就像一种内部肌肉运动。

球球大作战进化等级_球球大作战奇妙宝箱怎么获得_球球大作战进化知识怎样获得

以上是神经科学中关于意识的几个理论的核心,尤其是全局工作空间理论,其中大部分是由Baars提出的,涉及意识过程的瓶颈问题。

目前一般认为信息是使用注意力来选择的球球大作战进化知识怎样获得,即从许多可能的模式和输入的部分中选择信息,然后将选择的信息广播到大脑的其他部分,并将其存储在短期记忆中以适应短期感知和行动。

这里有一件有趣的事情要注意,如果我们将大脑的大脑皮层视为一个大型模拟引擎,那么假设一次只能运行一个“完整”模拟,而不是只涉及少数几个的“完整”模拟每一步的抽象概念“电影模式”。

球球大作战进化等级_球球大作战进化知识怎样获得_球球大作战奇妙宝箱怎么获得

球球大作战进化等级_球球大作战进化知识怎样获得_球球大作战奇妙宝箱怎么获得

从人们的口头报告中,我们可以判断某些事件是有意识的还是无意识的。其实,不仅是口头报告,理解也很重要,因为它可以将高层次的表现与低层次的感知联系起来。但也有很多关于这个世界的知识,是我刚才谈到的那些强有力的假设无法代表的。

球球大作战进化知识怎样获得_球球大作战进化等级_球球大作战奇妙宝箱怎么获得

2017 年,我在论文中提到了意识先验。如果用因果图来表示,每个因素都可以看成一个句子一样涉及多个变量的联合分布。

高级语言的一个惊人特性是我可以在一句话中做出隐含的预测。例如,“如果我扔球,球会掉到地上”

也可以做出只涉及少数概念的强预测,而不是通常的边际独立假设,我们假设高级变量是独立的。

这些都和我刚才讲的注意力的概念有关,因为当你想对这样一个稀疏图进行推理时,合理的做法是一次只关注一个或几个因素。

球球大作战进化知识怎样获得_球球大作战进化等级_球球大作战奇妙宝箱怎么获得

关于事物在分布中如何变化的假设也非常重要,因为它们提供了一些“有意识的处理”的力量。

想象这样一张图:有原始数据,它有一个非常复杂的联合分布,我们将它用两个层次来表示。那么原始数据的四分之一被映射到抽象空间中,在这个假设下,当分布发生变化时会发生什么?

事实上,在抽象空间中,变化是局部的,可能只需要修改一个变量、一个条件或一个因素。因此,学习如何拟合修改后的分布变得容易得多,并且如果信息以正确的方式表示,则可以快速传输。

球球大作战奇妙宝箱怎么获得_球球大作战进化知识怎样获得_球球大作战进化等级

球球大作战进化知识怎样获得_球球大作战奇妙宝箱怎么获得_球球大作战进化等级

这些变化是如何产生的?很可能是因为代理在全球范围内做某事。由于物理行为在空间和时间上是本地化的,因此代理只能以本地化的方式做事。

例如,如果我戴太阳镜,在较高的层次上,只看到一点变化,但在较低的层次上,变化非常大,因为所有像素都有不同的联合分布。

球球大作战进化等级_球球大作战奇妙宝箱怎么获得_球球大作战进化知识怎样获得

当分布发生变化时会发生什么?一般的机器学习模型训练假设使用的数据服从独立同分布,但这显然不符合实际情况。因此,我们使用元学习目标来学习如何模块化获得的知识并找到它们之间的因果关系。

具体来说,我们在一个简单的设置中尝试了这个想法,首先,使用两个变量 a 和 b,通过改变分布进行学习,对其中一个变量进行干预,在这种情况下,我们找到了学习的速度。

球球大作战奇妙宝箱怎么获得_球球大作战进化知识怎样获得_球球大作战进化等级

这个发现是一个很好的线索,可以判断你是否有正确的假设,是否有正确的高级变量集。我们最近在理论上扩展了这项工作关于 A 和 B 是谁的原因,证明何时可以收敛到正确的因果假设。

译者注:论文是《A Meta-Transfer Target Learning to Unravel Causal Mechanisms》

地址:openreview.net/forum?id=ryxWIgBFPS

球球大作战进化知识怎样获得_球球大作战奇妙宝箱怎么获得_球球大作战进化等级

最后,提一下我要提的工作,一篇名为“Recurrent Independent Mechanisms”的论文重新定义了一种新的循环神经网络架构。在这种架构中,循环网络被分解成更小的模块,并且在每个模块内部,它是完全连通的,而不是同构网络。模块之间,有一个注意力机制,当然你也可以把它当做意识的焦点。

球球大作战奇妙宝箱怎么获得_球球大作战进化等级_球球大作战进化知识怎样获得

综上所述,在之前的演讲中,我试图勾勒出深度学习的研究方向,以捕捉深度学习“系统一”的知识。我发现这里有很多有趣的研究方面球球大作战进化知识怎样获得,比如系统之外是什么,事物是如何分布的,知识是如何呈现的……

为了解决这些问题,知识先验是一个非常好的思路,它可以让知识被分解和重组,然后对应依赖的知识,并且可以涉及的变量很少。显然,这非常有趣,因为它允许代理快速适应分布的变化。