本文摘要：在人工智能学界，GeoffreyHinton享有十分崇高的地位，甚至被誉为该领域的爱因斯坦。在人工智能领域最顶尖的研究人员当中，Hinton的提到亲率最低，多达了排在他后面三位研究人员的总和。目前，他的学生和博士后领导着苹果、Facebook以及OpenAI的人工智能实验室，而Hinton本人是谷歌大脑（GoogleBrain）人工智能团队的首席科学家。

在人工智能学界，GeoffreyHinton享有十分崇高的地位，甚至被誉为该领域的爱因斯坦。在人工智能领域最顶尖的研究人员当中，Hinton的提到亲率最低，多达了排在他后面三位研究人员的总和。目前，他的学生和博士后领导着苹果、Facebook以及OpenAI的人工智能实验室，而Hinton本人是谷歌大脑（GoogleBrain）人工智能团队的首席科学家。

就在几个小时之前，由Hinton和其在谷歌大脑的同事SaraSabour、NicholasFrosst合作的NIPS2017论文《DynamicRoutingBetweenCapsules》早已月对外公开发表，说明了有所不同Capsules（胶囊）间路由的自学。研究背景目前的神经网络中，每一层的神经元都做到的是类似于的事情，比如一个卷积层内的每个神经元都做到的是一样的卷积操作者。

而Hinton深信，有所不同的神经元几乎可以注目有所不同的实体或者属性，比如在一开始就有有所不同的神经元注目有所不同的类别（而不是到最后才有归一化分类）。具体来说，有的神经元注目方位、有的注目尺寸、有的注目方向。这类似于人类大脑中语言、视觉都有分别的区域负责管理，而不是集中在整个大脑中。为了防止网络结构的杂乱无章，Hinton明确提出把注目同一个类别或者同一个属性的神经元包子集在一起，样子胶囊一样。

在神经网络工作时，这些胶囊间的通路构成稠密转录的树状结构（整个树中只有部分路径上的胶囊被转录），从而构成了他的Capsule理论。值得一提的是，同在谷歌大脑（但不出同一个办公室）的JeffDean也指出稠密转录的神经网络是未来的最重要发展方向，不告诉他能无法也明确提出一些有所不同的构建方法来。Capsule这样的网络结构在合乎人们“一次理解多个属性”的直观感觉的同时，也不会带给另一个直观的问题，那就是有所不同的胶囊应当如何训练、又如何让网络自己要求胶囊间的转录关系。

Hinton这篇论文解决问题的重点问题就是有所不同胶囊间连接权重（路由）的自学。解决问题路由问题首先，每个层中的神经元分组构成有所不同的胶囊，每个胶囊有一个“活动向量”activityvector，它是这个胶囊对于它注目的类别或者属性的密切相关。

树结构中的每个节点就对应着一个活动的胶囊。通过一个递归路由的过程，每个活动的胶囊都会从高一层网络中的胶囊中自由选择一个，让它沦为自己的母节点。对于高阶的视觉系统来说，这样的递归过程就很有潜力解决问题一个物体的部分如何层层组合成整体的问题。对于实体在网络中的密切相关，众多属性中有一个属性较为类似，那就是它经常出现的概率（网络检测到某一类物体经常出现的置信度）。

一般典型的方式是用一个分开的、输入0到1之间的重返单元来回应，0就是没有经常出现，1就是经常出现了。在这篇论文中，Hinton想要活动向量同时回应一个实体否经常出现以及这个实体的属性。他的作法是用向量有所不同维度上的值分别回应有所不同的属性，然后用整个向量的模回应这个实体经常出现的概率。为了确保向量的长度，也就是实体经常出现的概率不多达1，向量不会通过一个非线性计算出来展开标准化，这样实体的有所不同属性也就实质上反映为了这个向量在低维空间中的方向。

使用这样的活动向量有一个相当大的益处，就是可以协助较低层级的胶囊自由选择自己相连到哪个高层级的胶囊。具体做法是，一开始较低层级的胶囊不会给所有高层级的胶囊获取输出；然后这个较低层级的胶囊不会把自己的输入和一个权重矩阵相加，获得一个预测向量。

如果预测向量和某个高层级胶囊的输入向量的标量乘积更大，就可以构成从上而下的对系统，提升这两个胶囊间的耦合系数，减少较低层级胶囊和其它高层级胶囊间的耦合系数。展开几次递归后，贡献更大的较低层级胶囊和接管它的贡献的高层级胶囊之间的相连就不会占到更加最重要的方位。在论文作者们显然，这种“一致性路由”（routing-by-agreement）的方法要比之前仅次于池化之类只保有了唯一一个最活跃的特征的路由方法有效地得多。

网络建构作者们建构了一个非常简单的CapsNet。除最后一层外，网络的各层都是卷积层，但它们现在都是“胶囊”的层，其中用向量输入替换了CNN的标量特征输入、用一致性路由替换了仅次于池化。

与CNN类似于，更加高层的网络仔细观察了图像中更大的范围，不过由于仍然是仅次于池化，所以方位信息仍然都获得了保有。对于较低的层，空间方位的辨别也只必须看是哪些胶囊被转录了。这个网络中最底层的多维度胶囊结构就展现了有所不同的特性，它们起着的起到就像传统计算机图形图形中的有所不同元素一样，每一个胶囊注目自己的一部分特征。这和目前的计算机视觉任务中，把图像中有所不同空间方位的元素人组一起构成整体解读（或者说图像中的每个区域都会首先转录整个网络然后再行展开人组）具备截然不同的计算出来特性。

在底层的胶囊之后相连了PrimaryCaps层和DigitCaps层。实验结果由于胶囊具备新的特性，所以文中的实验结果也并不只是橘子Benchmark而已，还有很多对胶囊带给的新特性的分析。

数字辨识首先在MNIST数据集上，经过三次路由递归自学、层数也远比多的CapsNet就获得了杰出的错误率。同时，作者们依据CapsNet中的密切相关对“网络指出自己辨识到”的图像展开重构，指出在准确辨识的样本中（竖线左侧），CapsNet可以准确辨识到图像中的细节，同时减少噪声。

健壮性由于网络结构中DigitCaps部分需要分别教给书写中转动、笔画、风格等变化，所以对小变化的健壮性更佳。在用一个随机污蔑过数字的MNIST数据集训练CapsNet后，作者们用它来辨识affNIST数据集。

这个数据集中于的样本都是经过大幅度变化后的MNIST样本，变化后的样本如下图。这个CapsNet必要当作辨识affNIST的正确率有79%；实时训练的、参数数目类似于的CNN只有66%。拆分高度重合的数字作者们把MNIST数据集中于的数字两两叠在一起创建了MultiMNIST数据集，两个数字的边框范围平均值有80%是重合的。CapsNet的辨识结果低于CNN基准自不用托，但作者们接下来做到的图形分析中明晰地展现了胶囊的妙处。

如图，作者们把两个转录程度最低的胶囊对应的数字作为辨识结果，据此对辨识到的图像元素展开了重构。对于右图中辨识准确的样本（L指现实标签，R指转录程度最低的两个胶囊对应的标签），可以看见由于有所不同的胶囊各自工作，在一个辨识结果中中用的特征并会影响到另一个辨识结果，不不受重合的影响（或者说重合部分的特征可以适配）。

另一方面，每个胶囊还是必须充足多的周边信息反对，而不是一味地指出重合部分的特征就必须适配。右图左图是中选了一个低转录程度的胶囊和一个较低转录程度胶囊的结果（*R回应其中一个数字既不是现实标签也不是辨识结果，L依然为现实标签）。可以看见，在（5，0）图中，注目“7”的胶囊并没寻找充足多的“7”的特征，所以转录弱；（1，8）图中也是因为没“0”的反对特征，所以重合的部分也没在“0”的胶囊中用第二次。

胶囊效果的辩论在论文最后，作者们对胶囊的展现出展开了辩论。他们指出，由于胶囊具备分别处置有所不同属性的能力，比起于CNN可以提升对图像转换的健壮性，在图像拆分中也不会有出众的展现出。胶囊基于的“图像中同一方位最少只有某个类别的一个实体”的假设也使得胶囊以求用于活动向量这样的分离式密切相关方式来记录某个类别实例的各方面属性，还可以通过矩阵乘法建模的方式更佳地利用空间信息。

不过胶囊的研究也才刚刚开始，他们实在现在的胶囊至于图像识别，就像二十一世纪初的RNN之于语音辨识——研究现在只是刚跟上，日后以定不会大放异彩。现在，对Capsule理论的研究还正处于较为早期的阶段，这也就意味著其还有很多的问题尚待实地考察。不过，现在早已有更加多的迹象指出Capsule可以解决问题一些问题，坚信它是一个有一点更进一步挖出的路径，正如Hinton曾对《麻省理工科技评论》回应，“Capsule理论一定是对的，不顺利只是继续的。

本文来源：ku游官网-www.tjysygb.com