中国科技产业网
楚留香
您当前的位置:中国科技产业网 > 资讯

图神经网络还能这样学看新加坡小哥圈圈画画搞掂GNN

放大字体  缩小字体 2020-04-06 06:37:32  阅读:2558 作者:责任编辑NO。郑子龙0371

选自medium

作者:Rishabh Anand

机器之心编译

参加:Panda

在交际网络剖析等一些运用中,图神经网络现已得到了广泛的运用。新加坡科技研讨局(A*STAR)的研讨者 Rishabh Anand 近来通过图解的方法介绍了图与图神经网络的根本概念,或许能协助初学者更直观地了解图神经网络的内涵和价值。此外,为了满意读者们对图神经网络的学习需求,机器之心联合极验团队向读者们赠送 20 本《浅显易懂图神经网络:GNN 原了解析》,欢迎咱们活跃留言取得赠书。

图深度学习(Graph Deep Learning,GDL)是一个很有发展前途的研讨范畴,根据图数据来学习和剖析十分有用。本文将介绍简略图神经网络(GNN)的根底常识及其内涵作业原理背面的直观常识。不过,咱们不需要过多的忧虑,为了能够更直观地看懂终究发生了什么,作者在文中运用了许多彩图给出图解信息。

图(Graph)是什么?

图是一种由衔接在一同的节点(极点)和边构成的数据结构,可用于表明没有清晰起点或结尾的信息。一切节点都可占有空间中的恣意方位,当用二维或多维空间绘制图的结构时,具有类似特征的节点一般会集合到一同。

这便是一个图,由一群别离表明实体的互连节点构成。

边上面的黑色尖头表明节点之间的联系类型,其可表明一个联系是双向的仍是单向的。图有两种首要类型:有向图和无向图。在有向图中,节点之间的衔接存在方向;而无向图的衔接次序并不重要。有向图既可所以单向的,也可所以双向的。

图能够表明许多事物——交际网络、分子等等。节点能够表明用户/产品/原子,而边表明它们之间的衔接,比方重视/一般与相衔接的产品一同购买/键。交际网络图或许看起来像是这样,其间节点是用户,边则是衔接:

节点表明用户,边则表明两个实体之间的衔接/联系。实在的交际网络图往往愈加庞大和杂乱!

接下来作者会介绍一些概念,如循环单元、嵌入向量表征和前馈神经网络。知道一些有关图论的常识(比方什么是图以及图的形状)也很不错。

有些术语你或许并不了解。不需要过多的忧虑!关于那些让人疑问的术语,作者都极力链接了他能够找到的最靠谱的解说,能让你了解所涉概念的根本意义。根据此,你还能进一步了解这些概念,一同还能了解它们在图神经网络中所发挥的效果。

了解图神经网络

每个节点都有一组界说它的特征。在交际网络图的事例中,这些特征可所以年纪、性别、寓居国家、政治倾向等。每条边衔接的节点都或许具有类似的特征。这体现了这些节点之间的某种相关性或联系。

假定咱们有一个图 G,其具有以下极点和边:

这个图与上图是相同的。

为了简略起见,咱们假定其特征向量是当时节点的索引的 one-hot 编码。类似地,其标签(或类别)可设为节点的色彩(绿、红、黄)。那么这个图看起来会是这样:

节点的次序其实并不重要。

注:在实践运用中,最好仍是不要运用 one-hot 编码,由于节点的次序或许会十分紊乱。相反,应该运用可显着区别节点的特征,比方对交际网络而言,可选择年纪、性别、政治倾向等特征;对分子研讨而言可选择可量化的化学性质。

现在,咱们有节点的 one-hot 编码(或嵌入)了,接下来咱们将神经网络引进这一混合信息中来完结对图的修正。一切的节点都可转化为循环单元(或其它任何神经网络架构,仅仅我这儿运用的是循环单元);一切的边都包括简略的前馈神经网络。那么看起来会是这样:

其间的信封符号仅仅每个节点的 one-hot 编码的向量(嵌入)。

音讯传递

一旦节点和边的转化完结,图就可在节点之间履行音讯传递。这样的一个进程也被称为「近邻聚合(Neighbourhood Aggregation)」,由于其涉及到环绕给定节点,通过有向边从周围节点推送音讯(即嵌入)。

注:有时候你可为不相同的边运用不同的神经网络,比方为单向边运用一种神经网络,为双向边运用另一种神经网络。这样你依然能够获取节点之间的空间联系。

就 GNN 而言,关于单个参阅节点,近邻节点会通过边神经网络向参阅节点上的循环单元传递它们的音讯(嵌入)。参阅循环单位的新嵌入更新,根据在循环嵌入和近邻节点嵌入的边神经网络输出的和上运用循环函数。咱们把上面的赤色节点扩大看看,并对这一进程进行可视化:

紫色方块是一个运用于来自近邻节点的嵌入(白色信封)上的简略前馈神经网络;赤色三角形是运用于当时嵌入(白色信封)和边神经网络输出(黑色信封)之和上的循环函数,以得到新的嵌入(最上面的白色信封)。

这样的一个进程是在网络中的一切节点上并行履行的,由于 L+1 层的嵌入取决于 L 层的嵌入。因而,在实践中,咱们并不需要从一个节点「移动」到另一节点就能履行音讯传递。

注:边神经网络输出(黑色信封)之和与输出的次序无关。

终究的向量表征有什么用?

履行了几回近邻聚合/音讯传递流程之后,每个节点的循环单元都会取得一组全新的嵌入。此外,通过多个时刻进程/多轮音讯传递之后,节点对自己和近邻节点的信息(特征)也会有更好的了解。这会为整个图创建出愈加精确的表征。

要进一步在该流程的更高层面上做处理或许仅仅简略地表征该图,你能够将一切嵌入加到一同得到向量 H 来表明整个图。

运用 H 比运用邻接矩阵更好,由于不管怎样对图进行改变变形,这些矩阵都并不表征图的特征或共同性质——仅仅节点之间的边衔接(这在某些景象下并不是很重要)。

总结一下,咱们将一切节点循环单元的终究向量表征加到一同(当然,与次序无关),然后运用所得到的向量作为其它作业进程的输入或简略地将其用于表征该图。这个进程看起来如下图所示:

这是通过 n 次重复音讯传递之后带有已彻底更新的嵌入向量的终究图。你能够将一切节点的表。征加到一同得到 H。

四进程助你完结图神经网络

GNN 用起来适当简略。事实上,完结它们涉及到以下四个进程:

给定一个图,首先将节点转换为循环单元,将边转换为前馈神经网络;

接着为一切节点履行 n 次近邻聚合(也便是音讯传递);

然后再在一切节点的嵌入向量上求和以得到图表征 H;

终究能够彻底越过 H 直接向更高层级进发或许也可运用 H 来表征该图的独有性质。

小结

现在咱们清楚地了解图神经网络的运转方法了。得益于 GNN 在图节点之间依靠联系进行建模的强壮功能,它在交际网络、常识图谱和引荐体系方面都有广泛的运用。以交际网络图为例,GNN 在内容引荐方面体现很好。举个比如,当一个用户重视另一个政治倾向类似的用户时,GNN 可用于节点分类,以猜测是否可将网站上的特定内容发送到上述用户的新闻流;当 GNN 用于「引荐重视」时,体系可优先考虑用户地点的职业,再供给潜在的衔接——边分类。

图深度学习其实十分风趣。本文的亮点在于运用一些可视化图介绍了图神经网络的根底概念,但假如想要透彻地了解 GNN,咱们最好自己写代码完结看看。

赠书《浅显易懂图神经网络:GNN 原了解析》

想要更体系地学习图神经网络?机器之心联合极验团队向读者们赠送 20 本《浅显易懂图神经网络:GNN 原了解析》。本书为极验 AI&图项目团队倾力之作!从原理、算法、完结、运用 4 个维度具体解说图神经网络,理论与实践相结合。白翔、俞栋等学术界和企业界领军人物强烈引荐。

赠书方法:读者们可留言谈论对图神经网络的了解,取得点赞量最高的 20 名读者可取得赠书

点击阅览原文,检查购买链接。

“如果发现本网站发布的资讯影响到您的版权,可以联系本站!同时欢迎来本站投稿!