塞进裤子ヾ(≧O≦)〃嗷~

0%

TKRL:Representation Learning of Knowledge Graphs with Hierarchical Types笔记

Abstract

大部分知识表示学习方法忽略了实体中丰富的层次类型信息(hierachical types of entites)。作者认为不同类型的实体应该具有不同的表示。更具体地说,将hierachical tyoes作为实体的投影矩阵,用两种类型的encoder对hierachical结构进行变建模。同时,type information也是特定关系类型的一种约束。

Introduction


William Shakespeare has a variety of types (e.g. book/author, award/award_nominee and music/artist) and shows different attributes under different types.
因此不同场景下,实体应该具有不同的表示

对每个triple(h,r,t),h和t首先被投影到相应的type空间,表示为$h_{rh}$和$t_{rt}$.
利用两种hierachical type encoder构造type-specific投影矩阵。
通过最小化能量函数优化TKRL
$E(h,r,t)=||h_{rh}+r-t_{rt}||$
此外,type information也被作为训练和评估的type constraints.

Methodology

hierachical typeinformation指的是不同场景下entity扮演不同角色。
TKRL:
对每个type c,构造type-specific投影矩阵$M_c$,然后在specific type $c_{rh}$和$c_{rt
}$的投影下表示h和t。能量函数定义为
$$E(h,r,t)=||M_{rh}h+r-M_{rt}t||$$
其中,$M_{rh}$和$M_{rt}$是h和t不同的投影矩阵,作者提出用两种类型的encoder构造这些投影矩阵。

hierachical type encoder

首先提出一个一般形式的type encoer来构造每个实体的投影矩阵,接着提出两个现金的encoder能够利用层次结构的内部连接和特定关系类型信息的先验知识。
General form of type encoder
大多数实体不止一个类型,可作为实体表示的一种补充信息。对于一般形式的type encoer:实体e的投影矩阵$M_e$是所有type矩阵的加权和。

其中,n是实体e的类型总数,$c_i$是实体e的ith type,$M_{ci}$是类型$c_i$的投影矩阵,$\alpha_i$是$c_i$相对应的权重。
对于一般形式的type encoer,不同场景下,每个实体e的投影矩阵是相同的。
然而,不同场景下,实体应该有不同的表示以加强属性的重要性

类型的投影矩阵可通过以下两种编码构造:
Recursive hierachical encoder(RHE)
每个sub-type(i.e. layer)以不同粒度表示为一个投影矩阵。在投影过程中,实体(如William Shakespeare)首先会被映射到更一般的sub-type空间中(如book),然后再被映射到更精确的sub-type空间中(如book/author)。
投影矩阵$M_{c}$被定义为:

其中,m是类型c在层次结构中的层数,$M_{c^{(i)}}$表示ith sub-type $c^{(i)}$的投影矩阵。
Weighted hierachical encoder(WHE)
WHE考虑了层次的权重

定义最终损失函数

if help:小手一抖点个广告 or 大手一挥资助一下