转载公众号 | AI机器学习与知识图谱
本文介绍六篇有关知识图谱预训练的优秀论文，大致上可分为两类，生成学习模型和对比学习模型。其中GPT-GNN模型是生成学习模型，模型灵感来源于自然语言处理中的GPT模型；GCC，GraphCL，DGI，InfoGraph和Multi-View这五篇属于对比学习模型。30页完整汇报ppt获取请关注AI机器学习与知识图谱公众号回复关键字：知识图谱预训练
背景知识
图谱预训练作用：图神经网络(GNNs)已被证明是建模图结构数据的强大工具。然而，训练GNN模型通常需要大量的特定任务的标记数据，而获取这些数据往往非常昂贵。利用自监督GNN模型对未标记图谱数据进行预训练是减少标记工作的一种有效方法，然后将预训练学习到的模型可用在只有少量标签图谱数据的下游任务。
Contrastive Learning 对比学习：自监督学习方案常用的两种方式，一种是生成式学习，另一种就是对比学习。对比学习主要利用了样本间的约束信息构造辅助任务，通过构建正样本和负样本，然后度量正负样本的距离进行自监督学习。对比学习的关键就在于如何合理定义正负样本，也是难点所在。
Generative Learning 生成式学习：生成式方法以自编码器为代表，在自编码器中对数据样本编码成特征再解码重构，以此来学习样本的特征表达。
PAPER PPT
汇报完整版ppt可通过关注AI机器学习与知识图谱公众号后回复关键词：知识图谱预训练来获得。
OpenKG
开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。
点击阅读原文，进入 OpenKG 网站。
