借着ACL2022一篇知识增强Tutorial的东风，我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇总，感兴趣的可以去细看下。这一章我们只针对NLU领域3个基于实体链接的知识增强方案Baidu-ERNIE，THU-ERNIE和K-Bert来聊下具体实现~ 知识增强
推荐序 怎么做到刻意练习 任务难度要适中 要收到反馈 有足够多的次数重复练习 能够纠正自己的错误 长时工作记忆 艾利克森：那些处于中上水平的人们，拥有一种较强的记忆能力：长时工作记忆。 长时工作记忆正是区分卓越者与一般人的一个重要能力，它才是刻意练习的指向和本质
《刻意练习》读书笔记 第一章 从刻意练习的实验的说起 天真的练习--时间可以培养出自动化 有目的练习的四个特点 有目的的练习具有定义明确的特定目标 有目的的练习需要保持专注性 有目的的练习需要即时反馈 有目的的练习需要走出舒适区 遇到瓶颈 试着做不同的事情，而非更
目录 word vector 词向量 word2vec 模型 Skip-gram 模型 Continuous Bag of Words 连续词袋模型 共现矩阵作为词向量 组合模型：Glove 词向量的评估 word vector 词向量 one-hot vector 独热码：仅依靠1的位置区分单词，词向量无法相互关联 于是考虑用点积结果表征单词相似性，也就有
从一篇文章开始的学习：Representation learning of RNA velocity reveals robust cell transitions 知乎上的通俗解释： 如果你想要用一种方式来说明一个人脸，你会怎么做呢？ 你可能会用一段话来表示：“这个人是国字脸，眼睛很小，鼻子……”； 也可能会用一串数字表示：脸的长度、脸的宽
深度学习与表征学习 深度学习是表征学习的一个分支，表征学习的理念就是，我们可以只向电脑提供来自世界的原始信号，无论是视觉信号还是语言信号，然后电脑可以自动得出好的中间表征，来很好地完成任务。所以从某种意义上来说，它是在自己定义特征，和过去人类自己定义特征一样。准确的说，
问题提出 针对链接预测任务，先前的工作倾向于使用浅层和简单的模型，如翻译模型和双线性模型，但存在表现力差的问题；为了增加模型的表现力，产生了更加深层和复杂模型，如神经网络架构，但容易过拟合。 接着作者引入了ConvE模型，相对于之间的模型，ConvE模型的优点是表现力强、参数效率高，但仍存
多模态综述 介绍应用多模态表征翻译对齐多模态融合协同学习 参考文献:《Multimodal Machine Learning: A Survey and T axonomy》 介绍 我们身边的环境就是一个多模态的环境，看到的实体、听到的声音、闻到的气味和尝到的味觉。本篇综述不是着重于多模态的应用，而是重点关
目录 为什么需要词向量嵌入？ 表征的对象是什么？ 如何表征？ 词向量嵌入矩阵 Skip-Gram CBoW 负采样 结语 Reference 为什么需要词向量嵌入？ 在自然语言相关的任务中，我们将句子作为特征输入，然后得到相应的预测输出。相比于其他的任务，自然语言相关任务的特点就是，其输入
发表时间：2021（ICLR 2021） 文章要点：这篇文章用角色（roles）来分解复杂任务，解决多智能体问题。主要思路是根据动作对环境和其他agents的影响来分解动作空间，形成不同的角色动作空间（role action space），然后通过role selector来给agent赋予角色，再学习role policies在角色动作空间上进行决策
摘要：本文提出了一个用于无监督视觉表征学习的动量对比方法（MoCo）。从将对比学习作为字典查询过程的角度来看，本文构建了一个由队列和移动平均编码器组成的动态字典。 本文分享自华为云社区《论文解读系列二十九：无监督视觉表征学习的动量对比》，作者：谷雨润一麦。 摘要 本文提出了
摘要：本文提出了一个用于无监督视觉表征学习的动量对比方法（MoCo）。从将对比学习作为字典查询过程的角度来看，本文构建了一个由队列和移动平均编码器组成的动态字典。 本文分享自华为云社区《论文解读系列二十九：无监督视觉表征学习的动量对比》，作者：谷雨润一麦。 摘要 本文提出了一个
文章来源于微信公众号（茗创科技），欢迎有兴趣的朋友搜索关注。 日常生活中的情绪流源于过去的经验、期望和事件发展之间的相互作用。大脑如何表征时间和情绪之间的关系呢？目前的研究仍未能揭示这一点，可能是因为在实验室环境中模拟日常生活存在一定的复杂性和难度。本研究将实验材料（电
神经网络结构设计中，一个重要的特性是能够接近输入的任意函数。但这种能力大小取决于体系结构的参数，例如网络的广度和深度。更深层次的架构能够更好的捕获数据的不变性质，而非简单的浅层数据。神经网络体系结构的关键特性还有就是能够通过少量的训练数据进行推广和泛化，同时可以使
The MCD12Q2 V6 Land Cover Dynamics product (informally called the MODIS Global Vegetation Phenology product) provides estimates of the timing of vegetation phenology at global scales. Additionally, it provides information related to the range and summatio
diffusion-convolutional neural networks abstract1.introduction2.model2.1 node classification2.2 graph classification2.3 purely structural DCNNs2.4 learning 3.experiments 发表于NIPS 2016。 abstract 本文提出了针对于图结构数据的模型：diffusion-convolutio
目录 前言 一、ERNIE结构分析 二、预训练的结构 1.基于字的Pretraining 2.基于结构的Pretraining 3.基于知识的Pretraining 三、预训练的流程 1.Pipeline 2.实例 3.综述 四、总结 1.数据处理 2.模型参数 前言 预训练模型，百度的ERNIE第三代。相比T5 10billion, GPT 175billion
基于图神经网络的图表征学习方法 基于图同构网络（GIN）的图表征网络的实现基于图同构网络的图表征模块（GINGraphRepr Module）基于图同构网络的节点嵌入模块（GINNodeEmbedding Module） GINConv--图同构卷积层文章的贡献及WL TestWeisfeiler-Lehman Test (WL Test) 作业 以图同构
Task06 基于图神经网络的图表征学习方法 一、基于图神经网络的图表征学习方法 图表征学习要求在输入节点属性、边和边的属性（如果有的话）得到一个向量作为图的表征，基于图表征进一步的我们可以做图的预测。基于图同构网络（Graph Isomorphism Network, GIN）的图表征网络是当前最经
一、本阶段的组队学习网站地址：[datawhale] 二、本期主要学习内容： 学习基于图神经网络的图表征学习方法，图表征学习要求根据节点属性、边和边的属性（如果有的话）生成一个向量作为图的表征，基于图表征我们可以做图的预测。 这个学习和前面不同之处，前面主要是只学习一个节点的特征，然
Task06：基于图神经网络的图表征学习方法 本文参考datawhale开源学习资料 一、基于图同构网络（GIN）的图表征网络的实现 1. GINConv–图同构卷积层 提出图同构网络的论文是：How Powerful are Graph Neural Networks? ，可以参考【GNN】WL-test：GNN 的性能上界进行阅读。 图同构卷积层
1、基于图同构网络（GIN）的图表征 采用GINNodeEmbedding模块对图上每一个节点做节点嵌入（Node Embedding），得到节点表征；然后对节点表征做图池化得到图的表征；最后用一层线性变换对图表征转换为对图的预测。 基于结点表征计算得到图表征的方法有： （1）sum：对节点表征求和
随着图神经网络层数增加，计算成本呈指数增加。包存整个图的信息和每个节点的表征消耗了大量内存空间。Cluster-GCN提出了一种新的图神经网络的训练方法。 Cluster-GCN方法概括 利用图节点聚类的算法将一个图划分成 c
超大图上的节点表征学习 普通的基于SGD（随机梯度下降方法）的图神经网络： 随着图神经网络层数增加，计算成本呈指数增长； 保存整个图的信息和每一层每个节点的表征到内存（显存）而消耗巨大内存（显存）空间。 针对这些问题，论文Cluster-GCN: An Efficient Algorithm for Training Deep and L
DataWhale组队学习——GNN（1） 这里是DataWhale社区的21年6月组队学习之图神经网络的相关笔记！开源代码：https://github.com/datawhalechina/team-learning-nlp/blob/master/GNN 目录：（待更新）0.导引1.简单图论知识与PyG库初探 导引 一、图神经网络与图深度学习 图是一种数据结构，它
