(12)发明专利申请
(10)申请公布号 CN 112131886 A(43)申请公布日 2020.12.25
(21)申请号 202010786017.X(22)申请日 2020.08.05
(71)申请人 浙江工业大学
地址 310014 浙江省杭州市下城区朝晖六
区潮王路18号(72)发明人 尹久 池凯凯 张书彬 黄亮 (74)专利代理机构 杭州斯可睿专利事务所有限
公司 33241
代理人 王利强(51)Int.Cl.
G06F 40/30(2020.01)G06F 16/35(2019.01)G06F 40/284(2020.01)G06N 3/04(2006.01)
权利要求书2页 说明书5页 附图2页
CN 112131886 A(54)发明名称
一种文本的方面级别情感分析方法(57)摘要
一种文本的方面级别情感分析方法，包括以下步骤：1)获取将文本信息以及方面信息输入至预设的截断门控单元网络所得的句子级别的文本语义表示矩阵，以及所述文本语义表示向量；2)依据句子级别的文本语义表示矩阵、方面信息和预设的Attention模型，获取文本信息中各单词与方面信息对应的注意力值，得到每个单词的注意力权重；3)依据句子级别的文本语义表达矩阵和注意力权重，构建文本信息对应的文本方面情感表示向量；4)将新的文本方面情感表示向量映射到情感分类器，采用softmax函数对文本方面情感表示向量进行情感评估，得到各预设的情感极性的预测概率。本发明高效、准确地预测评论文本的方面级别情感倾向。
CN 112131886 A
权 利 要 求 书
1/2页
1.一种文本的方面级别情感分析方法，其特征在于，所述方法包括以下步骤：
1)获取将文本信息以及方面信息输入至预设的截断门控单元网络DGRU所得的句子级别的文本语义表示矩阵，以及所述文本语义表示向量；
2)依据所述句子级别的文本语义表示矩阵、方面信息和预设的Attention模型，获取所述文本信息中各单词与方面信息对应的注意力值，得到每个单词的注意力权重；
3)依据所述句子级别的文本语义表达矩阵和注意力权重，构建所述文本信息对应的文本方面情感表示向量；
4)将所述的新的文本方面情感表示向量映射到情感分类器，采用softmax函数对文本方面情感表示向量进行情感评估，得到各预设的情感极性的预测概率。
2.根据权利要求1所述的方法，其特征在于，所述获取句子级别的文本语义表示矩阵H的过程为：
H＝{H∈Rd×N|(h1,h2,h3…ht…hN-1,hN)}其中ht为GRU计算单元在t时刻的输出，可视为第t个单词词向量与邻近k-1单词对应的语义表达，表示为：
ht＝GRU(xt,xt-1,xt-2,...,xt-k+1)其中，所述xt为所述输入的文本信息的第t个单词的词向量拼接所述给定方面词向量a而得来，即表示为
3.根据权利要求2所述的方法，其特征在于，所述获得第t个单词语义表达向量ht的GRU函数计算单元计算过程为：
rt＝σ(Wr·[ht-1,xt])zt＝σ(Wz·[ht-1,xt])
其中，所述Wr、Wz、分别为重置门rt、更新门zt、候选集权重矩阵，xt为当前
时间步的输入，ht-1为t-1时间步的隐状态，σ表示Sigmiod激活函数，*表示Hadmard乘积。4.根据权利要求3所述的方法，其特征在于，所述文本语义表示向量hp为所述本语义表示矩阵进行最大池化操作而来，过程为：
hp＝maxpooling(H)。
5.根据权利要求2所述的方法，其特征在于，获取所述文本信息中各单词与方面信息对应的注意力值的过程为：
将所述文本语义表示矩阵H输入到带有修正线性单元Tanh激活的注意力多层感知机MLP中，将MLP的输出发送到一个softmax函数中，得到一个注意力权重向量a∈RN×1，为：
a＝softmax(wTM)
其中M∈R2d×N，Wv∈Rd×d，Wh∈Rd×d，w∈R2d×1都为权重矩阵或权重向量，
2
CN 112131886 A
权 利 要 求 书
即方面词向量va重复出现N次，eN为长为N的单位向量。
2/2页
6.根据权利要求5所述的方法，其特征在于，文本方面情感表示向量h*的获取计算如下
式所示：
r＝HaT
h*＝tanh(Wrr+Wxhp)
其中H为所述文本语义表示矩阵，a为所述注意力权重向量，r为文本情感权重表达隐状态r∈Rd×1，hp为文本语义表示向量。
7.根据权利要求6所述方法，其特征在于，对文本方面情感表示向量进行情感评估的分类器的过程为：
将h*送入Softmax分类器，得到情感分类的概率分布向量y∈R|c|×1，分类器具体计算如下式所示：
y＝softmax(Wsh*+bs)其中Ws、bs为softmax分类器的参数矩阵和偏置项。8.根据权利要求书1～7之一所述的方法，其特征在于，在最终的情感分析结果之后，所述方法还包括以下步骤：
5)根据情感分析结果与实际结果的偏差信息,使用Adam算法动态调整每个参数的学习率，使用交叉熵损失函数更新卷积神经网络中每个神经元的权重。
3
CN 112131886 A
说 明 书
一种文本的方面级别情感分析方法
1/5页
技术领域
[0001]本发明涉及情感分析领域、深度学习技术，具体来讲提出一种基于截断循环神经网络(DGRU)和注意力机制的方面级别情感分类网络模型(ATT-DGRU)。
背景技术
[0002]情感分析是自然语言处理领域的一项备受关注的研究任务，文本情感分析的主要目的是从原始文本中提取出文本发表者的主观情绪。如今互联网各平台上存在大量用户关于产品和服务的评论信息，这些评论往往以短文本的形式出现，涉及产品的一个或者多个方面意见。方面级别的情感挖掘传统评论挖掘通常粗糙地对一篇文档或者一段句子进行情感分析，只能得到一个情感值的表达，而不能提供高情感值指向的对象的信息，因此方面级别的观点挖掘是对情感分析更深层次的研究。
[0003]深度学习通过提供强大的策略来提取传统方法难以控制的抽象非线性特征，从而彻底改变了各个领域。循环神经网络(RNN)是一类以序列数据为输入，在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络 (RNN)，擅长对整个句子进行建模，捕捉长距离依赖信息。门控循环单元(GRU) 是一种RNN的特殊类型，计算过程更为简洁。然而,研究表明，RNN对整个句子建模有时会成为一种负担，使模型忽略了关键的短语信息。卷积神经网络(CNN) 是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。用来处理文本的CNN 模型更擅长抽取局部的位置不变特征，而不擅长捕捉长距离依赖信息。而方面级别情感分析需要重点提取方面词向量邻近语义信息的同时更不能丢失文本的长距离语义信息。[0004]针对以上，可采用结合循环神经网络(RNN)和卷积神经网络(CNN)的截断式循环神经网络(DRNN)为基础构建模型，以克服单纯的循环神经网络模型无法准确捕捉局部语义的缺陷、以及标准卷积神经网络无法拟合文本语义序列的上下文关联的缺点。[0005]一条复杂语句中可能包含多个方面词，句中的每个词和方面词之间的联系能传达出关于关于该方面词的情感极性信息。神经语言模型中若使用注意力机制，能够从复杂语句中捕捉到与方面词关联较大的单词，降低对次要信息的关注度，甚至无视无关的信息。[0006]鉴于此，提出了一种方面级别情感分类模型，基于截断门控单元网络与注意力机制的网络模型(ATT-DGRU)。
发明内容
[0007]为了克服现有技术的不足，本发明所关注的技术问题为：如何利用神经网络模型高效、准确地预测评论文本的方面级别情感倾向；利用注意力机制，设计产生一个文本各单词对给定方面情感的影响权重向量，基于截断门控单元网络与注意力机制的评论文本方面级别情感分析模型，首先使用DGRU网络对输入的单词文本与方面词进行编码，得到文本语义表达，接着使用注意力机制对文本语义表达提取情感权重系数，结合文本语义表达与情感权重表达得到给定方面情感表示向量。
4
CN 112131886 A[0008]
说 明 书
2/5页
为解决上述技术问题，本发明提供如下的技术方案：
[0009]一种文本的方面级别情感分析方法，所述方法包括以下步骤：
[0010]1)获取将文本信息以及方面信息输入至预设的截断门控单元网络DGRU所得的句子级别的文本语义表示矩阵，以及所述文本语义表示向量；[0011]2)依据所述句子级别的文本语义表示矩阵、方面信息和预设的Attention模型，获取所述文本信息中各单词与方面信息对应的注意力值，得到每个单词的注意力权重；[0012]3)依据所述句子级别的文本语义表达矩阵和注意力权重，构建所述文本信息对应的文本方面情感表示向量；
[0013]4)将所述的新的文本方面情感表示向量映射到情感分类器，采用softmax 函数对文本方面情感表示向量进行情感评估，得到各预设的情感极性的预测概率。[0014]进一步，获取句子级别的文本语义表示矩阵H的过程为：
[0015][0016]
其中ht为GRU计算单元在t时刻的输出，可视为第t个单词词向量与邻近 k-1单词对应的语义表达，表示为：
[0017]ht＝GRU(xt,xt-1,xt-2,...,xt-k+1)[0018]其中，所述xt为所述输入的文本信息的第t个单词的词向量拼接所述给定方面词向量a而得来，即表示为
[0019][0020][0021][0022][0023][0024]
再进一步，获得第t个单词语义表达向量ht的GRU函数计算单元的过程为：
rt＝σ(Wr·[ht-1,xt])zt＝σ(Wz·[ht-1,xt])
其中，所述Wr、Wz、分别为重置门rt、更新门zt、候选集权重矩阵，xt为
当前时间步的输入，ht-1为t-1时间步的隐状态，σ表示Sigmiod激活函数，*表示Hadmard乘
积。
[0025]优选地，文本语义表示向量hp为所述本语义表示矩阵进行最大池化操作而来，过程为：
[0026]hp＝maxpooling(H)[0027]优选地，获取所述文本信息中各单词与方面信息对应的注意力值的过程为：
[0028]将所述文本语义表示矩阵H输入到带有修正线性单元(Tanh)激活的注意力多层感知机MLP中，将MLP的输出发送到一个softmax函数中，得到一个注意力权重向量a∈RN×1，为：
[0029][0030][0031]
a＝soft max(wTM)
其中M∈R2d×N，Wv∈Rd×d，
w∈R2d×1都为权重矩阵或权重向量，
5
CN 112131886 A
说 明 书
即方面词向量va重复出现N次，eN为长为N 的单位向量。
3/5页
优选地，文本方面情感表示向量h*的获取计算如下式所示：
[0033]r＝HaT
[0034]h*＝tanh(Wrr+Wxhp)
[0035]其中H为所述文本语义表示矩阵，a为所述注意力权重向量，r为文本情感权重表达隐状态r∈Rd×1，hp为文本语义表示向量。[0036]优选地，对文本方面情感表示向量进行情感评估的分类器的过程为：[0037]将h*送入Softmax分类器，得到情感分类的概率分布向量y∈R|c|×1，分类器具体计算如下式所示：
[0038]y＝softmax(Wsh*+bs)[0039]其中Ws、bs为softmax分类器的参数矩阵和偏置项。[0040]优选地，在得到最终的情感分析结果之后，所述方法还包括以下步骤：
[0041]5)根据情感分析结果与实际结果的偏差信息,使用Adam算法动态调整每个参数的学习率，使用交叉熵损失函数更新卷积神经网络中每个神经元的权重。[0042]总体而言，本发明方法与现有技术方案相比，能够取得下列有益效果：[0043](1)本发明所使用的语义获取模块中，DGRU能在捕捉上下文长距离依赖过程中保留位置不变性信息，因此能有效提升针对复杂语句的方面级别情感分类有效性。[0044](2)本发明使用注意力机制对文本语义表达提取情感权重系数，进一步定位给定方面信息的情感来源，因此结合文本语义表达与情感权重表达能得到更有效的给定方面情感表达。
[0032]
附图说明
[0045]图1是截断门控循环单元的网络结构图；[0046]图2是门控循环单元内部结构；
[0047]图3是基于截断门控单元网络与注意力机制的分类模型结构图。
具体实施方式
[0048]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明实施的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。[0049]参照图1～图3，一种文本的方面级别情感分析方法，文本信息，如酒店评论，具有口语化、语法多变和文本较长、描述方面多远等特点，降低了现有文本挖掘方法的预估准确性。基于此，本发明提供了一种文本方面级别情感分析方法，该方法使用DGRU捕获文本语义局部不变性特征、Attention机制获取上下文长距离依赖的情感来源，从而能够更加深入的理解文本含义。
[0050]本实施例中可以按照下述步骤对文本进行方面级别情感分析，包括以下步骤：[0051]1)，获取将文本信息以及方面信息输入至预设的截断门控单元网络DGRU所得的句子级别的文本语义表示矩阵，以及所述文本语义表示向量；
6
CN 112131886 A[0052]
说 明 书
4/5页
2)，依据所述句子级别的文本语义表示矩阵、方面信息和预设的Attention 模型，
获取所述文本信息中各单词与方面信息对应的注意力值，得到每个单词的注意力权重；[0053]3)，依据所述句子级别的文本语义表达矩阵和注意力权重，构建所述文本信息对应的文本方面情感表示向量；[0054]4)，将所述的新的文本方面情感表示向量映射到情感分类器，采用softmax 函数对文本方面情感表示向量进行情感评估，得到各预设的情感极性的预测概率。[0055]所述步骤1)中，所述文本信息为X＝{X∈R2d×N|(x1，x2，x3...xt...xN-1，xN)}, 其中N为文本序列的长度，d为词向量长度，
wt为文本序列的词向量， a为该样本所给定
方面词向量，两向量长度均为d，具体地，本实例所使用的词向量均采用自Glove词向量集。
[0056]
步骤1)中使用DGRU获取句子级别的文本语义表示矩阵
方法可参阅附图1，具体计算方法包括：
[0057]
ht＝GRU(xt,xt-1,xt-2,...,xt-k+1)
[0058]其中ht为k个GRU计算单元在t时刻的输出，可视为第t个单词词向量与邻近k-1单词对应的语义表达，所述xt为所述输入的文本信息的第t个单词的词向量拼接所述给定方面词向量a而得来，即可表示为
[0059]
进一步地，参阅附图2，获得第t个单词语义表达向量ht的GRU函数计算单元计算过rt＝σ(Wr·[ht-1,xt])
zt＝σ(Wz·[ht-1,xt])
程为：
[0060][0061][0062][0063][0064]
其中，所述Wr、Wz、分别为重置门rt、更新门zt、候选集权重矩阵，xt为
当前时间步的输入，ht-1为t-1时间步的隐状态，σ表示Sigmiod激活函数，*表示Hadmard乘
积。
[0065]进一步地，文本语义表示向量hp为所述本语义表示矩阵进行最大池化操作而来，过程为：
[0066]hp＝maxpooling(H)[0067]进一步地，所述步骤3)中，使用注意力机制获取所述文本信息中各单词与方面信息对应的注意力值，具体方法可参阅附图3，过程为：
[0068]将所述文本语义表示矩阵H输入到带有修正线性单元(Tanh)激活的注意力多层感知机MLP中，将MLP的输出发送到一个softmax函数中，得到一个注意力权重向量a∈RN×1，具体为：
[0069]
7
CN 112131886 A[0070][0071]
说 明 书
5/5页
a＝softmax(wTM)
其中M∈R2d×N，Wv∈Rd×d，
w∈R2d×1都为权重矩阵或权重向量，
即方面词向量va重复出现N次，eN为长为N 的单位向量。
进一步地，文本方面情感表示向量h*的获取计算如下式所示：
[0073]r＝HaT
[0074]h*＝tanh(Wrr+Wxhp)
[0075]其中H为所述文本语义表示矩阵，a为所述注意力权重向量，r为文本情感权重表达隐状态r∈Rd×1，hp为文本语义表示向量。[0076]进一步地，所述步骤4)中，对文本方面情感表示向量进行情感评估的分类器过程为：
[0077]将h*送入Softmax分类器，得到情感分类的概率分布向量y∈R|c|×1，分类器具体计算如下式所示：
[0078]y＝softmax(Wsh*+bs)[0079]其中Ws、bs为softmax分类器的参数矩阵和偏置项。
[0080]具体地,本实施例中预设的情感分类类型指的是预设类型的情感极性,例如情感极性可以包括负、中性、和正共三种类型的情感极性,也可以仅包括正和负这两种类型的情感极性。
[0081]优选地，在所述得到最终的情感分析结果之后，所述方法还包括以下：
[0082]5)根据情感分析结果与实际结果的偏差信息,使用Adam算法动态调整每个参数的学习率，使用交叉熵损失函数更新卷积神经网络中每个神经元的权重。[0083]本实施例所使用的语义获取模块中，DGRU能在捕捉上下文长距离依赖过程中保留位置不变性信息，因此能有效提升针对复杂语句的方面级别情感分类有效性。使用注意力机制对文本语义表达提取情感权重系数，进一步定位给定方面信息的情感来源，因此结合文本语义表达与情感权重表达能得到更有效的给定方面情感表达。
[0072]
8
CN 112131886 A
说 明 书 附 图
图1
图2
9
1/2页
CN 112131886 A
说 明 书 附 图
2/2页
图3
10
因篇幅问题不能全部显示，请点此查看更多更全内容