手记

神经概率语言模型

读了Bengio的《A Neural Probabilistic Language Model》,颇有感悟,以此文记一下我的读后感。

一、语言模型
  1. 语言模型是什么
    语言模型是自然语言处理的一大利器,是NLP领域一个基本却又重要的任务。它的主要功能就是计算一个词语序列构成一个句子的概率,或者说计算一个词语序列的联合概率,这可以用来判断一句话出现的概率高不高,符不符合我们的表达习惯,它是否通顺,这句话是不是正确的。

  2. 语言模型有什么用
    语言模型可以用于机器翻译、语音识别、音字转换和文本校对等诸多NLP任务中,它可以从多个候选句子中选出一个最为靠谱的结果。

  3. 语言模型的发展
    3.1 语言模型的基本形态
    基本形态很简单,就是按照乘法定理计算词语序列的联合概率,但这样模型参数就太多了,会导致过拟合,这是因为发生了维数灾难。
    3.2 N-Gram模型
    N-Gram模型是一种经典好用的语言模型,它基于N-1阶马尔可夫链,认为当前词仅与前N-1个词有关,这就解决了维数灾难这个问题。使用N-Gram模型时,由于训练语料规模的限制,会有许多未见语言现象,存在数据稀疏的问题,需要采用数据平滑的方法避免值为零的模型参数(也就是条件概率)出现。
    3.3 DNN语言模型
    其实现在只看了Bengio的这篇文章,也就是如何用神经网络构建N-Gram模型。

二、用神经网络构建N-Gram模型

N-Gram模型需要精心设计平滑方法(因为数据稀疏的问题),为了解决这个问题,Bengio提出用神经网络来构建语言模型,也就是用神经网络来估计下一个词是各个词的条件概率。用神经网络构建语言模型,还能顺便得到词的分布式表示形式——word embedding,由于词的相似度可以通过词向量的距离来衡量,也就是计算向量的余弦相似度,于是未见词语序列的概率可以用相似词进行估计,也就避免了数据稀疏的问题。
Bengio将用神经网络构建N-Gram模型的任务转换成给定前N-1个词然后预测下一个词的任务,这是在无标注文本上以无监督学习的方式构建语言模型。
看神经网络相关的文章,要抓住重点,那就是:模型的输入输出,模型的结构,模型所对应的优化问题,以及模型为什么能够work。

  1. 神经网络模型的输入输出
    将前N-1个词对应的词向量首尾拼接作为神经网络的输入,神经网络的输出有V个节点,这些节点的输出经过softmax激活函数后,就归一化为给定前N-1个词,下一个词是该词的条件概率,于是就得到了N-Gram模型的参数,也就构建了N-Gram模型。

  2. 模型结构
    包括两部分,分别是Embedding层和前馈神经网络。
    Embedding层:负责将词语转化为词向量。
    神经网络:这是一个三层的前馈神经网络,包括输入层,隐藏层和输出层,都是全连接层。输入层有(N-1)m个节点,隐藏层有h个节点,输出层有V个节点,隐藏层的激活函数是双曲正切函数tanh(),这是一个S型函数,输出层的激活函数是softmax。

  3. 优化问题
    大部分机器学习算法其实都是一个最优化问题,神经网络也不例外。这里的目标函数是语料库的对数似然函数加上一个正则项,优化变量是模型参数,通过随机梯度提升的方法,调整参数,使得目标函数达到最大即可。
    目标函数中的语料库对数似然函数其实就是对数条件概率的累加,也就是模型的输出取对数后的累加。
    注:语料库的似然函数,P(corpus)=P(S1)P(S2)...P(Sn),句子出现的概率又可以展开为模型输出的连乘形式,取对数是为了简化计算,将乘法计算变为加法计算。
    PS:在实际应用中,例如基于TensorFlow或者Keras训练LM,我们一般都先基于corpus生成输入输出对,即输入前N-1个词,输出下一个词,然后使用这些有label的数据训练LM。

  4. why it work
    我们通过语料库,以无监督学习的方式构建了一个语言模型,那么我们的训练语料当然会契合语言模型,于是可以认为这些训练语料是由这个语言模型生成的(事实上,LM也可以生成文本)。现在语言模型的参数未知,但是我们有结果,于是这是一个统计推断的问题,使用MLE估计模型参数即可。再来看神经网络的目标函数,现在就是要调整模型参数使得出现该训练语料的概率达到最大。

Bengio的这种用神经网络构建N-Gram模型的方法,想要计算句子出现的概率还是要把条件概率进行相乘,这种方法的最大贡献我认为可以有两个:一是使用NN构建N元模型,基于相似词语解决数据稀疏的问题;二是给出了一种训练词向量的方法。

转载请注明如下内容:

文章来自简书,作者:就是杨宗
原文链接:http://www.jianshu.com/p/3f22fc76a9e5



0人推荐
随时随地看视频
慕课网APP