本章接下来的几小节将从贝叶斯概率的角度重新审视线性回归模型。

Stanford大学在2015年开设了一门Deep Learning for Natural Language Processing的课程，广受好评。并在2016年春季再次开课。我将开始这门课程的学习，并做好每节课的课程笔记放在博客上。争取做到每周一更吧。
本文是第一篇。

NLP简介

NLP，全名Natural Language Processing（自然语言处理），是一门集计算机科学，人工智能，语言学三者于一身的交叉性学科。她的终极研究目标是让计算机能够处理甚至是“理解”人类的自然语言，进而帮助人类解决一些现实生活中遇到的实际问题。这里的语言“理解”是一个很抽象也很哲学的概念。在NLP中，我们将对语言的“理解”定义为是学习一个能够解决具体问题的复杂函数的过程。

对NLP的研究通常在5个Level上进行：
1. 语音／文本分析：包括语言识别技术、OCR技术、分词技术等
2. 词形分析：例如分析一个word的前后缀、词根等
3. 语法分析：从语法结构上分析一个句子的构成
4. 语义分析：理解一个句子或单词的语义
5. 篇章分析：理解一段篇章的含义

注意，虽然这5个Level在研究的对象和难度上是一种递进的关系，但对这5个Level的研究并不一定是连续的——例如，我们可以跳过对一个句子语法结构的分析而直接去理解句子的语义。

接下来简单列举一些NLP技术的应用，以让大家对NLP能够处理什么样的问题有一个感性的认识：
* 简单的任务：拼写检查，关键词检索，同义词检索等
* 复杂一点的任务：信息提取（比如从网页中提取价格，产地，公司名等信息），情感分析，文本分类等
* 更复杂的任务：机器翻译，人机对话，QA系统

最后讨论一个问题：Why is NLP so HARD？为什么要把NLP从机器学习的任务列表中单独抽取出来做为一门课程甚至是研究的对象？根本原因在于语言用于表达客观世界的内在复杂性和多义性。举一个简单的例子："Jane hit June and then she [fell/ran]"。当she所伴随的动作不同（fell or ran），其所指代的对象也发生了变化（June or Jane）。这样的例子太多，显然我们无法通过枚举所有的规则来解决语言内在的复杂性。另一个多义性的例子是："I made her duck"。我们可以理解为："I cooked her a duck"，或是"I curved her a wooden duck"，也可以理解为："I transformed her into a duck with some magic"。

Deep Learning简介

深度学习是机器学习的一个研究子领域。传统机器学习算法面临的一个问题是，模型的优劣往往很大程度上依赖于特征的选取。例如，对于一个NER问题（Named Entity Recognition，命名实体识别），传统的机器学习算法（如CRF）通常需要输入目标词的大小写特征，词性特征，以及其上下文环境里的词性分布等特征。人工挑选一组合适的特征是一件非常琐碎的活。此外，这些特征往往是data-specific，这意味着，在处理一份新的数据集，比方说是另一门语言的语料，你需要再一次坐下来审视这批数据，以挑选新的特征组合。

毫不夸张的说，在传统机器学习领域，90%的时间被用于数据的处理。算法和模型只是简单的权重优化。

而深度学习的魅力在于，她将特征的提取变成了一个自动化的学习过程。

深度学习是一类特征学习（Representation Learning）。她可以从原始数据（比如原始的像素点，原始的单词甚至是字符）中自动学习到多个层次上的特征表达，并完成最终的分类或翻译的任务。（这里的“深度”一词可能会带来歧义：例如对于我们下一节课将要学习到的word2vec模型。她其实是一个非常浅层的网络模型。）

神经网络家族是深度学习算法的主流模型。我们的课程也主要以介绍不同种类的神经网络及其在NLP领域中的应用为主。也许有人会问，神经网络不过是一组logistic regression单元的堆砌，为什么会有如此优异的特征学习的能力呢？原因在于，我们同时引入了一些基本的建模原则，比如端对端的训练机制。这些指导性原则可以帮助神经元更好地从最终结果中学习到原始输入的特征。此外，人工神经网络模型和神经科学里的脑模型也有着千丝万缕的联系。这些联系在NLP问题中不是那么明显，但在计算机视觉领域（卷积神经网络，CNN）扮演着很重要的角色。

为什么我们要采用深度学习模型对NLP问题进行建模？这是因为，与传统的机器学习算法相比，深度学习模型通常不需要特定领域的先验知识，因此可以快速高效地进行特征的学习。与此同时，深度学习提供了一套灵活通用的特征学习框架（适用于包括语音、文字、视觉信息在内的多种数据的学习）。最后，深度学习可以有监督或无监督地从大量原始语料中学习到有用的特征。

另一个有趣的问题是：考虑到神经网络并不是近些年才提出的新技术，为什么直到现在深度学习才突然被人们所关注呢？这主要得益于近些年大数据的兴起和高速CPU／GPU的发展。数据是深度学习的食物。而高性能的计算资源可以帮助深度学习更好地消化这些食物。当然，深度学习的发展也离不开一些新的模型算法的提出（比如end-to-end的模型框架，机器翻译中的attention机制等）。