自然语言处理发展史

自然语言处理发展史最早的自然语言理解方面的研究工作是机器翻译 

1949年,美国人威弗首先提出了机器翻译设计方案 

其发展主要分为三个阶段

早期自然语言处理第一阶段(60~80年代):基于规则来建立词汇、句法语义分析、问答、聊天和机器翻译系统

好处是规则可以利用人类的内省知识,不依赖数据,可以快速起步;问题是覆盖面不足,像个玩具系统,规则管理和可扩展一直没有解决

 统计自然语言处理第二阶段(90年代开始):基于统计的机器学习(ML)开始流行,很多NLP开始用基于统计的方法来做

主要思路是利用带标注的数据,基于人工定义的特征建立机器学习系统,并利用数据经过学习确定机器学习系统的参数

运行时利用这些学习得到的参数,对输入数据进行解码,得到输出

机器翻译、搜索引擎都是利用统计方法获得了成功

 神经网络自然语言处理第三阶段(2008年之后):深度学习开始在语音和图像发挥威力

随之,NLP研究者开始把目光转向深度学习

先是把深度学习用于特征计算或者建立一个新的特征,然后在原有的统计学习框架下体验效果

比如,搜索引擎加入了深度学习的检索词和文档的相似度计算,以提升搜索的相关度

自2014年以来,人们尝试直接通过深度学习建模,进行端对端的训练

目前已在机器翻译、问答、阅读理解等领域取得了进展,出现了深度学习的热潮

 

以上内容由大学时代综合整理自互联网,实际情况请以官方资料为准。

相关