语言信息处理发展冯志伟先生将语言信息处理的发展分为三个阶段:1)萌芽期(20世纪40年代末至20世纪60年代中期)
其理论来源是形式语言学派,语言处理的概率算法被用于机器翻译,这一时期的基础性研究为自然语言处理的理论和技术奠定了坚实的基础
2)发展期(20世纪60年代中期到80年代末期)
其标志是机器翻译金字塔”(MT Pramid),语义分析在机器翻译中越来越受到重视
3)繁荣期(20世纪90年代至今)
其重要标志是在基于规则的技术中引入了语料库方法,其中包括统计方法、基于实例的方法、通过语料加工手段使语料库转化为语言知 识库的方法,同时网络技术的发展对于自然语言处理产生了的巨大推动力
但是,语言信息处理也遇到了非常大的挑战
首先,对自然语言的处理还一 直无法突破单句的界限,从而阻碍了复句和语篇的理解和生成技术的研究
其次,基于句法—语义规则的理性主义方法受到质疑,动态语义分析模型是亟待解决的关键性难题
再次,语料库的建设和基于语料库语言学的自然语言处理技术还无法满足大规模真实文本的处理的战略目标
最后,现有的语言信息处理无法有效承担挖掘大数据商业价值的任务,企业越来越依赖于数据分析师,语言处理技术越来越让位于信息处理技术, 语义网还没有成型的时候, 语用网的时代就已经到来了
以上内容由大学时代综合整理自互联网,实际情况请以官方资料为准。