语言信息处理定义语言信息处理 (LIP,Language Information Processing)有时也称作自然语言处理(NLP, Natural Language Processing)或自然语言理解(NLU, Natural Language Understanding), 自然语言处理是上位概念,包括理解和生成,而语言信息处理可以分别理解为语言信息|处 理”和“语言|信息处理”
前者指的是对各 种语言信息进行处理, 后者指对语言本身进行信息化的处理
这几个概念的具体阐述请看下文“几个常见术语的辨析”
语言信息处理源自20 世纪 50 年代 和 60 年代的机器翻译,其基本原理是结合其他边缘学科的知识, 解决机器在语言理解和生成中语法和语义消岐问题
自然语言处理系统首先把指令“Delete file x”在音位学平面转化成音位系列“/ dilit fail eks/”,然后在形态学平面把这个音位系列转化为语素系列“delete” “file”“x”,接着在词汇学平面把这个语素系列转化为单词系列并标注相应的词性:(“delete”VERB)(“file”NOUN)(“x”ID),在句法学平面进行句法分析, 得到这个单词系列的句法结构,用树形图表示,在语义学平面得到这个句法结构的语义解释:delete-file (“x”),在语用学平面得到这个指令的语用解释“rm-i x”,最后让计算机执行这个指令
语言信息处理技术发展到今天,其内涵和外延已经发生了巨大的变化,美国计算机科学家 Bill Manaris 在 1999 年将自然语言处理可以定义为研究在人与人交际中以及在人与计算机交际中的语言问题的一门学科
自然语言处理要研制表示语言能力(linguistic competence)和语言应用(linguistic performance)的模型,建立计算框架来实现这样的语言模型, 提出相应的方法来不断地完善这样的语言模型, 根据这样的语言模型设计各种实用系统, 并探讨这些实用系统的评测技术
以上内容由大学时代综合整理自互联网,实际情况请以官方资料为准。