人工智能科普｜自然语言处理（NLP）

自然语言处理（Natural Language Processing，NLP）是AI的一个领域，旨在让计算机理解和使用人类语言，从而执行有用的任务。自然语言处理又划分为两个部分：自然语言理解（Natural Language Understanding，NLU）和自然语言生成（Natural Language Generation，NLG）。

近年来，AI改变了机器与人类的互动方式。AI可以帮助人类解决各种复杂问题，例如，根据个人喜好向用户推荐电影（推荐系统）。

得益于高性能GPU和大量的可用数据，人们现在可以创造出具有类似人类的学习和行为能力的智能系统。

 

自然语言处理(NLP)的定义

自然语言处理(NLP)是人工智能的一个分支，它使计算机能够像人类一样理解、处理和生成语言。搜索引擎、机器翻译以及语音助理均由该技术提供支持。

虽然这一术语最初指的是人工智能系统的阅读能力，但现在已经成为所有计算语言学的一种通俗说法。其子类别包括自然语言生成(NLG)——计算机自行创建通信的能力和自然语言理解(NLU)(理解俚语、发音错误、拼写错误和语言其他变体的能力)。

 

自然语言理解

自然语言处理的两个部分

NLP最核心的两个部分：NLU和NLG。

NLP的这一部分旨在理解和分析人类语言，重点关注对文本数据的理解，通过对其进行处理来提取相关信息。NLU提供直接的人机交互，并执行和语言理解相关的任务。

NLU涵盖了AI面对的最困难的挑战，即文本解读。NLU所面对的主要挑战是理解对话。

 

NLP使用一组方法来生成、处理和理解语言，利用函数来理解文本的含义。

起初，人们使用树来表示对话，但许多对话的情况都无法使用这种方法表示。为了覆盖更多情况，就需要更多的树，每个对话的上下文对应一棵树，从而导致了很多句子重复。

这种方法已经过时了，并且效率低下，因为它是基于固定规则的，本质上就是一种if-else结构。如今，NLU提出了另一种方法，那就是将对话表示为一个文氏图，其中的每个集合代表对话的一个上下文。

NLU的这种方法改进了对话理解的结构，因为它不再是一个由if-else条件组成的固定结构。NLU的主要目标是解读人类语言的含义、处理对话上下文、消除歧义和管理数据。

 

自然语言处理(NLP)的应用

机器翻译是一种功能强大的自然语言处理(NLP)应用程序，但是搜索是最常用的一种用法。每次人们在谷歌或Bing搜索引擎中查找内容时，都人为将数据输入到系统中。当单击搜索结果时，搜索引擎会将其解释为确认其找到的结果是正确的，并在以后使用这一信息更好地进行搜索。

聊天机器人的工作方式与其相同：它们与Slack、Microsoft Messenger和其他聊天程序集成在一起，可以读取人们使用的语言，然后在键入触发短语时将其打开。当Siri和Alexa等语音助理听到诸如“嘿，Alexa”之类的短语时，它们就会有回应，而这就是为什么批评人士指责这些人工智能程序一直在进行监听的原因：如果不这样做，它们永远不知道人们什么时候需要它们。除非人们自己打开应用程序，否则自然语言处理(NLP)程序必须在后台运行，并等待这一短语的出现。

 

自然语言处理(NLP)的软件

无论组织是要构建聊天机器人、语音助理、预测文本应用程序，还是以自然语言处理(NLP)为核心的其他应用程序，都将需要工具来帮助做到这一点。以下是一些受到开发人员欢迎的软件工，其中包括：

●自然语言工具包(NLTK)。自然语言工具包(NLTK)是一个开放源代码框架，用于构建Python程序以使用人类语言数据。它是在宾夕法尼亚大学计算机和信息科学系开发的，提供了与50多种语料库和词汇资源库、一个文本处理库、一个用于自然语言处理库的包装器以及论坛的接口。自然语言工具包(NLTK)是在Apache2.0许可证下提供的。

●SpaCy。SpaCy是一个用于高级自然语言处理的开放源代码库，是专门为生产目的而非研究目的而设计的。SpaCy的设计充分考虑了高级数据科学，并允许进行深度数据挖掘。SpaCy是由麻省理工学院开发并许可的。

●Gensim。Gensim是一个开源Python库。独立于平台的库支持可扩展的统计语义，对纯文本文档进行语义结构分析以及检索语义相似文档的功能。它旨在在无需人工监督的情况下处理大量文本。

●Amazon Comprehend。这个Amazon服务不需要机器学习的经验。它旨在帮助组织从电子邮件、客户评论、社交媒体、其他文本中找到见解。它使用情感分析、词性提取和标记化来分析单词背后的意图。

●IBM Watson音频分析器。这个基于云计算的解决方案旨在用于社交监听、聊天机器人集成和客户服务监控。它可以分析客户帖子中的情绪和语气，并监控客户服务电话和聊天对话。

●谷歌云翻译。这个API使用自然语言处理(NLP)来检查源文本以确定语言，然后使用神经机器翻译将文本动态翻译为另一种语言。该API允许用户将功能集成到他们自己的程序中。

 

自然语言处理(NLP)的示例

数据有多种形式，但是最大的未使用数据池由文本组成。专利、产品规格、学术出版物、市场研究、新闻以及社交媒体的文章，所有这些都以文本作为主要组成部分，并且文本的数量正在不断增长。将技术应用到语音，数据池将会变得更大。以下是组织如何使用自然语言处理(NLP)技术的三个示例：

(1)全球管理咨询服务商埃森哲公司使用自然语言处理(NLP)技术分析合同：“埃森哲法律智能合同探索(ALICE)”工具已经帮助该公司的2,800名专业人士处理上百万份合同，通过执行文本搜索，来搜索合同条款。ALICE工具使用“嵌入单词”逐段浏览合同文件，寻找关键字来确定每段是否与特定合同条款类型相关。

(2)美国电信商Verizon公司采用自然语言处理(NLP)技术处理客户请求：Verizon公司业务服务保证团队使用自然语言处理(NLP)技术和深度学习来自动处理客户请求注释。该团队每月收到10万个以上的入站请求。其人工智能支持服务可以读取维修票证，并自动响应最常见的请求，例如报告当前票证状态或维修进度更新。而更为复杂的问题将交给工程师解决。

(3)美国公共电力和天然气公司((PSE&G)通过虚拟助理帮助客户：新泽西州州公用事业公司使用虚拟助理技术和其他数字服务，以使其客户能够通过语音命令来管理其电费或天然气账户，这是使用亚马逊公司提供的Alexa 技能工具包构建的。