一文看懂自然语言处理-NLP（4个典型应用+5个难点+6个实现步骤）

自然语言生成 – NLG

NLG 是为了跨越人类和机器之间的沟通鸿沟，将非语言格式的数据转换成人类可以理解的语言格式，如文章、报告等。

NLG 的6个步骤：

1. 内容确定 – Content Determination
2. 文本结构 – Text Structuring
3. 句子聚合 – Sentence Aggregation
4. 语法化 – Lexicalisation
5. 参考表达式生成 – Referring Expression Generation|REG
6. 语言实现 – Linguistic Realisation

想要深入了解NLG，可以看看这篇文章《 一文看懂自然语言生成 - NLG（6个实现步骤+3个典型应用）》

NLP 的5个难点 

1. 语言是没有规律的，或者说规律是错综复杂的。
2. 语言是可以自由组合的，可以组合复杂的语言表达。
3. 语言是一个开放集合，我们可以任意的发明创造一些新的表达方式。
4. 语言需要联系到实践知识，有一定的知识依赖。
5. 语言的使用要基于环境和上下文。

NLP 的4个典型应用

情感分析

互联网上有大量的文本信息，这些信息想要表达的内容是五花八门的，但是他们抒发的情感是一致的：正面/积极的 – 负面/消极的。

通过情感分析，可以快速了解用户的舆情情况。

聊天机器人

过去只有 Siri、小冰这些机器人，大家使用的动力并不强，只是当做一个娱乐的方式。但是最近几年智能音箱的快速发展让大家感受到了聊天机器人的价值。

而且未来随着智能家居，智能汽车的发展，聊天机器人会有更大的使用价值。

语音识别

语音识别已经成为了全民级的引用，微信里可以语音转文字，汽车中使用导航可以直接说目的地，老年人使用输入法也可以直接语音而不用学习拼音…

机器翻译

目前的机器翻译准确率已经很高了，大家使用 Google 翻译完全可以看懂文章的大意。传统的人肉翻译未来很可能会失业。

NLP 的 2 种途径、3 个核心步骤

NLP 可以使用传统的机器学习方法来处理，也可以使用深度学习的方法来处理。2 种不同的途径也对应着不同的处理步骤。详情如下：

方式 1：传统机器学习的 NLP 流程

1. 语料预处理
2. 中文语料预处理 4 个步骤（下文详解）
3. 英文语料预处理的 6 个步骤（下文详解）
4. 特征工程
5. 特征提取
6. 特征选择
7. 选择分类器

方式 2：深度学习的 NLP 流程

1. 语料预处理
2. 中文语料预处理 4 个步骤（下文详解）
3. 英文语料预处理的 6 个步骤（下文详解）
4. 设计模型
5. 模型训练

英文 NLP 语料预处理的 6 个步骤

1. 分词 – Tokenization
2. 词干提取 – Stemming
3. 词形还原 – Lemmatization
4. 词性标注 – Parts of Speech
5. 命名实体识别 – NER
6. 分块 – Chunking

中文 NLP 语料预处理的 4 个步骤

1. 中文分词 – Chinese Word Segmentation
2. 词性标注 – Parts of Speech
3. 命名实体识别 – NER
4. 去除停用词

总结

自然语言处理（NLP）就是在机器语言和人类语言之间沟通的桥梁，以实现人机交流的目的。

NLP的2个核心任务：

1. 自然语言理解 – NLU
2. 自然语言生成 – NLG

NLP 的5个难点：

1. 语言是没有规律的，或者说规律是错综复杂的。
2. 语言是可以自由组合的，可以组合复杂的语言表达。
3. 语言是一个开放集合，我们可以任意的发明创造一些新的表达方式。
4. 语言需要联系到实践知识，有一定的知识依赖。
5. 语言的使用要基于环境和上下文。

NLP 的4个典型应用：

1. 情感分析
2. 聊天机器人
3. 语音识别
4. 机器翻译

NLP 的6个实现步骤：

1. 分词-tokenization
2. 次干提取-stemming
3. 词形还原-lemmatization
4. 词性标注-pos tags
5. 命名实体识别-ner
6. 分块-chunking

推荐下我自己建的人工智能Python学习群:[809160367]，群里都是学Python的，如果你想学或者正在学习Python ，欢迎你加入，大家都是软件开发党，不定期分享干货，还有免费直播课程领取。包括我自己整理的一份2021最新的Python进阶资料和零基础教学，欢迎进阶中和对Python感兴趣的小伙伴加入！还可以扫码加VX领取资料哦！