NLP

在自然语言处理（NLP）领域中，使用语言模型预训练方法在多项NLP任务上都获得了很好的提升，也十分吸引大家的眼球。就此，我将最近看的一些相关论文和博文进行总结，选取了几个代表性模型（包括ELMo ，OpenAI GPT 和BERT）和大家一起学习分享。         一个对文本有效的抽象方法可以减轻NLP对监督学习的依赖。大多数深度学习方法需要大量的人工标注信息，这限制了在很多领域的应用。在这些情况下，利用来未标记数据的语言信息的模型来产生更多的注释，这可能既耗时又昂贵。此外，即使在可获得相当大的监督的情况下，以无人监督的方式学习良好的表示也可以提供显著的性能提升。到目前为止，最引人注目的证据是广泛使用预训练词嵌入来提高一系列NLP任务的性能。一、ELMo1.1 ELMo的优势（1）ELMo能够学习到词汇用法的复杂性，比如语法、语义。（2）

感谢各位大佬的博客分享，我在你们这里学到了许多，下面我就将结合大佬们的分享来总结一下我的学习内容。下面我们先介绍seq2seq，attention，然后进入正题，transformer。一、seq2seq模型1. 1 seq2seq模型简介        所谓Seq2Seq(Sequence to Sequence), 就是一种能够根据给定的序列，通过特定的方法生成另一个序列的方法。        举个简单的例子，当我们使用机器翻译时：输入(Hello) --->输出(你好)。再比如在人机对话中，我们问机器：“你是谁？”，机器会返回答案“我是某某某”。机器翻译、人机对话、聊天机器人等等，

这次分享的是场景更丰富、情形更复杂的自然场景ocr。核心算法将分为两部分介绍——文本检测和文本识别。不同于传统ocr，自然场景ocr的特点在于“场景”，我们需将文本从复杂的图片场景中独立出来，剔除场景的干扰，才能更快、更准地实现文本识别。故文本检测和文本识别是自然场景ocr端到端系统中两个必不可少的步骤。下面将由近期的ocr学习成果展开介绍。一、文本检测算法1.1 PSENet简介         现阶段的文本检测算法主要分为两大类：基于矩形边界盒与基于像素实例分割。但这两类算法面临着两大挑战：（1）基于矩形边界盒的文本检测方法，很难将文本完全封闭在矩形中，即很难处理任意形状的文本。（2）大多数基于像素实例分割的算法很难将彼此接近的文本实例分开。         为了解决上述问题，南京大学与南京理工大学提出了PSENet（渐进尺度扩展网络），是一种改良版的实例分割的算法。下面对三个典型的文本检测算法进行对比分析，这三个算法分别是：ctpn，