Понятие Natural Language Processing

Обработка естественного языка (NLP) - это направление ИИ, помогающая  понимать, интерпретировать и манипулировать человеческим языком интеллектуальным алгоритмам

Почему NLP так важно

Обработка естественного языка помогает компьютерам общаться с людьми на их родном языке и решать другие задачи, связанные с языком. Например, NLP позволяет компьютерам читать текст, слышать речь, интерпретировать ее, измерять настроение и определять, какие части текста важны. 
Современные машины могут анализировать больше языковых данных, чем люди, без усталости и последовательно, непредвзято. Учитывая ошеломляющий объем неструктурированных данных, которые генерируются каждый день, от медицинских записей до социальных сетей, автоматизация будет иметь решающее значение для эффективного анализа текстовых и речевых данных.

Структурирование крайне неструктурированных данных

Человеческий язык поразительно сложен и разнообразен. Мы выражаем свои мысли бесконечным количеством способов, как в устной, так и в письменной форме. Существуют не только сотни языков и диалектов, но и уникальный набор правил грамматики и синтаксиса, терминов и сленга. Когда мы пишем, мы часто неправильно произносим слова, сокращаем их или опускаем знаки препинания. Когда мы говорим, у нас есть региональные акценты, мы бормочем, заикаемся и заимствуем термины из других языков. 
Хотя контролируемое и неконтролируемое обучение, и особенно глубокое обучение, в настоящее время широко используются для моделирования человеческого языка, также необходимо синтаксическое и семантическое понимание, а также опыт в данной области, который не всегда присутствует в этих подходах машинного обучения. НЛП важно, поскольку оно помогает разрешить неоднозначность языка и добавляет полезную числовую структуру к данным для многих последующих приложений, таких как распознавание речи или анализ текста. 

Как работает NLP?

Обработка естественного языка включает в себя множество различных методов интерпретации человеческого языка, начиная от статистических методов и методов машинного обучения до подходов, основанных на правилах и алгоритмах. Нам необходим широкий спектр подходов, поскольку текстовые и голосовые данные сильно различаются, как и практические приложения. 
Основные задачи NLP включают в себя:

• токенизацию и синтаксический анализ;
• лемматизацию/подбор строк;
• тегирование частей речи;
• определение языка;
• выявление семантических связей.

Если вы когда-нибудь составляли схемы предложений в начальной школе, вы уже выполняли эти задачи вручную. 

В общих чертах, задачи НЛП разбивают язык на более короткие, элементарные части, пытаются понять отношения между частями и изучить, как эти части работают вместе, чтобы создать смысл.

Эти базовые задачи часто используются в более высокоуровневых возможностях NLP, таких как:

• Категоризация содержимого. Резюме документов на основе лингвистики, включая поиск и индексирование, предупреждения о содержании и обнаружение дублирования.
• Обнаружение и моделирование тем. Точное улавливание смысла и тем в текстовых коллекциях, а также применение расширенной аналитики к тексту, например, оптимизация и прогнозирование.
• Контекстное извлечение. Автоматическое извлечение структурированной информации из текстовых источников.
• Анализ настроений. Выявление настроения или субъективных мнений в больших объемах текста, включая поиск средних настроений и мнений. 
• Преобразование речи в текст и текста в речь. Преобразование голосовых команд в письменный текст и наоборот. 
• Резюме документов. Автоматическое создание конспектов больших объемов текста.
• Машинный перевод. Автоматический перевод текста или речи с одного языка на другой.

Во всех этих случаях общая цель заключается в получении исходного языкового материала и использовании лингвистики и алгоритмов для преобразования или обогащения текста таким образом, чтобы повысить его ценность. 

Как компьютеры осмысливают текстовые данные

Обработка естественного языка идет рука об руку с текстовой аналитикой, которая подсчитывает, группирует и классифицирует слова для извлечения структуры и смысла из больших объемов контента. Текстовая аналитика используется для изучения текстового контента и получения новых переменных из необработанного текста, которые могут быть визуализированы, отфильтрованы или использованы в качестве исходных данных для прогностических моделей или других статистических методов.
NLP и текстовая аналитика используются вместе для многих приложений, включая:
Расследование. Выявление закономерностей и улик в электронных письмах или письменных отчетах, что помогает обнаружить и раскрыть преступления.
Экспертиза предметной области. Классификация контента по значимым темам для принятия мер и выявления тенденций.
Аналитика социальных сетей. Отслеживание осведомленности и настроений по конкретным темам и выявление ключевых влиятельных лиц. 

Повседневные примеры применения

Существует множество распространенных и практических применений NLP в нашей повседневной жизни. Помимо общения с виртуальными помощниками, такими как Alexa или Siri, вот еще несколько примеров: 
Вы когда-нибудь просматривали электронные письма в папке со спамом и замечали сходство в темах сообщений? Это Байесовская фильтрация спама, статистическая техника NLP, которая сравнивает слова в спаме с действительными письмами, чтобы определить нежелательную почту.

Случалось ли вам пропустить телефонный звонок и прочитать автоматическую расшифровку голосового сообщения в почтовом ящике или приложении для смартфона? Это преобразование речи в текст, возможность NLP.

Вы когда-нибудь перемещались по веб-сайту, используя встроенную строку поиска или выбирая предложенные теги темы, объекта или категории? Тогда вы использовали методы NLP для поиска, моделирования тем, извлечения сущностей и категоризации контента.
Подполе NLP, называемое пониманием естественного языка (NLU), начало набирать популярность благодаря своему потенциалу в когнитивных приложениях и ИИ. NLU выходит за рамки структурного понимания языка и позволяет интерпретировать намерения, разрешать контекст и неоднозначность слов и даже самостоятельно генерировать хорошо сформированный человеческий язык. Алгоритмы NLU должны решать чрезвычайно сложную проблему семантической интерпретации - то есть понимания предполагаемого смысла устного или письменного языка со всеми тонкостями, контекстом и умозаключениями, которые мы, люди, способны постичь.

Эволюция NLP в сторону NLU имеет множество важных последствий как для бизнеса, так и для потребителей. Представьте себе мощь алгоритма, способного понимать значение и нюансы человеческого языка во многих контекстах, от медицины до юриспруденции и школьной аудитории. Поскольку объемы неструктурированной информации продолжают расти экспоненциально, мы только выиграем от неустанной способности компьютеров помочь нам разобраться во всем этом.