Tutorial de processamento de linguagem natural: o que é PNL? Exemplos

O que é processamento de linguagem natural?

Processamento de Linguagem Natural (PNL) é um ramo da IA que ajuda os computadores a compreender, interpretar e manipular línguas humanas como o inglês ou o hindi para analisar e derivar seu significado. A PNL ajuda os desenvolvedores a organizar e estruturar o conhecimento para realizar tarefas como tradução, resumo, reconhecimento de entidade nomeada, extração de relacionamento, reconhecimento de fala, segmentação de tópicos, etc.

História da PNL

Aqui estão eventos importantes na história do Processamento de Linguagem Natural:

1950- A PNL começou quando Alan Turing publicou um artigo chamado “Máquina e Inteligência”.

1950- Tentativas de automatizar a tradução entre russo e inglês

1960- O trabalho de Chomsky e outros sobre teoria formal da linguagem e sintaxe generativa

1990- Os modelos probabilísticos e baseados em dados tornaram-se bastante padrão

2000- Uma grande quantidade de dados falados e textuais fica disponível

A seguir neste tutorial de PNL, aprenderemos como funciona a PNL.

Como funciona a PNL?

Antes de aprendermos como a PNL funciona, vamos entender como os humanos usam a linguagem.

Todos os dias, dizemos milhares de palavras que outras pessoas interpretam para fazer inúmeras coisas. Nós consideramos isso uma comunicação simples, mas todos sabemos que as palavras são muito mais profundas do que isso. Sempre há algum contexto que derivamos do que dizemos e como o dizemos., PNL em Inteligência artificial nunca foca na modulação de voz; ele se baseia em padrões contextuais.

Exemplo:

Man is to woman as king is to __________?
Meaning (king) – meaning (man) + meaning ( woman)=?
The answer is-  queen

Aqui, podemos facilmente correlacionar porque o homem é do gênero masculino e a mulher é do gênero feminino. Da mesma forma, o rei é do gênero masculino e o gênero feminino é a rainha.

Exemplo:

Is King to kings as the queen is to_______?
The answer is--- queens

Aqui, podemos ver duas palavras reis e reis, onde uma é singular e a outra é plural. Portanto, quando a rainha do mundo chega, ela automaticamente se correlaciona com as rainhas novamente no singular plural.

Aqui, a maior questão é: como sabemos o que as palavras significam? Vamos dizer quem vai chamá-la de rainha?

A resposta é que aprendemos isso através da experiência. No entanto, aqui a questão principal é: como o computador sabe disso?

Precisamos fornecer dados suficientes para que as Máquinas aprendam através da experiência. Podemos alimentar detalhes como

Sua Majestade a Rainha.
Discurso da Rainha durante a visita de Estado
A coroa da Rainha Elizabeth
A mãe das rainhas
A rainha é generosa.

Com os exemplos acima a máquina entende a entidade Rainha.

A máquina cria vetores de palavras conforme abaixo. Um vetor de palavras é construído usando palavras vizinhas.

A máquina cria esses vetores

À medida que aprende com vários conjuntos de dados
Use aprendizado de máquina (por exemplo, algoritmos de aprendizado profundo)
Um vetor de palavras é construído usando palavras vizinhas.

Aqui está a fórmula:

Significado (rei) – significado (homem) + significado (mulher)=?

Isso equivale a realizar operações algébricas simples em vetores de palavras:

Vetor (rei) – vetor (homem) + vetor (mulher) = vetor (?)

Ao que a máquina responde rainha.

A seguir neste tutorial de processamento de linguagem natural, aprenderemos sobre os componentes da PNL.

Componentes da PNL

Os cinco componentes principais do processamento de linguagem natural em IA são:

Análise Morfológica e Lexical
Análise Sintática
Análise Semântica
Integração do Discurso
Análise Pragmática

Análise Morfológica e Lexical

A análise lexical é um vocabulário que inclui suas palavras e expressões. Descreve a análise, identificação e descrição da estrutura das palavras. Inclui dividir um texto em parágrafos, palavras e frases

Palavras individuais são analisadas em seus componentes, e tokens que não são palavras, como pontuações, são separados das palavras.

Análise Semântica

A Análise Semântica é uma estrutura criada pelo analisador sintático que atribui significados. Este componente transfere sequências lineares de palavras em estruturas. Mostra como as palavras estão associadas entre si.

A semântica se concentra apenas no significado literal de palavras, frases e sentenças. Isso apenas abstrai o significado do dicionário ou o significado real do contexto fornecido. As estruturas atribuídas pelo analisador sintático sempre possuem significado atribuído

Por exemplo. “ideia verde incolor.” Isto seria rejeitado pela análise da Symantec como incolor aqui; verde não faz sentido.

Análise Pragmática

A Análise Pragmática trata do conteúdo comunicativo e social geral e seu efeito na interpretação. Significa abstrair ou derivar o uso significativo da linguagem em situações. Nesta análise, o foco principal sempre está no que foi dito e reinterpretado no que se entende.

A análise pragmática ajuda os usuários a descobrir o efeito pretendido, aplicando um conjunto de regras que caracterizam os diálogos cooperativos.

Por exemplo, “fechar a janela?” deve ser interpretado como um pedido em vez de uma ordem.

Análise de sintaxe

As palavras são comumente aceitas como sendo as menores unidades de sintaxe. A sintaxe refere-se aos princípios e regras que regem a estrutura das frases de qualquer idioma individual.

A sintaxe concentra-se na ordem adequada das palavras que pode afetar seu significado. Isso envolve a análise das palavras em uma frase seguindo a estrutura gramatical da frase. As palavras são transformadas na estrutura para mostrar como as palavras estão relacionadas entre si.

Integração do Discurso

Significa uma noção do contexto. O significado de qualquer frase única que depende dessas frases. Também considera o significado da frase a seguir.

Por exemplo, a palavra “aquilo” na frase “Ele queria aquilo” depende do contexto do discurso anterior.

A seguir neste tutorial de PNL, aprenderemos sobre PNL e sistemas de escrita.

PNL e sistemas de escrita

O tipo de sistema de escrita usado para um idioma é um dos fatores decisivos na determinação da melhor abordagem para o pré-processamento de texto. Os sistemas de escrita podem ser

Logográfico: um grande número de símbolos individuais representam palavras. Exemplo japonês, mandarim
Silábico: símbolos individuais representam sílabas
Alfabético: símbolos individuais representam som

A maioria dos sistemas de escrita usa o sistema Silábico ou Alfabético. Até mesmo o inglês, com seu sistema de escrita relativamente simples baseado no alfabeto romano, utiliza símbolos logográficos que incluem algarismos arábicos, símbolos monetários (S, £) e outros símbolos especiais.

Esta pose segue desafios

Extrair significado (semântica) de um texto é um desafio
A PNL em IA depende da qualidade do corpus. Se o domínio for vasto, será difícil entender o contexto.
Existe uma dependência do conjunto de caracteres e do idioma

Como implementar a PNL

Abaixo, são apresentados os métodos populares usados para o Processo de Aprendizagem Natural:

Aprendizado de máquina: Os procedimentos de aprendizagem de PNL usados durante o aprendizado de máquina. Ele se concentra automaticamente nos casos mais comuns. Portanto, quando escrevemos regras à mão, muitas vezes não é correto nos preocuparmos com erros humanos.

Inferência estatística: A PNL pode fazer uso de algoritmos de inferência estatística. Ajuda você a produzir modelos robustos. por exemplo, contendo palavras ou estruturas conhecidas por todos.

Exemplos de PNL

Hoje em dia, a tecnologia de aprendizagem de processos naturais é uma tecnologia amplamente utilizada.

Aqui estão as técnicas comuns de processamento de linguagem natural:

Recuperação de informações e pesquisa na web

Google, Yahoo, Bing e outros motores de busca baseiam sua tecnologia de tradução automática em modelos de aprendizagem profunda de PNL. Ele permite que algoritmos leiam texto em uma página da web, interpretem seu significado e traduzam-no para outro idioma.

Correção gramatical:

A técnica de PNL é amplamente utilizada por softwares de processamento de texto como o MS-word para correção ortográfica e verificação gramatical.

Resposta a Perguntas

Digite palavras-chave para fazer perguntas em linguagem natural.

Resumo de Texto

O processo de resumir informações importantes de uma fonte para produzir uma versão abreviada

Maquina de tradução

Uso de aplicativos de computador para traduzir texto ou fala de um idioma natural para outro.

Análise de sentimentos

A PNL ajuda as empresas a analisar um grande número de avaliações sobre um produto. Também permite que seus clientes façam uma avaliação de um produto específico.

Futuro da PNL

O processamento de linguagem natural legível por humanos é o maior problema do Al. É quase o mesmo que resolver o problema central da inteligência artificial e tornar os computadores tão inteligentes quanto as pessoas.
Futuros computadores ou máquinas com a ajuda da PNL serão capazes de aprender com as informações on-line e aplicá-las no mundo real; no entanto, é necessário muito trabalho nesse sentido.
Kit de ferramentas de linguagem natural ou nltk torna-se mais eficaz
Combinado com a geração de linguagem natural, os computadores se tornarão mais capazes de receber e fornecer informações ou dados úteis e cheios de recursos.

Linguagem Natural vs. Linguagem de Computador

Abaixo estão as principais diferenças entre Linguagem Natural e Linguagem de Computador:

Parâmetro	Linguagem Natural	Linguagem de Computador
Ambíguo	Eles são ambíguos por natureza.	Eles são projetados para serem inequívocos.
Redundância	As linguagens naturais empregam muita redundância.	Linguagens formais são menos redundantes.
Literalidade	As línguas naturais são feitas de expressões idiomáticas e metáforas	Linguagens formais significam exatamente o que querem dizer

Vantagens da PNL

Os usuários podem fazer perguntas sobre qualquer assunto e obter uma resposta direta em segundos.
O sistema PNL fornece respostas às perguntas em linguagem natural
O sistema PNL oferece respostas exatas às perguntas, sem informações desnecessárias ou indesejadas
A precisão das respostas aumenta com a quantidade de informações relevantes fornecidas na pergunta.
O processo de PNL ajuda os computadores a se comunicarem com os humanos em seu idioma e dimensiona outras tarefas relacionadas ao idioma
Permite realizar mais dados baseados em linguagem em comparação com um ser humano, sem fadiga e de forma imparcial e consistente.
Estruturação de uma fonte de dados altamente desestruturada

Desvantagens da PNL

Linguagem de consulta complexa - o sistema pode não ser capaz de fornecer a resposta correta para uma pergunta mal formulada ou ambígua.
O sistema é construído apenas para uma tarefa única e específica; é incapaz de se adaptar a novos domínios e problemas devido às funções limitadas.
O sistema de PNL não possui uma interface de usuário que carece de recursos que permitam aos usuários interagir ainda mais com o sistema

Resumo

O Processamento de Linguagem Natural é um ramo da IA que ajuda os computadores a compreender, interpretar e manipular a linguagem humana.
A PNL começou quando Alan Turing publicou um artigo chamado “Máquina e Inteligência”.
A PNL nunca se concentra na modulação de voz; ele se baseia em padrões contextuais
Cinco componentes essenciais do Processamento de Linguagem Natural em Inteligência Artificial são 1) Análise Morfológica e Lexical 2) Análise Sintática 3) Análise Semântica 4) Integração do Discurso 5) Análise Pragmática
Três tipos de sistema de escrita de processo natural são 1) Logográfico 2) Silábico 3) Alfabético
O aprendizado de máquina e a inferência estatística são dois métodos para implementação do aprendizado de processos naturais
As aplicações essenciais da PNL são recuperação de informações e pesquisa na Web, resposta a perguntas de correção gramatical, resumo de texto, tradução automática, etc.
Futuros computadores ou máquinas com a ajuda da PNL e Ciência dados será capaz de aprender com as informações on-line e aplicá-las no mundo real; no entanto, é necessário muito trabalho nesse sentido
A PNL é ambígua, enquanto a linguagem de computador de código aberto é projetada para ser inequívoca.
A maior vantagem da PNL no sistema de Inteligência Artificial é que ela oferece respostas exatas às perguntas, sem informações desnecessárias ou indesejadas
A maior desvantagem do sistema de PNL é construído apenas para uma tarefa única e específica, por isso é incapaz de se adaptar a novos domínios e problemas devido às funções limitadas.

Você pode gostar: