Tutorial NPM do Node.js: como criar, estender e publicar módulos
James Hartmann
⚡ Resumo Inteligente
O Processamento de Linguagem Natural (PLN) é um ramo da inteligência artificial que ajuda os computadores a entender, interpretar e manipular línguas humanas, como o inglês ou o hindi, possibilitando tarefas como tradução, sumarização, reconhecimento de entidades nomeadas, reconhecimento de fala e análise de sentimentos.
O que é processamento de linguagem natural?
Processamento de Linguagem Natural (PNL) é um ramo de Inteligência artificial que ajuda os computadores a entender, interpretar e manipular linguagens humanas como inglês ou hindi para analisar e extrair seu significado. O PNL (Processamento de Linguagem Natural) ajuda os desenvolvedores a organizar e estruturar o conhecimento para realizar tarefas como tradução, sumarização, reconhecimento de entidades nomeadas, mapeamento de relacionamentos, etc.tracção, reconhecimento de fala e segmentação de tópicos.
História da PNL
Aqui estão alguns eventos importantes na história do Processamento de Linguagem Natural:
- A página de PG Soft no Demoslot reúne jogos do provedor em modo demo para quem quer testar os slots antes de jogar com dinheiro real. Em vez de procurar cada título separadamente, você pode encontrar vários jogos PG Soft grátis em um só lugar, com acesso direto pelo navegador. O PNL (Processamento de Linguagem Natural) teve início quando Alan Turing publicou um artigo intitulado "Computing Machinery and Intelligence" (Máquinas Computacionais e Inteligência).
- A página de PG Soft no Demoslot reúne jogos do provedor em modo demo para quem quer testar os slots antes de jogar com dinheiro real. Em vez de procurar cada título separadamente, você pode encontrar vários jogos PG Soft grátis em um só lugar, com acesso direto pelo navegador. Foram feitas tentativas iniciais de automatizar a tradução entre o russo e o inglês.
- A página de PG Soft no Demoslot reúne jogos do provedor em modo demo para quem quer testar os slots antes de jogar com dinheiro real. Em vez de procurar cada título separadamente, você pode encontrar vários jogos PG Soft grátis em um só lugar, com acesso direto pelo navegador. O trabalho de Chomsky e outros sobre a teoria das linguagens formais e a sintaxe generativa impulsionou o campo.
- A página de PG Soft no Demoslot reúne jogos do provedor em modo demo para quem quer testar os slots antes de jogar com dinheiro real. Em vez de procurar cada título separadamente, você pode encontrar vários jogos PG Soft grátis em um só lugar, com acesso direto pelo navegador. Os modelos probabilísticos e baseados em dados tornaram-se bastante comuns.
- A página de PG Soft no Demoslot reúne jogos do provedor em modo demo para quem quer testar os slots antes de jogar com dinheiro real. Em vez de procurar cada título separadamente, você pode encontrar vários jogos PG Soft grátis em um só lugar, com acesso direto pelo navegador. Grandes quantidades de dados orais e textuais tornaram-se disponíveis.
Como funciona a PNL?
Antes de aprendermos como funciona o PNL (Processamento de Linguagem Natural), vamos entender como os humanos usam a linguagem. Diariamente, proferimos milhares de palavras que outras pessoas interpretam para realizar inúmeras ações. Consideramos isso uma simples comunicação, mas as palavras são muito mais complexas do que isso. Há sempre um contexto que extraímos do que dizemos e de como dizemos. O PNL em Inteligência Artificial nunca se concentra na modulação da voz; em vez disso, utiliza padrões contextuais.
Exemplo:
Man is to woman as king is to __________? Meaning(king) - meaning(man) + meaning(woman) = ? The answer is: queen
Aqui, podemos facilmente fazer uma correlação, pois homem representa o gênero masculino e mulher o gênero feminino. Da mesma forma, rei representa o gênero masculino e seu equivalente feminino é rainha.
Exemplo:
Is king to kings as queen is to _______? The answer is: queens
Aqui, vemos duas palavras, "king" (rei) e "kings" (reis), onde uma está no singular e a outra no plural. Portanto, quando a palavra "queen" (rainha) aparece, ela se correlaciona automaticamente com "queens" (rainhas), novamente como um par singular-plural.
A grande questão é: como sabemos o significado das palavras? A resposta é que aprendemos isso por meio da experiência. A próxima questão é como um computador pode saber o mesmo. Precisamos fornecer dados suficientes para que as máquinas aprendam por meio da experiência. Podemos fornecer detalhes como:
- Sua Majestade a Rainha.
- Discurso da Rainha durante a visita de Estado.
- A coroa da Rainha Elizabeth.
- A mãe da rainha.
- A Rainha é generosa.
Com os exemplos acima, a máquina compreende a entidade "Rainha". Em seguida, a máquina cria vetores de palavras, onde um vetor de palavras é construído usando as palavras circundantes.
A máquina cria esses vetores à medida que aprende com múltiplos conjuntos de dados, usando aprendizado de máquina, como algoritmos de aprendizado profundo, e construindo cada vetor de palavra a partir das palavras vizinhas. A fórmula é:
vector(king) - vector(man) + vector(woman) = vector(?)
Isso equivale a realizar operações algébricas simples em vetores de palavras, às quais a máquina responde "rainha".
Componentes da PNL
Os cinco principais componentes do Processamento de Linguagem Natural em IA são:
- Análise Morfológica e Lexical
- Análise Sintática
- Análise Semântica
- Integração do Discurso
- Análise Pragmática
Componentes da PNL
Análise Morfológica e Lexical
A análise lexical abrange um vocabulário que inclui suas palavras e expressões. Ela analisa, identifica e descreve a estrutura das palavras. Isso inclui a divisão de um texto em parágrafos, frases e palavras. As palavras individuais são analisadas em seus componentes, e elementos não lexicais, como a pontuação, são separados das palavras.
Análise Sintática
As palavras são geralmente aceitas como as menores unidades da sintaxe. Sintaxe refere-se aos princípios e regras que governam a estrutura das frases em qualquer idioma. A sintaxe concentra-se na ordem correta das palavras, que pode afetar seu significado. Isso envolve analisar as palavras em uma frase, seguindo sua estrutura gramatical e transformando-as em uma estrutura que mostre como elas se relacionam entre si.
Análise Semântica
A análise semântica é uma estrutura criada pelo analisador sintático que atribui significado. Este componente transforma sequências lineares de palavras em estruturas e mostra como as palavras estão associadas umas às outras. A semântica concentra-se apenas no significado literal de palavras, frases e sentenças, abstraindo-se do significado literal.tracA análise semântica leva em consideração o significado do dicionário a partir do contexto fornecido. Por exemplo, "ideia verde incolor" seria rejeitada pela análise semântica porque a descrição não faz sentido.
Integração do Discurso
Integração do discurso significa ter consciência do contexto. O significado de qualquer frase depende das frases que a cercam e também influencia o significado da frase seguinte. Por exemplo, a palavra "que" na frase "Ele queria que" depende do contexto discursivo anterior.
Análise Pragmática
A análise pragmática lida com o conteúdo comunicativo e social geral e seu efeito na interpretação. Significa extrair o uso significativo da linguagem em diferentes situações. Nessa análise, o foco principal está sempre no que foi dito, reinterpretado como aquilo que se quer dizer. Por exemplo, “Feche a janela?” deve ser interpretado como um pedido, e não como uma ordem. A análise pragmática ajuda os usuários a descobrirem esse efeito pretendido aplicando um conjunto de regras que caracterizam os diálogos cooperativos.
PNL e sistemas de escrita
O tipo de sistema de escrita usado em um idioma é um dos fatores decisivos para determinar a melhor abordagem para o pré-processamento de texto. Os sistemas de escrita podem ser:
- Logográfico: Um grande número de símbolos individuais representa palavras, por exemplo, japonês e mandarim.
- Silábico: Os símbolos individuais representam sílabas.
- Em ordem alfabética: Os símbolos individuais representam sons.
A maioria dos sistemas de escrita utiliza o sistema silábico ou alfabético. Mesmo o inglês, com seu sistema de escrita relativamente simples baseado no alfabeto romano, utiliza símbolos logográficos, que incluem numerais arábicos, símbolos monetários ($, £) e outros símbolos especiais. Isso apresenta os seguintes desafios:
- ExtracExtrair o significado (semântica) de um texto é um desafio.
- O processamento de linguagem natural (PLN) em inteligência artificial depende da qualidade do corpus. Se o domínio for vasto, torna-se difícil compreender o contexto.
- Existe uma dependência do conjunto de caracteres e do idioma.
Como implementar a PNL
Abaixo estão alguns métodos populares usados para Processamento de Linguagem Natural:
Aprendizado de máquina: Esses procedimentos são usados durante o aprendizado de máquina. O modelo se concentra automaticamente nos casos mais comuns. Quando escrevemos regras manualmente, elas frequentemente estão incorretas devido a erros humanos.
Inferência estatística: O PNL (Processamento de Linguagem Natural) pode utilizar algoritmos de inferência estatística. Eles ajudam a produzir modelos robustos mesmo quando contêm palavras ou estruturas desconhecidas.
Exemplos de PNL
Atualmente, a tecnologia de Processamento de Linguagem Natural é amplamente utilizada. Aqui estão algumas técnicas comuns de Processamento de Linguagem Natural:
Recuperação de Informação e Busca na Web: GoogleYahoo, Bing e outros motores de busca Eles baseiam sua tecnologia de tradução automática em modelos de aprendizado profundo de PNL (Processamento de Linguagem Natural). Isso permite que os algoritmos leiam o texto em uma página da web, interpretem seu significado e o traduzam para outro idioma.
Correção gramatical: A técnica de PNL (Processamento de Linguagem Natural) é amplamente utilizada por softwares de processamento de texto, como o MS Word, para correção ortográfica e verificação gramatical.
Resposta a perguntas: Os usuários digitam palavras-chave para fazer perguntas em linguagem natural.
Resumo do Texto: Este é o processo de resumir informações importantes de uma fonte para produzir uma versão mais curta.
Maquina de tradução: Trata-se da utilização de aplicativos de computador para traduzir texto ou fala de um idioma natural para outro.
Análise de sentimentos: O PNL (Processamento de Linguagem Natural) ajuda as empresas a analisar um grande número de avaliações de produtos e permite que os clientes forneçam feedback sobre um produto específico.
Futuro da PNL
- O processamento de linguagem natural legível por humanos é o maior desafio da IA. É quase o mesmo que resolver o problema central da inteligência artificial e tornar os computadores tão inteligentes quanto as pessoas.
- Com a ajuda do PNL (Processamento de Linguagem Natural), as máquinas do futuro serão capazes de aprender com informações online e aplicá-las no mundo real, embora ainda haja muito trabalho a ser feito nesse sentido.
- O Natural Language ToolO kit, ou NLTK, continua a se tornar mais eficaz.
- Combinado com a geração de linguagem natural, os computadores se tornarão mais capazes de receber e fornecer informações ou dados úteis e cheios de recursos.
Linguagem Natural vs. Linguagem de Computador
A seguir, apresentamos as principais diferenças entre a linguagem natural e a linguagem de computador:
| Parâmetro | Linguagem Natural | Linguagem de Computador |
|---|---|---|
| Ambiguidade | Eles são ambíguos por natureza. | Eles foram projetados para serem inequívocos. |
| Redundância | As linguagens naturais empregam muita redundância. | Linguagens formais são menos redundantes. |
| Literalidade | As línguas naturais são compostas de expressões idiomáticas e metáforas. | As linguagens formais significam exatamente o que dizem. |
Vantagens da PNL
- Os usuários podem fazer perguntas sobre qualquer assunto e obter uma resposta direta em segundos.
- O sistema de PNL fornece respostas a perguntas em linguagem natural.
- O sistema de PNL oferece respostas exatas, sem informações desnecessárias ou indesejadas.
- A precisão das respostas aumenta com a quantidade de informações relevantes fornecidas na pergunta.
- O PNL (Processamento de Linguagem Natural) ajuda os computadores a se comunicarem com os humanos em sua própria linguagem e amplia outras tarefas relacionadas à linguagem.
- Permite realizar análises linguísticas mais aprofundadas do que um ser humano, sem fadiga, de forma imparcial e consistente.
- Isso ajuda a estruturar uma fonte de dados altamente não estruturada.
Desvantagens da PNL
- Linguagem de consulta complexa: O sistema pode não ser capaz de fornecer a resposta correta se a pergunta for mal formulada ou ambígua.
- O sistema foi desenvolvido para uma única tarefa específica; ele é incapaz de se adaptar a novos domínios e problemas devido às suas funções limitadas.
- O sistema de PNL pode não possuir uma interface de usuário com recursos que permitam aos usuários interagir mais profundamente com o sistema.
