Tutorial de aprendizado de máquina para iniciantes: o que é, noções básicas de ML
Equipe editorial
⚡ Resumo Inteligente
Aprendizado de máquina é uma família de algoritmos computacionais que melhoram a partir de exemplos, em vez de serem explicitamente codificados, combinando dados com ferramentas estatísticas para prever resultados que as pessoas podem transformar em decisões práticas.
O que é a Aprendizagem de Máquinas?
Machine Learning É um sistema de algoritmos computacionais que aprende com exemplos por meio do autoaperfeiçoamento, sem ser explicitamente codificado por um programador. O aprendizado de máquina faz parte de inteligência artificial que combina dados com ferramentas estatísticas para prever um resultado que pode ser usado para gerar insights acionáveis.
A inovação reside na ideia de que uma máquina pode aprender com os dados (ou seja, exemplos) por conta própria para produzir resultados precisos. O aprendizado de máquina está intimamente relacionado a mineração de dados e modelagem preditiva Bayesiana. A máquina recebe dados como entrada e usa um algoritmo para formular respostas.
Uma tarefa típica de aprendizado de máquina é fornecer uma recomendação. Para aqueles que têm um Netflix Na conta, todas as recomendações de filmes ou séries são baseadas no histórico de dados do usuário. Empresas de tecnologia utilizam esse recurso. aprendizado não supervisionado Melhorar a experiência do usuário através da personalização das recomendações.
O aprendizado de máquina também é usado para diversas tarefas, como detecção de fraudes, manutenção preditiva, otimização de portfólio e automação de tarefas.
Aprendizado de máquina versus programação tradicional
A programação tradicional difere significativamente da aprendizagem de máquina. Na programação tradicional, um programador codifica todas as regras em consulta com um especialista na área para a qual o software está sendo desenvolvido. Cada regra é baseada em uma lógica; a máquina produz uma saída seguindo a declaração lógica. Quando o sistema se torna complexo, mais regras precisam ser escritas, e sua manutenção pode rapidamente se tornar insustentável. O diagrama abaixo mostra esse fluxo, onde os dados e as regras escritas manualmente entram e as respostas saem.
O aprendizado de máquina visa superar esse problema. A máquina aprende como os dados de entrada e saída estão correlacionados e cria a regra automaticamente. Os programadores não precisam escrever novas regras a cada novo conjunto de dados. Os algoritmos se adaptam em resposta a novos dados e à experiência para melhorar a eficácia ao longo do tempo. O segundo diagrama inverte o primeiro: os dados e as respostas conhecidas entram e a regra sai.
Como funciona o aprendizado de máquina?
Com esse contraste estabelecido, a próxima questão é o que realmente acontece dentro da etapa de aprendizagem.
O aprendizado de máquina é o cérebro onde todo o aprendizado acontece. A forma como a máquina aprende é semelhante à forma como um ser humano aprende. Os humanos aprendem com a experiência: quanto mais sabemos, mais facilmente conseguimos prever. Por analogia, quando nos deparamos com uma situação desconhecida, a probabilidade de sucesso é menor do que em uma situação conhecida. As máquinas são treinadas da mesma forma. Para fazer uma previsão precisa, a máquina observa um exemplo. Quando fornecemos à máquina um exemplo semelhante, ela consegue deduzir o resultado. No entanto, assim como um humano, se receber um exemplo nunca antes visto, a máquina terá dificuldade em prever.
Os principais objetivos do aprendizado de máquina são o aprendizado e a inferência. Primeiramente, a máquina aprende por meio da descoberta de padrões, e essa descoberta é possibilitada pelos dados. Uma parte crucial do trabalho do cientista de dados é escolher cuidadosamente quais dados fornecer à máquina. A lista de atributos usada para resolver um problema é chamada de conjunto de dados. vetor de característicaVocê pode pensar em um vetor de características como um subconjunto de dados usado para resolver um problema.
A máquina utiliza algoritmos para simplificar a realidade e transformar essa descoberta em um modelo. A etapa de aprendizado é, portanto, usada para descrever os dados e resumi-los em um modelo, conforme ilustrado abaixo.
Por exemplo, a máquina está tentando entender a relação entre o salário de um indivíduo e a probabilidade de ele ir a um restaurante sofisticado. Acontece que a máquina encontra uma relação positiva entre o salário e a ida a um restaurante de alto padrão: este é o modelo.
inferir
Após a construção do modelo, é possível testar sua eficácia em dados nunca antes vistos. Os novos dados são transformados em um vetor de características, passam pelo modelo e geram uma previsão. Essa é a parte valiosa do aprendizado de máquina. Não há necessidade de atualizar as regras ou treinar o modelo novamente — você pode usar o modelo previamente treinado para fazer inferências em novos dados, exatamente como mostra o diagrama abaixo.
O ciclo de vida de um programa de aprendizado de máquina é simples e pode ser resumido nos seguintes pontos:
- Definir uma pergunta
- Coletar dados
- Visualize dados
- Algoritmo de treinamento
- Teste o algoritmo
- Colete feedback
- Refinar o algoritmo
- Repita os passos 4 a 7 até obter os resultados desejados.
- Use o modelo para fazer uma previsão
Depois que o algoritmo fica bom em tirar as conclusões corretas, ele aplica esse conhecimento a novos conjuntos de dados.
Machine Learning Algorithms e onde eles são usados?
O gráfico abaixo agrupa os algoritmos mais comuns pelo tipo de tarefa que resolvem.
A aprendizagem de máquina pode ser agrupada em duas grandes tarefas de aprendizagem: supervisionou e não supervisionadoEntre e além delas, existem outras duas famílias: a aprendizagem semissupervisionada, que mistura um pequeno conjunto rotulado com um grande conjunto não rotulado, e aprendizagem de reforço, onde um agente aprende com recompensas em vez de com respostas rotuladas.
Aprendizagem supervisionada
Um algoritmo utiliza dados de treinamento e feedback de humanos para aprender a relação entre entradas específicas e uma determinada saída. Por exemplo, um profissional pode usar despesas de marketing e previsão do tempo como dados de entrada para prever as vendas de latas.
Você pode usar aprendizagem supervisionada Quando os dados de saída forem conhecidos, o algoritmo fará previsões com base em novos dados.
Existem duas categorias de aprendizado supervisionado:
- Tarefa de classificação
- Tarefa de regressão
Classificação
Imagine que você queira prever o gênero de um cliente para um comercial. Você começará coletando dados sobre altura, peso, profissão, salário, histórico de compras e assim por diante, do seu banco de dados de clientes. Você sabe o gênero de cada um dos seus clientes, que pode ser apenas masculino ou feminino. O objetivo do classificador é atribuir uma probabilidade de ser masculino ou feminino (ou seja, o rótulo) com base nas informações coletadas (ou seja, as características). Quando o modelo aprende a reconhecer masculino ou feminino, você pode usar novos dados para fazer uma previsão. Por exemplo, você acabou de receber novas informações de um cliente desconhecido e quer saber se ele é homem ou mulher. Se o classificador prevê masculino = 70%, significa que o algoritmo tem 70% de certeza de que esse cliente é homem e 30% de certeza de que é mulher.
O rótulo pode ter duas ou mais classes. O exemplo de aprendizado de máquina acima tem apenas duas classes, mas se um classificador precisar prever objetos, ele pode ter dezenas de classes (por exemplo, copo, mesa, sapatos — cada objeto representa uma classe).
Regressão
Quando a saída é um valor contínuo, a tarefa é uma regressão. Por exemplo, um analista financeiro pode precisar prever o valor de uma ação com base em uma série de características, como patrimônio líquido, desempenho anterior da ação e índices macroeconômicos. O sistema será treinado para estimar o preço da ação com o menor erro possível.
A tabela abaixo lista os algoritmos supervisionados que você encontrará com mais frequência e a tarefa para a qual cada um é adequado.
| Algoritmo | Descrição | Formato |
|---|---|---|
| Regressão linear | Encontra uma maneira de correlacionar cada recurso à saída para ajudar a prever valores futuros. | Regressão |
| Regressão logística | Extensão da regressão linear usada para tarefas de classificação. A variável de saída é binária (por exemplo, apenas preto ou branco) em vez de contínua (por exemplo, uma lista infinita de cores possíveis). | Classificação |
| Árvore de decisão | Modelo de classificação ou regressão altamente interpretável que divide os valores dos recursos de dados em ramificações nos nós de decisão (por exemplo, se uma característica for uma cor, cada cor possível se torna uma nova ramificação) até que uma decisão final seja tomada | Regressão Classificação |
| Baías ingénuas | O método bayesiano é um método de classificação que faz uso do teorema bayesiano. O teorema atualiza o conhecimento prévio de um evento com a probabilidade independente de cada característica que pode afetar o evento. | Regressão Classificação |
| Máquina de vetor de suporte | A Máquina de Vetores de Suporte, ou SVM, é normalmente usada para tarefas de classificação. O algoritmo SVM encontra um hiperplano que divide as classes de forma otimizada. Seu uso é mais eficaz quando combinado com um solucionador não linear. | Regressão (não muito comum) Classificação |
| Floresta aleatória | O algoritmo é baseado em uma árvore de decisão para melhorar drasticamente a precisão. A floresta aleatória gera muitas árvores de decisão simples e usa o método de "voto majoritário" para decidir qual rótulo retornar. Para a tarefa de classificação, a previsão final será aquela com o maior número de votos; para a tarefa de regressão, a previsão final será a média das previsões de todas as árvores. | Regressão Classificação |
| AdaBoostGenericName | Técnica de classificação ou regressão que utiliza uma infinidade de modelos para chegar a uma decisão, mas os pondera com base na precisão na previsão do resultado | Regressão Classificação |
| Árvores que aumentam o gradiente | Árvores de decisão com reforço de gradiente são uma técnica de classificação/regressão de última geração. Elas se concentram no erro cometido pelas árvores anteriores e tentam corrigi-lo. | Regressão Classificação |
Aprendizagem não supervisionada
Na aprendizagem não supervisionada, um algoritmo explora dados de entrada sem receber uma variável de saída explícita (por exemplo, explora dados demográficos de clientes para identificar padrões).
Você pode utilizá-lo quando não souber como classificar os dados e desejar que o algoritmo encontre os padrões e agrupe os dados para você. Os principais algoritmos não supervisionados estão resumidos abaixo.
| Nome do algoritmo | Descrição | Formato |
|---|---|---|
| Agrupamento K-means | Coloca os dados em alguns grupos (k), cada um contendo dados com características semelhantes (conforme determinado pelo modelo, não antecipadamente por humanos) | Clustering |
| modelo de mistura gaussiana | Uma generalização do agrupamento k-means que fornece mais flexibilidade no tamanho e formato dos grupos (clusters) | Clustering |
| Agrupamento hierárquico | Divide os grupos ao longo de uma árvore hierárquica para formar um sistema de classificação. Pode ser usado para agrupar clientes de programas de fidelidade. | Clustering |
| Sistema de recomendação | Ajuda a definir os dados relevantes para fazer uma recomendação. | Clustering |
| PCA/t-SNE | Usado principalmente para diminuir a dimensionalidade dos dados. Os algoritmos reduzem o número de recursos para 3 ou 4 vetores com as maiores variações. | Redução de Dimensão |
Como escolher o algoritmo de aprendizado de máquina
Existem inúmeros algoritmos de aprendizado de máquina, e a escolha do algoritmo é guiada pelo objetivo, e não pela moda.
No exemplo de aprendizado de máquina abaixo, a tarefa é prever o tipo de flor entre três variedades. As previsões são baseadas no comprimento e na largura da pétala. A imagem mostra os resultados de dez algoritmos diferentes. A imagem no canto superior esquerdo é o próprio conjunto de dados, com os dados classificados em três categorias: vermelho, azul claro e azul escuro. Alguns grupospingAs diferenças são visíveis. Por exemplo, na segunda imagem, tudo no canto superior esquerdo pertence à categoria vermelha, a parte central contém uma mistura de incerteza e azul claro, enquanto a parte inferior corresponde à categoria escura. As outras imagens mostram como diferentes algoritmos tentam classificar os mesmos dados.
Uma vez escolhido um candidato, sua qualidade é avaliada com base em dados que ele nunca viu, geralmente com um matriz de confusão e os índices de exatidão, precisão e recall derivados a partir dele.
Desafios e limitações do aprendizado de máquina
O principal desafio do aprendizado de máquina é a falta de dados, ou a falta de diversidade no conjunto de dados. Uma máquina não consegue aprender se não houver dados disponíveis. Um conjunto de dados que carece de diversidade também dificulta o trabalho da máquina, pois ela precisa de heterogeneidade para obter insights significativos. É raro um algoritmo conseguir aprender sem dados suficientes.tracA informação é limitada quando há poucas ou nenhuma variação. Uma regra prática comum é ter pelo menos 20 observações por grupo para ajudar a máquina a aprender; abaixo disso, tanto a avaliação quanto a previsão ficam prejudicadas.
O volume de dados não é o único limite. Modelos treinados com base em registros históricos tendenciosos reproduzem essa tendência, modelos complexos são difíceis de explicar a um órgão regulador ou a um cliente, e qualquer modelo se degrada à medida que o mundo em que foi treinado muda.
Aplicação de aprendizado de máquina
As técnicas acima já são utilizadas em produção na maioria das indústrias. Os exemplos abaixo partem da assistência geral para setores específicos.
Aumento: A aprendizagem de máquina auxilia os humanos em suas tarefas diárias, pessoais ou comerciais, sem que tenham controle total sobre o resultado. Essa aprendizagem de máquina é utilizada de diversas maneiras, como em assistentes virtuais, análise de dados e soluções de software. O principal objetivo é reduzir os erros causados por vieses humanos.
Automação: A aprendizagem de máquina funciona de forma totalmente autônoma em qualquer área, sem a necessidade de intervenção humana. Por exemplo, robôs executam etapas essenciais dos processos em fábricas.
Setor financeiro: A aprendizagem de máquina está ganhando popularidade no setor financeiro. Os bancos a utilizam principalmente para encontrar padrões nos dados, mas também para prevenir fraudes.
Organizações governamentais: Os governos utilizam aprendizado de máquina para gerenciar a segurança pública e os serviços essenciais. Veja o exemplo da China e seu programa de reconhecimento facial em larga escala, onde aplicativos de inteligência artificial são usadas para identificar pedestres que atravessam fora da faixa de pedestres.
Setor de saúde: A área da saúde foi um dos primeiros setores a utilizar o aprendizado de máquina, começando com a detecção de imagens.
Marketing: O uso generalizado da IA no marketing se deve ao abundante acesso a dados. Antes da era do mass data, pesquisadores desenvolveram ferramentas matemáticas avançadas, como a análise Bayesiana, para estimar o valor de um cliente. Com a explosão de dados, os departamentos de marketing dependem da IA para otimizar o relacionamento com o cliente e as campanhas de marketing.
Exemplo de aprendizado de máquina na cadeia de suprimentos
A aprendizagem automática proporciona resultados expressivos no reconhecimento de padrões visuais, abrindo um leque de aplicações potenciais na inspeção física e na manutenção em toda a cadeia de abastecimento.
O aprendizado não supervisionado pode buscar rapidamente padrões comparáveis em um conjunto de dados diversificado. Por sua vez, a máquina pode realizar inspeções de qualidade em todo o centro de distribuição logística e sinalizar remessas com danos e desgaste.
Por exemplo, a IBMA plataforma Watson da [empresa] pode determinar a presença de um navio.ping danos em contêineres. Watson combina dados visuais e baseados em sistemas para track, relatar e fazer recomendações em tempo real.
No passado, os gestores de estoque dependiam amplamente de métodos manuais para avaliar e prever o inventário. Quando o Big Data e o aprendizado de máquina são combinados, melhores técnicas de previsão se tornam possíveis, com melhorias relatadas de 20 a 30% em relação às ferramentas de previsão tradicionais. Em termos de vendas, isso se traduz em um aumento de 2 a 3% graças à potencial redução nos custos de estoque.
Exemplo de aprendizado de máquina em Google Carro
Todo mundo conhece o Google O carro é coberto por lasers no teto, que indicam sua localização em relação à área circundante. Possui um radar na frente que informa a velocidade e o movimento de todos os carros ao redor. Ele usa todos esses dados para determinar não apenas como dirigir o carro, mas também para prever o que os motoristas ao redor farão. O impressionante é que o carro processa quase um gigabyte de dados por segundo.
Por que o aprendizado de máquina é importante?
O aprendizado de máquina é a melhor ferramenta disponível até o momento para analisar, compreender e identificar padrões em dados. Uma das principais ideias por trás do aprendizado de máquina é que um computador pode ser treinado para automatizar tarefas que seriam exaustivas ou impossíveis para um ser humano. A grande diferença em relação à análise tradicional é que o aprendizado de máquina pode tomar decisões com mínima intervenção humana.
Considere o seguinte exemplo: um agente imobiliário pode estimar o preço de uma casa com base em sua experiência pessoal e conhecimento do mercado.
Uma máquina pode ser treinada para traduzir o conhecimento desse especialista em características. Essas características são todos os aspectos de uma casa, da vizinhança, do contexto econômico e assim por diante, que influenciam a variação de preço. Para o especialista, provavelmente foram necessários anos para dominar a arte de estimar o preço de uma casa, e essa expertise se aprimora a cada venda.
Para a máquina, são necessários milhões de pontos de dados (ou seja, exemplos) para dominar essa arte. No início do aprendizado, a máquina comete erros, assim como um vendedor iniciante. Depois de analisar exemplos suficientes, ela adquire conhecimento o bastante para fazer suas estimativas com alta precisão. A máquina também é capaz de corrigir seus erros à medida que novas vendas são concretizadas.
A maioria das grandes empresas compreendeu o valor do aprendizado de máquina e da gestão de dados. O McKinsey Global Institute estimou o valor anual de todas as técnicas analíticas entre US$ 9.5 trilhões e US$ 15.4 trilhões, e atribuiu aproximadamente 40% desse valor — algo entre US$ 3.5 trilhões e US$ 5.8 trilhões por ano — a técnicas avançadas de IA baseadas em redes neurais profundas, conforme descrito em seu relatório. Notas da Fronteira da IA pesquisa.
Quando as regras são conhecidas, mas imprecisas em vez de inexistentes, uma abordagem baseada em regras, como... lógica fuzzy Pode ser mais adequado do que um modelo aprendido, por isso as duas técnicas são frequentemente comparadas antes do início de um projeto.
