Tutoriel sur le Data Mining : Qu'est-ce que le Data Mining ? Techniques, Processus

Qu'est-ce que l'exploration de données?

Data Mining est un processus permettant de trouver des modèles potentiellement utiles à partir d’énormes ensembles de données. C'est une compétence multidisciplinaire qui utilise machine learning, les statistiques et l'IA à extracL'exploration de données permet d'évaluer la probabilité d'événements futurs. Les informations qu'elle fournit sont utilisées en marketing, en détection de fraudes, en recherche scientifique, etc.

L'exploration de données consiste à découvrir des relations cachées, insoupçonnées et pourtant valides entre les données. Elle est également appelée extraction de connaissances à partir des données (KDD).traction, analyse de données/modèles, collecte d'informations, etc.

Types de données

L'exploration de données peut être effectuée sur les types de données suivants

• Bases de données relationnelles
• Entrepôts de données
• Base de données avancée et référentiels d'informations
• Bases de données orientées objet et relationnelles objet
• Bases de données transactionnelles et spatiales
• Bases de données hétérogènes et existantes
• Base de données multimédia et streaming
• Bases de données de texte
• Exploration de texte et exploration de Web

Quelle que soit la source, la même séquence rigoureuse d'étapes transforme ces données brutes en un modèle utilisable.

Processus de mise en œuvre de l’exploration de données

Étudions en détail le processus de mise en œuvre du Data Mining

Compréhension des affaires

Au cours de cette phase, les objectifs commerciaux et d’exploration de données sont établis.

• Tout d’abord, vous devez comprendre les objectifs de l’entreprise et des clients. Vous devez définir ce que veut votre client (ce que souvent même lui-même ne connaît pas)
• Faites le point sur le scénario actuel d’exploration de données. Tenez compte des ressources, des hypothèses, des contraintes et d’autres facteurs importants dans votre évaluation.
• À l’aide des objectifs commerciaux et du scénario actuel, définissez vos objectifs d’exploration de données.
• Un bon plan d'exploration de données est très détaillé et doit être développé pour atteindre les objectifs commerciaux et d'exploration de données.

Compréhension des données

Dans cette phase, un contrôle de cohérence des données est effectué afin de vérifier si elles sont appropriées aux objectifs d'exploration de données.

• Premièrement, les données sont collectées à partir de multiples sources de données disponibles au sein de l'organisation.
• Ces sources de données peuvent inclure plusieurs bases de données, des fichiers plats ou des cubes de données. Des problèmes tels que la correspondance des objets et l'intégration des schémas peuvent survenir lors du processus d'intégration des données. Il s'agit d'un processus complexe et délicat, car les données provenant de sources diverses sont rarement compatibles. Par exemple, la table A contient une entité nommée cust_no, tandis que la table B contient une entité nommée cust-id.
• Par conséquent, il est assez difficile de garantir que ces deux objets donnés font référence ou non à la même valeur. Ici, les métadonnées doivent être utilisées pour réduire les erreurs dans le processus d'intégration des données.
• Ensuite, l’étape consiste à rechercher les propriétés des données acquises. Un bon moyen d'explorer les données est de répondre aux questions d'exploration de données (décidées en phase commerciale) à l'aide des outils de requête, de reporting et de visualisation.
• À partir des résultats de la requête, la qualité des données doit être vérifiée. Les données manquantes, le cas échéant, doivent être récupérées.

Préparation des données

Au cours de cette phase, les données sont prêtes pour la production.

La préparation des données est généralement la phase la plus longue, représentant souvent entre 60 % et 80 % de l'effort total.

Les données provenant de différentes sources doivent être sélectionnées, nettoyées, transformées, formatées, anonymisées et structurées (le cas échéant).

Le nettoyage des données est un processus visant à « nettoyer » les données en lissant les données bruyantes et en remplissant les valeurs manquantes.

Par exemple, pour un profil démographique de client, les données d'âge sont manquantes. Les données sont incomplètes et doivent être complétées. Dans certains cas, il peut y avoir des données aberrantes. Par exemple, l'âge a une valeur de 300. Les données peuvent être incohérentes. Par exemple, le nom du client est différent dans différentes tables.

Les opérations de transformation des données modifient ces dernières afin de les rendre exploitables pour l'exploration de données. Les transformations suivantes peuvent être appliquées.

Transformation de données

Les opérations de transformation des données contribueraient au succès du processus d’exploration de données.

Lissage: Cela aide à supprimer le bruit des données.

Agrégation: Des opérations de synthèse ou d'agrégation sont appliquées aux données. Autrement dit, les données de ventes hebdomadaires sont agrégées pour calculer le total mensuel et annuel.

Généralisation: Dans cette étape, les données de bas niveau sont remplacées par des concepts de niveau supérieur grâce aux hiérarchies de concepts. Par exemple, la ville est remplacée par l'État ou le pays.

Normalisation: La normalisation est effectuée lors de la mise à l'échelle des données d'attributs. Exemple : les données doivent se situer entre -2.0 et 2.0 après normalisation.

Construction d'attributCes attributs sont construits et incluent l'ensemble donné d'attributs utiles pour l'exploration de données.

Le résultat de ce processus est un ensemble de données final qui peut être utilisé dans la modélisation.

Modélisation

Dans cette phase, des modèles mathématiques sont utilisés pour déterminer des modèles de données.

• Sur la base des objectifs commerciaux, des techniques de modélisation appropriées doivent être sélectionnées pour l'ensemble de données préparé.
• Créez un scénario pour tester la qualité et la validité du modèle.
• Exécutez le modèle sur l'ensemble de données préparé.
• Les résultats doivent être évalués par toutes les parties prenantes pour s'assurer que le modèle peut répondre aux objectifs d'exploration de données.

Évaluation

Dans cette phase, les modèles identifiés sont évalués par rapport aux objectifs commerciaux.

• Les résultats générés par le modèle d'exploration de données doivent être évalués par rapport aux objectifs commerciaux.
• Acquérir une compréhension commerciale est un processus itératif. En fait, même si l’on comprend, de nouveaux besoins commerciaux peuvent surgir du fait de l’exploration de données.
• Une décision de procéder ou non est prise pour déplacer le modèle dans la phase de déploiement.

Déploiement

Lors de la phase de déploiement, vous transmettez vos découvertes d'exploration de données aux opérations commerciales quotidiennes.

• Les connaissances ou informations découvertes au cours du processus d’exploration de données doivent être faciles à comprendre pour les parties prenantes non techniques.
• Un plan de déploiement détaillé, pour le navirepingLa maintenance et le suivi des découvertes issues de l'exploration de données sont mis en place.
• Un rapport final du projet est créé avec les leçons apprises et les expériences clés au cours du projet. Cela contribue à améliorer la politique commerciale de l'organisation.

La phase de modélisation décrite ci-dessus s'appuie sur un ensemble défini de techniques, chacune adaptée à un type de question différent.

Techniques d'exploration de données

1. Classification

Cette analyse est utilisée pour récupérer des informations importantes et pertinentes sur les données et les métadonnées. Cette méthode d'exploration de données permet de classer les données dans différentes classes.

2. Clusterfaire respecter

ClusterL'analyse de données est une technique d'exploration de données permettant d'identifier des données qui se ressemblent. Ce processus permet de comprendre les différences et les similitudes entre les données.

3. Régression

L'analyse de régression est la méthode d'exploration de données permettant d'identifier et d'analyser la relation entre les variables. Il est utilisé pour identifier la probabilité d'une variable spécifique, compte tenu de la présence d'autres variables.

4. Règles d'association

Cette technique d'exploration de données permet de trouver l'association entre deux ou plusieurs éléments. Il découvre un modèle caché dans l'ensemble de données.

5. Détection des valeurs aberrantes

Ce type de technique d'exploration de données consiste à observer les éléments de données d'un ensemble de données qui ne correspondent pas à un modèle ou à un comportement attendu. Cette technique peut être utilisée dans divers domaines, tels que la détection d'intrusions, la détection de fraudes ou de pannes, etc. La détection des valeurs aberrantes est également appelée analyse des valeurs aberrantes ou exploration des valeurs aberrantes.

6. Modèles séquentiels

Cette technique d'exploration de données permet de découvrir ou d'identifier des modèles ou des tendances similaires dans les données de transaction sur une certaine période.

7. Prédiction

La prédiction a utilisé une combinaison d'autres techniques d'exploration de données telles que les tendances, les modèles séquentiels, le regroupement, la classification, etc. Elle analyse les événements ou instances passés dans un ordre correct pour prédire un événement futur.

DescriptExploration de données in vivo vs prédictive

Les sept techniques ci-dessus se répartissent en deux familles, et savoir à quelle famille appartient une question détermine la façon dont le résultat doit être interprété.

Descriptexploration de données en temps réel Elle résume ce qui s'est déjà produit. Elle recherche une structure au sein des données existantes sans objectif précis, c'est pourquoi on l'appelle parfois non supervisée. ClusterLes règles d'association, les schémas séquentiels et les comportements logiques trouvent leur place ici. Le fait qu'un supermarché apprenne que les couches et la bière sont souvent achetées ensemble constitue une observation descriptive : elle explique le passé, et un humain décide de la marche à suivre.

Exploration prédictive des données Ce système permet d'estimer ce qui va se passer ensuite. Il s'appuie sur des données historiques pour lesquelles la réponse est déjà connue, puis applique cet apprentissage à de nouvelles données ; c'est pourquoi on le qualifie de supervisé. La classification, la régression et la prédiction relèvent de cette approche. Attribuer à un demandeur de prêt une note indiquant la probabilité de défaut de paiement est un résultat prédictif.

Deux conséquences pratiques découlent de cette distinction.

• La validation diffère : Un modèle prédictif peut être évalué en fonction de sa précision par rapport à des résultats connus. Un résultat descriptif, en revanche, ne le peut pas ; son intérêt et son applicabilité sont donc jugés sur ce critère.
• Les exigences en matière de données diffèrent : Les travaux prédictifs nécessitent une colonne de résultats historiques étiquetée. DescriptLe travail en ligne ne le fait pas, ce qui en fait le point de départ habituel lorsqu'une entreprise dispose de données mais pas encore d'objectif clair.

Défis liés à la mise en œuvre de l'exploration de données

• Des experts qualifiés sont nécessaires pour formuler les requêtes d’exploration de données.
• Surajustement : en raison de la petite taille de la base de données de formation, un modèle peut ne pas correspondre aux états futurs.
• Le data mining nécessite de grandes bases de données parfois difficiles à gérer
• Les pratiques commerciales devront peut-être être modifiées pour déterminer l’utilisation des informations découvertes.
• Si l’ensemble de données n’est pas diversifié, les résultats de l’exploration de données risquent de ne pas être précis.
• Les informations d'intégration nécessaires à partir de bases de données hétérogènes et de systèmes d'information mondiaux peuvent être complexes

Exemples d'exploration de données

Maintenant, dans ce cours de Data Mining, apprenons-en davantage sur le Data Mining avec des exemples :

Exemple 1:

Prenons l'exemple d'un responsable marketing d'un opérateur télécom qui souhaite augmenter les revenus des services longue distance. Pour optimiser le retour sur investissement de ses actions commerciales et marketing, le profilage client est essentiel. Il dispose d'une vaste base de données clients contenant des informations telles que l'âge, le sexe, le revenu, l'historique de crédit, etc. Cependant, une analyse manuelle ne permet pas de déterminer les caractéristiques des personnes privilégiant les appels longue distance. En utilisant des techniques d'exploration de données, il peut identifier des tendances parmi les utilisateurs fréquents d'appels longue distance et leurs caractéristiques.

Par exemple, il pourrait apprendre que ses meilleurs clients sont des femmes mariées âgées de 45 à 54 ans qui gagnent plus de 80,000 $ par an. Les efforts de marketing peuvent être ciblés sur ce groupe démographique.

Exemple 2:

Une banque cherche de nouvelles façons d'accroître ses revenus issus des cartes de crédit. Elle souhaite vérifier si l'utilisation doublerait si les frais étaient réduits de moitié.

La banque dispose de données historiques sur plusieurs années concernant les soldes moyens des cartes de crédit, les montants des paiements, l'utilisation des limites de crédit et d'autres paramètres clés. Elle a élaboré un modèle pour évaluer l'impact de la nouvelle politique commerciale proposée. Les résultats montrent que la réduction de moitié des frais pour une clientèle ciblée pourrait générer 10 millions de dollars de revenus supplémentaires.

Exploration de données vs apprentissage automatique

Ces deux termes se recoupent largement et sont souvent utilisés indifféremment, mais ils répondent à des questions différentes. L'exploration de données vise à découvrir une tendance jusque-là inconnue. L'apprentissage automatique, quant à lui, vise à construire un système qui améliore ses prédictions à mesure que de nouvelles données sont accumulées.

Point de différence	Data Mining	Machine Learning
Objectif principal	Découvrez des tendances inconnues dans les données existantes	Construisez un modèle qui prédit à partir de nouvelles données
Implication humaine	Un analyste interprète les résultats et agit en conséquence.	L'algorithme applique la règle automatiquement.
volume de données	Fonctionne sur un ensemble de données historiques défini.	S'améliore à mesure que davantage de données sont fournies au fil du temps
Sortie typique	Une règle, un groupe ou une association qu'une personne peut lire	Un modèle entraîné qui renvoie un score ou une classe
Lien familial	L'exploration de données utilise fréquemment des algorithmes d'apprentissage automatique comme moteur.

En résumé, l'apprentissage automatique est l'un des outils utilisés par l'exploration de données, et une exploration de données simple peut être réalisée uniquement à l'aide de statistiques.

Outils d'exploration de données

Voici 2 populaires Outils d'exploration de données largement utilisé dans l'industrie

Langage R :

Langue R est un outil open source pour le calcul statistique et le graphisme. R propose une grande variété de tests statistiques classiques, d'analyses de séries chronologiques, de classification et de techniques graphiques. Il offre une installation efficace de traitement et de stockage des données.

En savoir plus ici

Oracle Exploration de données :

Oracle Data Mining, communément appelé ODM, est un module de Oracle Base de données d'analyse avancée et est désormais fournie dans le cadre de Oracle Apprentissage automatique. Cet outil d'exploration de données permet aux analystes de données de générer des informations détaillées et d'effectuer des prédictions. Il contribue à prédire le comportement des clients, à élaborer des profils clients et à identifier les opportunités de vente croisée.

En savoir plus ici

Avantages de l'exploration de données

• La technique d'exploration de données aide les entreprises à obtenir des informations basées sur les connaissances.
• L'exploration de données aide les organisations à effectuer des ajustements rentables en matière d'exploitation et de production.
• L'exploration de données est une solution rentable et efficace par rapport à d'autres applications de données statistiques.
• L’exploration de données aide au processus de prise de décision.
• Facilite la prédiction automatisée des tendances et des comportements ainsi que la découverte automatisée de modèles cachés.
• Il peut être implémenté dans de nouveaux systèmes ainsi que dans des plateformes existantes
• C’est un processus rapide qui permet aux utilisateurs d’analyser facilement une énorme quantité de données en moins de temps.

Inconvénients de l'exploration de données

• Il existe un risque que les entreprises vendent des informations utiles sur leurs clients à d'autres organisations, ce qui soulève d'importantes questions de confidentialité.
• De nombreux logiciels d’analyse d’exploration de données sont difficiles à utiliser et nécessitent une formation préalable.
• Différents outils d'exploration de données fonctionnent de différentes manières en raison des différents algorithmes utilisés dans leur conception. Par conséquent, la sélection du bon outil d’exploration de données est une tâche très difficile.
• Les techniques d’exploration de données ne sont pas précises et peuvent donc avoir de graves conséquences dans certaines conditions.

Applications d'exploration de données

Applications	Utilisation
Communications	Les techniques d'exploration de données sont utilisées dans le secteur des communications pour prédire le comportement des clients afin de proposer des campagnes hautement ciblées et pertinentes.
Assurance	L'exploration de données aide les compagnies d'assurance à fixer le prix de leurs produits de manière rentable et à promouvoir de nouvelles offres auprès de leurs clients nouveaux ou existants.
Éducation	L'exploration de données permet aux enseignants d'accéder aux données des élèves, de prédire les niveaux de réussite et de trouver les élèves ou les groupes d'élèves qui nécessitent une attention particulière. Par exemple, les étudiants qui sont faibles en mathématiques.
Secteur Industriel & Fabrication	Grâce à l'exploration de données, les fabricants peuvent prévoir l'usure de leurs équipements de production. Ils peuvent anticiper la maintenance et ainsi minimiser les temps d'arrêt.
Services bancaires	L'exploration de données aide le secteur financier à avoir une vision des risques de marché et à gérer la conformité réglementaire. Il aide les banques à identifier les défaillants probables et à décider d'émettre des cartes de crédit, des prêts, etc.
Vente au détail	Les techniques d'exploration de données aident les centres commerciaux et les supermarchés à identifier et à placer les articles les plus vendus aux endroits les plus stratégiques. Elles permettent aux commerçants de proposer des offres incitant les clients à dépenser davantage.
Fournisseurs de services	Les fournisseurs de services tels que la téléphonie mobile et les services publics utilisent le Data Mining pour prédire les raisons pour lesquelles un client quitte leur entreprise. Ils analysent les détails de facturation, les interactions avec le service client, les plaintes déposées auprès de l'entreprise pour attribuer à chaque client un score de probabilité et proposer des incitations.
E-Commerce	Les sites Web de commerce électronique utilisent le Data Mining pour proposer des ventes croisées et des ventes incitatives via leurs sites Web. L'un des noms les plus célèbres est Amazon, qui utilisent des techniques d'exploration de données pour attirer davantage de clients dans leur boutique de commerce électronique.
Supermarchés	L'exploration de données permet aux supermarchés d'établir des règles pour prédire si leurs clients sont susceptibles d'être enceintes. En analysant leurs habitudes d'achat, ils peuvent identifier les clientes les plus susceptibles de l'être et cibler leurs produits, comme le talc, le savon pour bébé, les couches, etc.
Enquête criminelle	Le Data Mining aide les agences d'enquête criminelle à déployer des effectifs de police (où un crime est-il le plus susceptible de se produire et quand ?), qui fouiller à un poste frontière, etc.
Bioinformatique	Le Data Mining permet d’extraire des données biologiques à partir d’ensembles de données massifs collectés en biologie et en médecine.

FAQ