Data Mining-Tutorial: Was ist Data Mining? Techniken, Prozess

Was ist Data Mining?

Data Mining ist ein Prozess zum Finden potenziell nützlicher Muster aus riesigen Datenmengen. Es handelt sich um eine multidisziplinäre Fähigkeit, die genutzt wird Maschinelles LernenStatistik und KI, um …tracDie gewonnenen Informationen dienen der Bewertung der Wahrscheinlichkeit zukünftiger Ereignisse. Die Erkenntnisse aus dem Data Mining werden unter anderem für Marketing, Betrugserkennung und wissenschaftliche Forschung genutzt.

Data Mining befasst sich mit der Entdeckung verborgener, unerwarteter und bisher unbekannter, aber dennoch gültiger Zusammenhänge in Daten. Data Mining wird auch als Wissensentdeckung in Daten (Knowledge Discovery in Data, KDD) oder Wissensexperimentierung bezeichnet.traction, Daten-/Musteranalyse, Informationsgewinnung usw.

Arten von Daten

Data Mining kann für folgende Datentypen durchgeführt werden

• Relationale Datenbanken
• Data Warehouse
• Erweiterte Datenbank- und Informationsrepositorys
• Objektorientierte und objektrelationale Datenbanken
• Transaktionale und räumliche Datenbanken
• Heterogene und Legacy-Datenbanken
• Multimedia- und Streaming-Datenbank
• Textdatenbanken
• Text-Mining und Web-Mining

Unabhängig von der Quelle werden diese Rohdaten durch dieselbe disziplinierte Abfolge von Phasen in ein nutzbares Modell umgewandelt.

Implementierungsprozess von Data Mining

Lassen Sie uns den Data Mining-Implementierungsprozess im Detail untersuchen

Geschäftsverständnis

In dieser Phase werden Geschäfts- und Data-Mining-Ziele festgelegt.

• Zunächst müssen Sie die Geschäfts- und Kundenziele verstehen. Sie müssen definieren, was Ihr Kunde will (was oft nicht einmal der Kunde selbst weiß).
• Machen Sie eine Bestandsaufnahme des aktuellen Data-Mining-Szenarios. Berücksichtigen Sie bei Ihrer Beurteilung Ressourcen, Annahmen, Einschränkungen und andere wichtige Faktoren.
• Definieren Sie Ihre Data-Mining-Ziele anhand der Geschäftsziele und des aktuellen Szenarios.
• Ein guter Data-Mining-Plan ist sehr detailliert und sollte so entwickelt werden, dass sowohl Geschäfts- als auch Data-Mining-Ziele erreicht werden.

Datenverständnis

In dieser Phase wird eine Plausibilitätsprüfung der Daten durchgeführt, um festzustellen, ob sie für die Ziele des Data-Mining geeignet sind.

• Zunächst werden Daten aus verschiedenen, innerhalb der Organisation verfügbaren Datenquellen gesammelt.
• Diese Datenquellen können mehrere Datenbanken, Flatfiles oder Data Cubes umfassen. Während der Datenintegration können Probleme wie Objektabgleich und Schemaintegration auftreten. Es handelt sich um einen recht komplexen und kniffligen Prozess, da Daten aus verschiedenen Quellen in der Regel nicht ohne Weiteres zusammengeführt werden können. Beispielsweise enthält Tabelle A eine Entität namens „cust_no“, während Tabelle B eine Entität namens „cust-id“ enthält.
• Daher ist es ziemlich schwierig sicherzustellen, dass sich diese beiden gegebenen Objekte auf denselben Wert beziehen oder nicht. Hier sollten Metadaten genutzt werden, um Fehler im Datenintegrationsprozess zu reduzieren.
• Der nächste Schritt besteht darin, nach Eigenschaften der erfassten Daten zu suchen. Eine gute Möglichkeit, die Daten zu untersuchen, besteht darin, die (in der Geschäftsphase entschiedenen) Data-Mining-Fragen mithilfe der Abfrage-, Berichts- und Visualisierungstools zu beantworten.
• Anhand der Abfrageergebnisse sollte die Datenqualität überprüft werden. Fehlende Daten sollten gegebenenfalls ergänzt werden.

Datenaufbereitung

In dieser Phase werden die Daten produktionsbereit gemacht.

Die Datenaufbereitung ist in der Regel die längste Phase und macht üblicherweise 60 bis 80 % des Gesamtaufwands aus.

Die Daten aus verschiedenen Quellen sollten ausgewählt, bereinigt, transformiert, formatiert, anonymisiert und gegebenenfalls aufbereitet werden.

Bei der Datenbereinigung handelt es sich um einen Prozess zum „Bereinigen“ der Daten, indem verrauschte Daten geglättet und fehlende Werte ergänzt werden.

Beispielsweise fehlen für ein demografisches Profil eines Kunden Altersdaten. Die Daten sind unvollständig und sollten ausgefüllt werden. In einigen Fällen kann es zu Datenausreißern kommen. Das Alter hat beispielsweise den Wert 300. Die Daten könnten inkonsistent sein. Beispielsweise ist der Name des Kunden in verschiedenen Tabellen unterschiedlich.

Datentransformationsoperationen verändern die Daten, um sie für Data-Mining nutzbar zu machen. Folgende Transformationen können angewendet werden.

Datentransformation

Datentransformationsvorgänge würden zum Erfolg des Mining-Prozesses beitragen.

Glätten: Es hilft, Rauschen aus den Daten zu entfernen.

Anhäufung: Auf die Daten werden Zusammenfassungs- oder Aggregationsvorgänge angewendet. Beispielsweise werden die wöchentlichen Verkaufsdaten aggregiert, um die Monats- und Jahresgesamtsumme zu berechnen.

Verallgemeinerung: In diesem Schritt werden niedrigstufige Daten mithilfe von Konzepthierarchien durch höherstufige Konzepte ersetzt. Beispielsweise wird die Stadt durch das Bundesland oder das Land ersetzt.

Normalisierung: Die Normalisierung erfolgt, wenn die Attributdaten skaliert werden. Beispiel: Die Daten sollten nach der Normalisierung im Bereich von -2.0 bis 2.0 liegen.

AttributkonstruktionDiese Attribute wurden konstruiert und umfassen den gegebenen Satz von Attributen, die für das Data Mining hilfreich sind.

Das Ergebnis dieses Prozesses ist ein endgültiger Datensatz, der bei der Modellierung verwendet werden kann.

modellierung

In dieser Phase werden mathematische Modelle verwendet, um Datenmuster zu ermitteln.

• Basierend auf den Geschäftszielen sollten geeignete Modellierungstechniken für den vorbereiteten Datensatz ausgewählt werden.
• Erstellen Sie ein Szenario, um die Qualität und Gültigkeit des Modells zu testen.
• Führen Sie das Modell für den vorbereiteten Datensatz aus.
• Die Ergebnisse sollten von allen Beteiligten bewertet werden, um sicherzustellen, dass das Modell die Data-Mining-Ziele erfüllen kann.

Evaluierung

In dieser Phase werden die identifizierten Muster anhand der Geschäftsziele bewertet.

• Die durch das Data-Mining-Modell generierten Ergebnisse sollten anhand der Geschäftsziele bewertet werden.
• Geschäftsverständnis zu erlangen ist ein iterativer Prozess. Tatsächlich können aufgrund des Data Mining neue Geschäftsanforderungen entstehen, obwohl dies verstanden wird.
• Über die Verschiebung des Modells in der Bereitstellungsphase wird eine „Go“ oder „No Go“-Entscheidung getroffen.

Einsatz

In der Bereitstellungsphase übertragen Sie Ihre Data-Mining-Erkenntnisse in den alltäglichen Geschäftsbetrieb.

• Das während des Data-Mining-Prozesses gewonnene Wissen oder die Informationen sollten für technisch nicht versierte Interessengruppen leicht verständlich gemacht werden.
• Ein detaillierter Einsatzplan für das SchiffpingDie Wartung und Überwachung der Ergebnisse des Data-Mining wird eingerichtet.
• Es wird ein abschließender Projektbericht mit den gewonnenen Erkenntnissen und Schlüsselerfahrungen während des Projekts erstellt. Dies trägt dazu bei, die Geschäftspolitik der Organisation zu verbessern.

Die oben beschriebene Modellierungsphase greift auf eine Reihe definierter Techniken zurück, von denen jede für eine andere Art von Fragestellung geeignet ist.

Data Mining-Techniken

1. Einstufung

Diese Analyse wird verwendet, um wichtige und relevante Informationen über Daten und Metadaten abzurufen. Diese Data-Mining-Methode hilft dabei, Daten in verschiedene Klassen zu klassifizieren.

2. ClusterIng.

ClusterDie Ining-Analyse ist eine Data-Mining-Technik zur Identifizierung ähnlicher Daten. Dieser Prozess hilft, die Unterschiede und Ähnlichkeiten zwischen den Daten zu verstehen.

3. Regression

Die Regressionsanalyse ist die Data-Mining-Methode zur Identifizierung und Analyse der Beziehung zwischen Variablen. Es wird verwendet, um die Wahrscheinlichkeit einer bestimmten Variablen angesichts des Vorhandenseins anderer Variablen zu ermitteln.

4. Assoziationsregeln

Diese Data-Mining-Technik hilft dabei, die Verbindung zwischen zwei oder mehr Elementen zu finden. Es entdeckt ein verstecktes Muster im Datensatz.

5. Ausreißererkennung

Diese Art von Data-Mining-Technik bezeichnet die Beobachtung von Datenelementen in einem Datensatz, die keinem erwarteten Muster oder Verhalten entsprechen. Sie findet in verschiedenen Bereichen Anwendung, beispielsweise bei der Erkennung von Eindringlingen, Betrug oder Fehlern. Die Ausreißererkennung wird auch als Ausreißeranalyse oder Ausreißer-Mining bezeichnet.

6. Sequentielle Muster

Diese Data-Mining-Technik hilft dabei, ähnliche Muster oder Trends in Transaktionsdaten für einen bestimmten Zeitraum zu entdecken oder zu identifizieren.

7. Vorhersage

Bei der Vorhersage wird eine Kombination anderer Data-Mining-Techniken verwendet, beispielsweise Trends, sequentielle Muster, Clustering, Klassifizierung usw. Dabei werden vergangene Ereignisse oder Instanzen in der richtigen Reihenfolge analysiert, um zukünftige Ereignisse vorherzusagen.

DescriptLive vs. Predictive Data Mining

Die sieben oben genannten Techniken lassen sich in zwei Gruppen einteilen, und die Kenntnis, zu welcher Gruppe eine Frage gehört, entscheidet darüber, wie das Ergebnis zu interpretieren ist.

DescriptLive-Data-Mining Es fasst zusammen, was bereits geschehen ist. Es sucht nach Strukturen in den vorhandenen Daten, ohne ein bestimmtes Ziel vor Augen zu haben; deshalb wird es manchmal auch als unüberwachtes Lernen bezeichnet. ClusterAssoziationsregeln und sequentielle Muster gehören hierher. Die Erkenntnis eines Supermarkts, dass Windeln und Bier häufig zusammen gekauft werden, ist eine deskriptive Feststellung: Sie erklärt die Vergangenheit, und ein Mensch entscheidet, was er damit unternimmt.

Prädiktive Datenanalyse Es schätzt zukünftige Ereignisse ab. Dazu nutzt es historische Daten, deren Antwort bereits bekannt ist, und wendet dieses Wissen auf neue Datensätze an. Daher spricht man von überwachtem Lernen. Klassifizierung, Regression und Prognose gehören in diesen Bereich. Die Einschätzung des Ausfallrisikos eines Kreditantragstellers ist ein Beispiel für eine Prognose.

Aus dieser Unterscheidung ergeben sich zwei praktische Konsequenzen.

• Die Validierung unterscheidet sich: Ein Vorhersagemodell kann hinsichtlich seiner Genauigkeit im Vergleich zu bekannten Ergebnissen bewertet werden. Ein beschreibendes Ergebnis kann nicht bewertet werden; daher wird es danach beurteilt, ob es interessant und handlungsrelevant ist.
• Die Datenanforderungen sind unterschiedlich: Für Prognosen wird eine Spalte mit der Bezeichnung „Historische Ergebnisse“ benötigt. DescriptBei der Arbeit mit ive ist das nicht der Fall, weshalb sie üblicherweise als Ausgangspunkt dient, wenn ein Unternehmen zwar Daten hat, aber noch kein klares Ziel.

Herausforderungen bei der Implementierung von Data Mining

• Für die Formulierung der Data-Mining-Abfragen werden qualifizierte Experten benötigt.
• Überanpassung: Aufgrund der geringen Größe der Trainingsdatenbank passt ein Modell möglicherweise nicht zu zukünftigen Zuständen.
• Für Data Mining sind große Datenbanken erforderlich, die manchmal schwer zu verwalten sind
• Geschäftspraktiken müssen möglicherweise geändert werden, um zu entscheiden, ob die aufgedeckten Informationen verwendet werden sollen.
• Wenn der Datensatz nicht vielfältig ist, sind die Data-Mining-Ergebnisse möglicherweise nicht genau.
• Die Integration von Informationen aus heterogenen Datenbanken und globalen Informationssystemen kann komplex sein

Data Mining-Beispiele

In diesem Data-Mining-Kurs lernen wir nun anhand von Beispielen etwas über Data-Mining:

Beispiel 1:

Stellen Sie sich einen Marketingleiter eines Telekommunikationsanbieters vor, der die Umsätze mit Ferngesprächen steigern möchte. Für einen hohen ROI seiner Vertriebs- und Marketingmaßnahmen ist die Kundenprofilierung entscheidend. Er verfügt über einen umfangreichen Datenbestand mit Kundeninformationen wie Alter, Geschlecht, Einkommen, Bonität usw. Es ist jedoch unmöglich, die Merkmale von Personen, die häufig Ferngespräche führen, manuell zu analysieren. Mithilfe von Data-Mining-Techniken kann er Muster zwischen Vieltelefonierern im Ferngesprächsbereich und deren Merkmalen aufdecken.

Beispielsweise könnte er erfahren, dass seine besten Kunden verheiratete Frauen im Alter zwischen 45 und 54 Jahren sind, die mehr als 80,000 US-Dollar pro Jahr verdienen. Marketingmaßnahmen können gezielt auf diese Bevölkerungsgruppe ausgerichtet werden.

Beispiel 2:

Eine Bank möchte neue Wege finden, um die Einnahmen aus ihrem Kreditkartengeschäft zu steigern. Sie möchte prüfen, ob sich die Nutzung verdoppeln würde, wenn die Gebühren halbiert würden.

Die Bank verfügt über jahrelange Aufzeichnungen zu durchschnittlichen Kreditkartensalden, Zahlungsbeträgen, Kreditlimitnutzung und anderen wichtigen Kennzahlen. Sie erstellt ein Modell, um die Auswirkungen der vorgeschlagenen neuen Geschäftspolitik zu überprüfen. Die Datenanalyse zeigt, dass eine Halbierung der Gebühren für eine bestimmte Kundengruppe die Einnahmen um 10 Millionen US-Dollar steigern könnte.

Data Mining vs. Maschinelles Lernen

Die beiden Begriffe überschneiden sich stark und werden oft synonym verwendet, beantworten aber unterschiedliche Fragestellungen. Data Mining zielt darauf ab, Muster zu entdecken, die dem Anwender zuvor unbekannt waren. Maschinelles Lernen hingegen entwickelt Systeme, die ihre Vorhersagen mit zunehmender Datenmenge verbessern.

Unterschied	Data Mining	Maschinelles lernen
Hauptziel	Entdecken Sie unbekannte Muster in vorhandenen Daten	Entwickeln Sie ein Modell, das auf Basis neuer Daten Vorhersagen trifft.
Menschliche Beteiligung	Ein Analyst interpretiert die Ergebnisse und leitet entsprechende Maßnahmen ein.	Der Algorithmus wendet die Regel automatisch an
Datenvolumen	Arbeitet mit einem definierten, historischen Datensatz	Verbessert sich mit zunehmender Datenverfügbarkeit im Laufe der Zeit
Typische Ausgabe	Eine Regel, ein Cluster oder eine Assoziation, die eine Person lesen kann	Ein trainiertes Modell, das eine Punktzahl oder eine Klasse zurückgibt.
Beziehung	Data-Mining nutzt häufig Algorithmen des maschinellen Lernens als Grundlage.

Kurz gesagt, maschinelles Lernen ist eines der Werkzeuge, auf die Data Mining zurückgreift, und einfaches Data Mining kann allein mit Statistiken durchgeführt werden.

Data-Mining-Tools

Im Folgenden sind 2 beliebte Data-Mining-Tools weit verbreitet in der Industrie

R-Sprache:

R Sprache ist ein Open-Source-Tool für statistische Berechnungen und Grafiken. R verfügt über eine Vielzahl statistischer, klassischer statistischer Tests, Zeitreihenanalysen, Klassifizierungen und grafischer Techniken. Es bietet eine effektive Möglichkeit zur Datenhandhabung und -speicherung.

Mehr erfahren

Oracle Data-Mining:

Oracle Data Mining, allgemein bekannt als ODM, ist ein Modul des Oracle Die Datenbank für fortgeschrittene Analysen wird nun als Teil von Oracle Maschinelles Lernen. Dieses Data-Mining-Tool ermöglicht es Datenanalysten, detaillierte Erkenntnisse zu gewinnen und Vorhersagen zu treffen. Es hilft, das Kundenverhalten vorherzusagen, Kundenprofile zu erstellen und Cross-Selling-Potenziale zu identifizieren.

Mehr erfahren

Vorteile von Data Mining

• Die Data-Mining-Technik hilft Unternehmen, wissensbasierte Informationen zu erhalten.
• Data Mining unterstützt Unternehmen dabei, gewinnbringende Anpassungen in Betrieb und Produktion vorzunehmen.
• Das Data Mining ist im Vergleich zu anderen statistischen Datenanwendungen eine kostengünstige und effiziente Lösung.
• Data Mining hilft bei der Entscheidungsfindung.
• Ermöglicht die automatische Vorhersage von Trends und Verhaltensweisen sowie die automatische Erkennung versteckter Muster.
• Es kann sowohl in neuen Systemen als auch auf bestehenden Plattformen implementiert werden
• Es ist der schnelle Prozess, der es den Benutzern erleichtert, große Datenmengen in kürzerer Zeit zu analysieren.

Nachteile von Data Mining

• Es besteht die Gefahr, dass Unternehmen nützliche Informationen über ihre Kunden an andere Organisationen verkaufen, was erhebliche Bedenken hinsichtlich des Datenschutzes aufwirft.
• Viele Data-Mining-Analyseprogramme sind schwierig zu bedienen und erfordern eine erweiterte Schulung.
• Verschiedene Data-Mining-Tools funktionieren aufgrund der unterschiedlichen Algorithmen, die bei ihrer Entwicklung zum Einsatz kommen, auf unterschiedliche Weise. Daher ist die Auswahl des richtigen Data-Mining-Tools eine sehr schwierige Aufgabe.
• Die Data-Mining-Techniken sind nicht genau und können daher unter bestimmten Bedingungen schwerwiegende Folgen haben.

Data-Mining-Anwendungen

Anwendungen	Anwendungsbereich
Kommunikation	Im Kommunikationssektor werden Data-Mining-Techniken eingesetzt, um das Kundenverhalten vorherzusagen und so hochgradig zielgerichtete und relevante Kampagnen anbieten zu können.
Versicherung	Data Mining hilft Versicherungsunternehmen dabei, ihre Produkte gewinnbringend zu bepreisen und ihren neuen oder bestehenden Kunden neue Angebote zu unterbreiten.
Fachwissen	Mithilfe von Data Mining können Pädagogen auf Schülerdaten zugreifen, Leistungsniveaus vorhersagen und Schüler oder Schülergruppen finden, die besondere Aufmerksamkeit benötigen. Zum Beispiel Schüler, die im Fach Mathematik schwach sind.
Industrie	Mithilfe von Data Mining können Hersteller den Verschleiß von Produktionsanlagen vorhersagen. Sie können Wartungsarbeiten vorausschauend planen und so Ausfallzeiten minimieren.
Bankwesen	Data Mining hilft dem Finanzsektor, sich einen Überblick über Marktrisiken zu verschaffen und die Einhaltung gesetzlicher Vorschriften zu gewährleisten. Es hilft Banken, mögliche Zahlungsausfälle zu identifizieren und zu entscheiden, ob sie Kreditkarten, Kredite usw. ausstellen.
Einzelhandel	Data-Mining-Techniken helfen Einkaufszentren und Supermärkten, die verkaufsstärksten Artikel zu identifizieren und an den auffälligsten Stellen zu platzieren. Sie unterstützen Ladenbesitzer dabei, Angebote zu entwickeln, die Kunden zu höheren Ausgaben anregen.
Dienstleister	Dienstleister wie Mobilfunk- und Versorgungsunternehmen nutzen Data Mining, um die Gründe vorherzusagen, warum ein Kunde ihr Unternehmen verlässt. Sie analysieren Rechnungsdetails, Interaktionen mit dem Kundendienst und Beschwerden, die beim Unternehmen eingehen, um jedem Kunden einen Wahrscheinlichkeitswert zuzuweisen und Anreize zu bieten.
E-Commerce	E-Commerce-Websites nutzen Data Mining, um Cross-Selling und Up-Selling über ihre Websites anzubieten. Einer der bekanntesten Namen ist Amazon, die Data-Mining-Techniken nutzen, um mehr Kunden in ihren E-Commerce-Shop zu locken.
Supermärkte	Data Mining ermöglicht es Supermärkten, Regeln zu entwickeln, um vorherzusagen, ob ihre Kundinnen schwanger sind. Durch die Analyse ihres Kaufverhaltens können sie Kundinnen identifizieren, die mit hoher Wahrscheinlichkeit schwanger sind. Anschließend können sie gezielt Produkte wie Babypuder, Babyseife, Windeln usw. anbieten.
Kriminalpolizei	Mithilfe von Data Mining können Kriminalermittlungsbehörden Polizeikräfte einsetzen (wo und wann ist ein Verbrechen am wahrscheinlichsten?), wen sie an einem Grenzübergang durchsuchen müssen usw.
Bioinformatik	Data Mining hilft bei der Gewinnung biologischer Daten aus riesigen Datensätzen, die in der Biologie und Medizin gesammelt wurden.

Häufig gestellte Fragen