データマイニングチュートリアル: データマイニングとは何ですか? テクニック、プロセス

データマイニングとは

データマイニング 膨大なデータセットから潜在的に有用なパターンを見つけるプロセスです。それは多分野にわたるスキルです。機械学習、統計、AI を利用して情報を抽出し、将来の出来事の確率を評価します。データマイニングから得られた洞察は、マーケティング、不正行為の検出、科学的発見などに使用されます。

データマイニングとは、データ間の隠れた、予想外の、これまで知られていなかったが有効な関係を発見することです。データマイニングは、データ内の知識発見 (KDD)、知識抽出、データ/パターン分析、情報収集などとも呼ばれます。

データの種類

データマイニングは、以下の種類のデータに対して実行できます。

リレーショナルデータベース
データウェアハウス
高度な DB と情報リポジトリ
オブジェクト指向データベースとオブジェクトリレーショナルデータベース
トランザクションおよび空間データベース
異機種データベースとレガシーデータベース
マルチメディアおよびストリーミングデータベース
テキストデータベース
テキストマイニングとWebマイニング

データマイニングの実装プロセス

データマイニングの実装プロセスを詳しく見てみましょう

ビジネスの理解

このフェーズでは、ビジネス目標とデータマイニング目標が確立されます。

まず、ビジネスとクライアントの目的を理解する必要があります。クライアントが何を望んでいるのかを定義する必要があります（クライアント自身も分かっていないことが多いです）
現在のデータマイニングシナリオを評価します。リソース、仮定、制約、その他の重要な要素を評価に考慮します。
ビジネス目標と現在のシナリオを使用して、データマイニングの目標を定義します。
優れたデータマイニング計画は非常に詳細であり、ビジネス目標とデータマイニング目標の両方を達成できるように作成する必要があります。

データの理解

このフェーズでは、データの健全性チェックが実行され、データマイニングの目標に適しているかどうかが確認されます。

まず、組織内で利用可能な複数のデータソースからデータが収集されます。
これらのデータソースには、複数のデータベース、フラットファイラー、またはデータキューブが含まれる場合があります。データ統合プロセス中に、オブジェクトの一致やスキーマの統合などの問題が発生する可能性があります。さまざまなソースからのデータが簡単に一致する可能性は低いため、これは非常に複雑で扱いにくいプロセスです。たとえば、テーブル A には cust_no という名前のエンティティが含まれていますが、別のテーブル B には cust-id という名前のエンティティが含まれています。
したがって、これらの指定されたオブジェクトの両方が同じ値を参照しているかどうかを確認することは非常に困難です。ここで、データ統合プロセスにおけるエラーを減らすためにメタデータを使用する必要があります。
次に、取得したデータのプロパティを検索します。データを探索する良い方法は、クエリ、レポート、視覚化ツールを使用して、データマイニングの質問 (ビジネスフェーズで決定) に答えることです。
クエリの結果に基づいて、データの品質を確認する必要があります。取得する必要があるデータが欠落している場合。

データの準備

このフェーズでは、データが本番環境に対応できるようになります。

データ準備プロセスには、プロジェクト時間の約 90% が費やされます。

さまざまなソースからのデータは、(必要に応じて) 選択、クリーニング、変換、フォーマット、匿名化、構築される必要があります。

データクリーニングは、ノイズの多いデータを平滑化し、欠損値を埋めることによってデータを「クリーン」にするプロセスです。

たとえば、顧客の人口統計プロファイルの場合、年齢データが欠落しています。データが不完全であるため、入力する必要があります。場合によっては、データに外れ値が存在する可能性があります。たとえば、年齢の値は 300 です。データに一貫性がない可能性があります。たとえば、顧客の名前がテーブルごとに異なります。

データ変換操作は、データをデータマイニングに役立てるためにデータを変更します。次の変換を適用できます。

データ変換

データ変換操作は、マイニングプロセスの成功に貢献します。

スムージング： データからノイズを除去するのに役立ちます。

集計： データには要約または集計操作が適用されます。つまり、週ごとの売上データが集計され、月ごとおよび年ごとの合計が計算されます。

汎化： このステップでは、概念階層を利用して、低レベルのデータが高レベルの概念に置き換えられます。たとえば、都市は郡に置き換えられます。

正規化： 正規化は、属性データが拡大または縮小されるときに実行されます。例: 正規化後のデータは、-2.0 ～ 2.0 の範囲に収まる必要があります。

属性の構築: これらの属性は構築され、データマイニングに役立つ特定の属性セットが含まれています。

このプロセスの結果、モデリングに使用できる最終的なデータセットが得られます。

モデリング

このフェーズでは、数学的モデルを使用してデータパターンを決定します。

ビジネス目標に基づいて、準備されたデータセットに対して適切なモデリング手法を選択する必要があります。
モデルの品質と妥当性をテストチェックするためのシナリオを作成します。
準備されたデータセットでモデルを実行します。
結果はすべての関係者によって評価され、モデルがデータマイニングの目標を達成できるかどうかを確認する必要があります。

評価

このフェーズでは、特定されたパターンがビジネス目標に照らして評価されます。

データマイニングモデルによって生成された結果は、ビジネス目標に照らして評価する必要があります。
ビジネスの理解を得るには反復的なプロセスが必要です。実際、データマイニングを理解している間に、新しいビジネス要件が発生する可能性があります。
導入フェーズでモデルを移行するかどうかの決定が下されます。

展開

展開フェーズでは、データマイニングの検出結果を日常の業務に展開します。

データマイニングのプロセス中に発見された知識や情報は、技術者以外の関係者にとっても理解しやすいものでなければなりません。
データマイニング検出の出荷、メンテナンス、監視のための詳細な導入計画が作成されます。
最終的なプロジェクトレポートは、プロジェクト中に学んだ教訓と重要な経験をもとに作成されます。これは、組織のビジネスポリシーの改善に役立ちます。

データマイニング手法

1。分類

この分析は、データおよびメタデータに関する重要な関連情報を取得するために使用されます。このデータマイニング方法は、データをさまざまなクラスに分類するのに役立ちます。

2. Clusterる

Clustering 分析は、互いに似ているデータを識別するデータマイニング手法です。このプロセスは、データ間の相違点と類似点を理解するのに役立ちます。

3。回帰

回帰分析は、変数間の関係を特定して分析するデータマイニング手法です。他の変数が存在する場合に、特定の変数の可能性を特定するために使用されます。

4. 協会規約

このデータマイニング手法は、XNUMX つ以上のアイテム間の関連性を見つけるのに役立ちます。データセット内の隠れたパターンを発見します。

5. 外部検出

このタイプのデータマイニング手法は、予想されるパターンや予想される動作に一致しないデータセット内のデータ項目を観察することを指します。この技術は、侵入、検出、不正または障害の検出など、さまざまなドメインで使用できます。外部検出は、外れ値分析または外れ値マイニングとも呼ばれます。

6. 連続パターン

このデータマイニング技術は、一定期間のトランザクションデータの類似のパターンや傾向を発見または特定するのに役立ちます。

7.予測

予測では、傾向、連続パターン、クラスタリング、分類などのデータマイニングの他の手法を組み合わせて使用します。過去のイベントまたはインスタンスを正しい順序で分析して、将来のイベントを予測します。

データマイニング導入の課題

データマイニングクエリを作成するには、熟練した専門家が必要です。
過学習: トレーニングデータベースのサイズが小さいため、モデルは将来の状態に適合しない可能性があります。
データマイニングには大規模なデータベースが必要ですが、場合によっては管理が困難です
明らかになった情報を使用するかどうかを決定するには、商慣行を変更する必要がある場合があります。
データセットが多様でない場合、データマイニングの結果は正確ではない可能性があります。
異種データベースやグローバル情報システムから必要な統合情報は複雑になる可能性がある

データマイニングの例

このデータマイニングコースでは、例を使用してデータマイニングについて学びましょう。

例1：

長距離サービスの収益を増やしたいと考えている通信サービスのマーケティング責任者を考えてみましょう。彼の販売およびマーケティング活動で高い ROI を実現するには、顧客プロファイリングが重要です。彼は、年齢、性別、収入、信用履歴などの顧客情報の膨大なデータプールを持っています。しかし、手動分析で長距離電話を好む人々の特徴を判断することは不可能です。データマイニング技術を使用して、長距離通話の頻度が高いユーザーとその特徴の間のパターンを明らかにする可能性があります。

たとえば、彼の最良の顧客は、年収 45 ドル以上を稼ぐ 54 歳から 80,000 歳の既婚女性であることがわかるかもしれません。マーケティング活動はそのような層をターゲットにすることができます。

例2：

ある銀行は、クレジットカード事業からの収益を増やすための新しい方法を模索しています。手数料を半分にしたら利用が倍増するかどうかを調べたいと考えています。

銀行には、クレジットカードの平均残高、支払額、クレジット限度額の使用状況、その他の重要なパラメーターに関する複数年の記録があります。提案された新しいビジネス方針の影響を確認するためのモデルを作成します。データ結果は、対象の顧客ベースに対して手数料を半分に削減すると、収益が 10 万ドル増加する可能性があることを示しています。

データマイニングツール

以下は人気の2つですデータマイニングツール業界で広く使用されている

R言語:

R言語は、統計コンピューティングおよびグラフィックス用のオープンソースツールです。 R には、さまざまな統計、古典的な統計検定、時系列分析、分類、およびグラフィック手法が備わっています。効果的なデータ処理およびストレージ機能を提供します。

詳細を見る

Oracle データマイニング：

Oracle データマイニング ODM として一般的に知られているモジュールは、 Oracle 高度な分析データベース。このデータマイニングツールを使用すると、データアナリストは詳細な洞察を生成し、予測を行うことができます。顧客の行動を予測し、顧客プロファイルを作成し、クロスセルの機会を特定するのに役立ちます。