データ マイニング チュートリアル: データ マイニングとは何ですか? テクニック、プロセス

データマイニングとは

データマイニング 膨大なデータセットから潜在的に有用なパターンを見つけるプロセスです。 それは多分野にわたるスキルです。 機械学習統計学、AIなどtrac将来の出来事の確率を評価するための情報。データマイニングから得られる知見は、マーケティング、不正検出、科学的発見などに活用されます。

データマイニングとは、データの中に隠された、予想外の、これまで知られていなかった有効な関係性を発見することです。データマイニングは、データにおける知識発見（KDD）、知識抽出（Knowledge Examinations）とも呼ばれます。tracデータ/パターン分析、情報収集など。

データの種類

データマイニングは、以下の種類のデータに対して実行できます。

• リレーショナルデータベース
• データウェアハウス
• 高度な DB と情報リポジトリ
• オブジェクト指向データベースとオブジェクト リレーショナル データベース
• トランザクションおよび空間データベース
• 異機種データベースとレガシーデータベース
• マルチメディアおよびストリーミング データベース
• テキストデータベース
• テキストマイニングとWebマイニング

情報源が何であれ、同じ規律ある一連の段階を経ることで、生データは使用可能なモデルへと変換される。

データマイニングの実装プロセス

データマイニングの実装プロセスを詳しく見てみましょう

ビジネスの理解

このフェーズでは、ビジネス目標とデータマイニング目標が確立されます。

• まず、ビジネスとクライアントの目的を理解する必要があります。 クライアントが何を望んでいるのかを定義する必要があります（クライアント自身も分かっていないことが多いです）
• 現在のデータ マイニング シナリオを評価します。 リソース、仮定、制約、その他の重要な要素を評価に考慮します。
• ビジネス目標と現在のシナリオを使用して、データ マイニングの目標を定義します。
• 優れたデータ マイニング計画は非常に詳細であり、ビジネス目標とデータ マイニング目標の両方を達成できるように作成する必要があります。

データの理解

この段階では、データがデータマイニングの目的に適しているかどうかを確認するために、データの妥当性チェックが行われます。

• まず、組織内で利用可能な複数のデータソースからデータが収集されます。
• これらのデータソースには、複数のデータベース、フラットファイル、データキューブなどが含まれる場合があります。データ統合プロセスでは、オブジェクトのマッチングやスキーマの統合といった問題が発生する可能性があります。さまざまなソースからのデータは簡単には一致しないため、これは非常に複雑で厄介なプロセスです。たとえば、テーブルAにはcust_noという名前のエンティティが含まれているのに対し、別のテーブルBにはcust-idという名前のエンティティが含まれている場合などです。
• したがって、これらの指定されたオブジェクトの両方が同じ値を参照しているかどうかを確認することは非常に困難です。 ここで、データ統合プロセスにおけるエラーを減らすためにメタデータを使用する必要があります。
• 次に、取得したデータのプロパティを検索します。 データを探索する良い方法は、クエリ、レポート、視覚化ツールを使用して、データ マイニングの質問 (ビジネス フェーズで決定) に答えることです。
• クエリの結果に基づいて、データの品質を確認する必要がある。欠落データがある場合は、それを取得する必要がある。

データの準備

このフェーズでは、データが本番環境に対応できるようになります。

データ準備は通常、最も時間がかかる段階であり、総作業量の60%から80%を占めると言われることが多い。

異なるソースからのデータは、選択、クリーニング、変換、フォーマット、匿名化、および（必要に応じて）構築される必要がある。

データ クリーニングは、ノイズの多いデータを平滑化し、欠損値を埋めることによってデータを「クリーン」にするプロセスです。

たとえば、顧客の人口統計プロファイルの場合、年齢データが欠落しています。 データが不完全であるため、入力する必要があります。 場合によっては、データに外れ値が存在する可能性があります。 たとえば、年齢の値は 300 です。データに一貫性がない可能性があります。 たとえば、顧客の名前がテーブルごとに異なります。

データ変換操作は、データマイニングで利用できるようにデータを変換する操作です。以下の変換操作を適用できます。

データ変換

データ変換操作は、マイニング プロセスの成功に貢献します。

スムージング： データからノイズを除去するのに役立ちます。

集計： データには要約または集計操作が適用されます。つまり、週ごとの売上データが集計され、月ごとおよび年ごとの合計が計算されます。

汎化： このステップでは、概念階層を利用して、低レベルのデータをより高レベルの概念に置き換えます。例えば、都市は州や国に置き換えられます。

正規化： 正規化は、属性データが拡大または縮小される際に実行されます。例：正規化後、データは-2.0から2.0の範囲に収まる必要があります。

属性の構築これらの属性は、データマイニングに役立つ属性のセットとして構築され、含まれています。

このプロセスの結果、モデリングに使用できる最終的なデータ セットが得られます。

モデリング

このフェーズでは、数学的モデルを使用してデータ パターンを決定します。

• ビジネス目標に基づいて、準備されたデータセットに対して適切なモデリング手法を選択する必要があります。
• モデルの品質と妥当性をテストチェックするためのシナリオを作成します。
• 準備されたデータセットでモデルを実行します。
• 結果はすべての関係者によって評価され、モデルがデータ マイニングの目標を達成できるかどうかを確認する必要があります。

評価

このフェーズでは、特定されたパターンがビジネス目標に照らして評価されます。

• データ マイニング モデルによって生成された結果は、ビジネス目標に照らして評価する必要があります。
• ビジネスの理解を得るには反復的なプロセスが必要です。 実際、データ マイニングを理解している間に、新しいビジネス要件が発生する可能性があります。
• 導入フェーズでモデルを移行するかどうかの決定が下されます。

展開

展開フェーズでは、データ マイニングの検出結果を日常の業務に展開します。

• データマイニングのプロセス中に発見された知識や情報は、技術者以外の関係者にとっても理解しやすいものでなければなりません。
• 船舶の詳細な配備計画pingデータマイニングによる発見の維持管理と監視が行われます。
• 最終的なプロジェクト レポートは、プロジェクト中に学んだ教訓と重要な経験をもとに作成されます。 これは、組織のビジネス ポリシーの改善に役立ちます。

上記のモデリング段階では、それぞれ異なる種類の問題に適した、明確に定義された一連の手法が用いられます。

データマイニング手法

1。 分類

この分析は、データおよびメタデータに関する重要な関連情報を取得するために使用されます。 このデータ マイニング方法は、データをさまざまなクラスに分類するのに役立ちます。

2. Clusterる

Clustering 分析は、互いに似ているデータを識別するデータ マイニング手法です。このプロセスは、データ間の相違点と類似点を理解するのに役立ちます。

3。 回帰

回帰分析は、変数間の関係を特定して分析するデータマイニング手法です。 他の変数が存在する場合に、特定の変数の可能性を特定するために使用されます。

4. 協会規約

このデータ マイニング手法は、XNUMX つ以上のアイテム間の関連性を見つけるのに役立ちます。 データセット内の隠れたパターンを発見します。

5. 外れ値検出

この種のデータマイニング手法は、データセット内のデータ項目のうち、想定されるパターンや挙動と一致しないものを観測することを指します。この手法は、侵入検知、不正検知、障害検知など、さまざまな分野で活用できます。外れ値検出は、外れ値分析または外れ値マイニングとも呼ばれます。

6. 連続パターン

このデータ マイニング技術は、一定期間のトランザクション データの類似のパターンや傾向を発見または特定するのに役立ちます。

7.予測

予測では、傾向、連続パターン、クラスタリング、分類などのデータ マイニングの他の手法を組み合わせて使用​​します。過去のイベントまたはインスタンスを正しい順序で分析して、将来のイベントを予測します。

Descript予測型データマイニングとライブ型データマイニングの比較

上記の7つの手法は2つの系統に分類され、質問がどちらの系統に属するかを知ることで、結果をどのように解釈すべきかが決まります。

Descriptライブデータマイニング 既に起こったことを要約する。既存のデータの中に構造を探し出すが、特に目標とする対象はないため、教師なし学習と呼ばれることもある。 Cluster関連付けルールやシーケンシャルパターンなどは、この範疇に含まれます。スーパーマーケットが、おむつとビールが頻繁に一緒に購入されることを学習するのは、記述的な発見です。それは過去の出来事を説明し、それに基づいて人間がどう行動するかを決定します。

予測データマイニング 次に何が起こるかを予測します。過去の記録から答えがすでにわかっていることを学習し、その学習結果を新しい記録に適用するため、教師あり学習と呼ばれます。分類、回帰、予測はここに該当します。ローン申請者が債務不履行に陥る可能性が高いか低いかをスコアリングすることは、予測結果の一例です。

この区別から、2つの実際的な結果が導き出される。

• 検証方法は異なります。 予測モデルは、既知の結果との比較において精度を評価できる。一方、記述的な結果はそれができないため、興味深く、かつ実用的なものかどうかで判断される。
• データ要件は異なります。 予測分析には、ラベル付きの過去の結果列が必要です。 Descript私の仕事はそうではないので、企業がデータは持っているものの明確な目標がまだない場合の通常の出発点となります。

データマイニング導入における課題

• データ マイニング クエリを作成するには、熟練した専門家が必要です。
• 過学習: トレーニング データベースのサイズが小さいため、モデルは将来の状態に適合しない可能性があります。
• データマイニングには大規模なデータベースが必要ですが、場合によっては管理が困難です
• 明らかになった情報を使用するかどうかを決定するには、商慣行を変更する必要がある場合があります。
• データセットが多様でない場合、データマイニングの結果は正確ではない可能性があります。
• 異種データベースやグローバル情報システムから必要な統合情報は複雑になる可能性がある

データマイニングの例

このデータ マイニング コースでは、例を使用してデータ マイニングについて学びましょう。

例1：

長距離通話サービスの収益を増やしたいと考えている通信サービスプロバイダーのマーケティング責任者を考えてみましょう。営業およびマーケティング活動の投資対効果（ROI）を高めるには、顧客プロファイリングが重要です。彼は年齢、性別、収入、信用履歴など、膨大な顧客情報データプールを保有しています。しかし、手動分析では長距離通話を好む人々の特性を特定することは不可能です。データマイニング技術を用いることで、長距離通話を頻繁に利用するユーザーとその特性との間のパターンを明らかにすることができるかもしれません。

たとえば、彼の最良の顧客は、年収 45 ドル以上を稼ぐ 54 歳から 80,000 歳の既婚女性であることがわかるかもしれません。 マーケティング活動はそのような層をターゲットにすることができます。

例2：

ある銀行は、クレジットカード事業からの収益を増やすための新たな方法を模索している。手数料を半額にした場合、利用率が倍増するかどうかを検証したいと考えている。

同行は、クレジットカードの平均残高、支払額、利用限度額の使用状況、その他の主要指標に関する複数年分の記録を保有している。同行は、提案された新たな事業方針の影響を検証するためのモデルを作成した。データ分析の結果、特定の顧客層に対する手数料を半額にすることで、収益を10万ドル増加させることができることが示された。

データマイニングと機械学習の比較

この2つの用語は大きく重複しており、しばしば混同して使われますが、それぞれ異なる問いに答えるものです。データマイニングは、これまで人が知らなかったパターンを発見することを目的としています。一方、機械学習は、データが増えるにつれて予測精度が向上するシステムを構築することを目的としています。

相違点	データマイニング	機械学習
主な目標	既存データから未知のパターンを発見する	新しいデータに基づいて予測を行うモデルを構築する
人間の関与	アナリストは調査結果を解釈し、それに基づいて行動する。	アルゴリズムはルールを自動的に適用します
データ量	定義された履歴データセットに基づいて動作します	時間の経過とともにデータが増えるにつれて改善される
典型的な出力	人が読み取れるルール、クラスター、または関連付け	スコアまたはクラスを返す訓練済みモデル
関係	データマイニングでは、機械学習アルゴリズムがエンジンとして頻繁に使用されます。

つまり、機械学習はデータマイニングが利用するツールセットの一つであり、単純なデータマイニングは統計学だけでも行うことができる。

データマイニングツール

以下は人気の2つです データマイニングツール 業界で広く使用されている

R言語:

R言語 は、統計コンピューティングおよびグラフィックス用のオープンソース ツールです。 R には、さまざまな統計、古典的な統計検定、時系列分析、分類、およびグラフィック手法が備わっています。 効果的なデータ処理およびストレージ機能を提供します。

詳細を見る

Oracle データマイニング：

Oracle データマイニングは、一般的にODMとして知られており、 Oracle 高度な分析データベースであり、現在は一部として提供されています。 Oracle 機械学習。このデータマイニングツールは、データアナリストが詳細な洞察を生成し、予測を行うことを可能にします。顧客行動の予測、顧客プロファイルの作成、クロスセル機会の特定に役立ちます。

詳細を見る

データマイニングの利点

• データマイニング技術は、企業が知識ベースの情報を取得するのに役立ちます。
• データ マイニングは、組織が運用と生産において収益性の高い調整を行うのに役立ちます。
• データ マイニングは、他の統計データ アプリケーションと比較して、コスト効率が高く効率的なソリューションです。
• データマイニングは意思決定プロセスに役立ちます。
• 傾向と行動の自動予測と隠れたパターンの自動検出を促進します。
• 既存のプラットフォームだけでなく、新しいシステムにも実装可能
• スピーディなプロセスにより、ユーザーは短時間で大量のデータを簡単に分析できます。

データマイニングの欠点

• 企業が顧客に関する有用な情報を他の組織に販売するリスクがあり、これは重大なプライバシー上の懸念を引き起こす。
• 多くのデータマイニング分析ソフトウェアは操作が難しく、使用するには事前のトレーニングが必要です。
• データマイニングツールは、設計に採用されているアルゴリズムが異なるため、それぞれ異なる方法で動作します。そのため、適切なデータマイニングツールを選択するのは非常に難しい作業です。
• データ マイニング技術は正確ではないため、特定の状況では重大な結果を引き起こす可能性があります。

データマイニングアプリケーション

用途	使用法
コミュニケーション	データマイニング技術は、顧客行動を予測し、高度にターゲットを絞った関連性の高いキャンペーンを提供するために、通信業界で活用されている。
保険対応	データ マイニングは、保険会社が商品の価格を採算の取れるものにしたり、新規顧客や既存顧客に新しいオファーを宣伝したりするのに役立ちます。
教育支援	データマイニングは、教育者が生徒のデータにアクセスし、達成レベルを予測し、特別な注意が必要な生徒または生徒のグループを見つけるのに役立ちます。 例えば、数学が苦手な生徒。
製造業	データマイニングを活用することで、製造業者は生産設備の摩耗や劣化を予測できます。これにより、メンテナンスを事前に計画できるため、ダウンタイムを最小限に抑えることができます。
バンキング	データマイニングは、金融部門が市場リスクを把握し、規制遵守を管理するのに役立ちます。 銀行がクレジットカードやローンなどを発行するかどうかを決定する際に、債務不履行の可能性を特定するのに役立ちます。
小売商	データマイニング技術は、小売店や食料品店が最も売れやすい商品を特定し、最も目を引く場所に陳列するのに役立ちます。また、店舗オーナーが顧客の購買意欲を高めるような魅力的なオファーを考案するのにも役立ちます。
サービスプロバイダ	携帯電話や公共事業などのサービス プロバイダーは、データ マイニングを使用して、顧客が会社を離れる理由を予測します。請求の詳細、顧客サービスでのやり取り、会社への苦情を分析して、各顧客に確率スコアを割り当て、インセンティブを提供します。
デジタルコマース	電子商取引のウェブサイトでは、データマイニングを利用して、ウェブサイトを通じてクロスセルやアップセルを提供しています。最も有名なものの1つは、 Amazon、データ マイニング技術を使用して、より多くの顧客を e コマース ストアに誘導します。
スーパーマーケット	データマイニングを活用することで、スーパーマーケットは買い物客が妊娠している可能性を予測するルールを開発できます。顧客の購買パターンを分析することで、妊娠している可能性が最も高い女性顧客を特定できます。そして、ベビーパウダー、ベビーソープ、おむつなどの商品をターゲットに販売できるようになります。
犯罪捜査	データ マイニングは、犯罪捜査機関が警察の人員を配置したり (犯罪が最も発生する可能性が高い場所と時期)、国境検問所で誰を捜索するかなどに役立ちます。
バイオインフォマティクス	データ マイニングは、生物学と医学で収集された膨大なデータセットから生物学的データをマイニングするのに役立ちます。

よくあるご質問