데이터 마이닝 튜토리얼: 데이터 마이닝이란 무엇입니까? 기술, 프로세스

데이터 마이닝이란?

데이터 마이닝 거대한 데이터 세트에서 잠재적으로 유용한 패턴을 찾는 프로세스입니다. 활용하는 다학제적 기술이다. 기계 학습통계 및 AI를 활용하여trac데이터 마이닝을 통해 미래 사건의 확률을 평가하는 데 필요한 정보를 얻습니다. 데이터 마이닝에서 얻은 인사이트는 마케팅, 사기 탐지, 과학적 발견 등에 활용됩니다.

데이터 마이닝은 데이터 간에 숨겨져 있거나, 예상치 못했거나, 이전에는 알려지지 않았지만 유효한 관계를 발견하는 것입니다. 데이터 마이닝은 데이터 내 지식 발견(KDD)이라고도 불립니다.trac데이터/패턴 분석, 정보 수집 등

데이터 유형

데이터 마이닝은 다음 유형의 데이터에 대해 수행할 수 있습니다.

• 관계형 데이터베이스
• 데이터웨어 하우스
• 고급 DB 및 정보 저장소
• 객체 지향 및 객체 관계형 데이터베이스
• 트랜잭션 및 공간 데이터베이스
• 이기종 및 레거시 데이터베이스
• 멀티미디어 및 스트리밍 데이터베이스
• 텍스트 데이터베이스
• 텍스트 마이닝 및 웹 마이닝

출처가 무엇이든, 동일한 일련의 단계를 거치면 원시 데이터가 사용 가능한 모델로 변환됩니다.

데이터 마이닝 구현 프로세스

데이터 마이닝 구현 프로세스를 자세히 살펴보겠습니다.

비즈니스 이해

이 단계에서는 비즈니스 및 데이터 마이닝 목표가 설정됩니다.

• 먼저, 비즈니스와 고객 목표를 이해해야 합니다. 고객이 원하는 것이 무엇인지 정의해야 합니다(고객도 스스로 모르는 경우가 많습니다).
• 현재 데이터 마이닝 시나리오를 살펴보세요. 자원, 가정, 제약 조건 및 기타 중요한 요소를 평가에 고려하세요.
• 비즈니스 목표와 현재 시나리오를 사용하여 데이터 마이닝 목표를 정의합니다.
• 좋은 데이터 마이닝 계획은 매우 상세하며 비즈니스 및 데이터 마이닝 목표를 모두 달성하기 위해 개발되어야 합니다.

데이터 이해

이 단계에서는 데이터가 데이터 마이닝 목표에 적합한지 확인하기 위해 데이터의 타당성 검사를 수행합니다.

• 첫째, 조직 내에서 이용 가능한 여러 데이터 소스에서 데이터를 수집합니다.
• 이러한 데이터 소스에는 여러 데이터베이스, 플랫 파일 또는 데이터 큐브가 포함될 수 있습니다. 데이터 통합 ​​과정에서 객체 일치 및 스키마 통합과 같은 문제가 발생할 수 있습니다. 다양한 소스의 데이터가 쉽게 일치하지 않을 가능성이 높기 때문에 데이터 통합은 상당히 복잡하고 까다로운 과정입니다. 예를 들어, 테이블 A에는 cust_no라는 엔티티가 있고 테이블 B에는 cust-id라는 엔티티가 있는 경우를 생각해 볼 수 있습니다.
• 따라서 주어진 객체가 모두 동일한 값을 참조하는지 여부를 확인하는 것은 매우 어렵습니다. 여기서 데이터 통합 ​​과정에서 오류를 줄이기 위해서는 메타데이터를 사용해야 한다.
• 다음 단계는 획득된 데이터의 속성을 검색하는 것입니다. 데이터를 탐색하는 좋은 방법은 쿼리, 보고 및 시각화 도구를 사용하여 데이터 마이닝 질문(비즈니스 단계에서 결정)에 답하는 것입니다.
• 조회 결과를 바탕으로 데이터 품질을 확인해야 합니다. 누락된 데이터가 있다면 이를 보완해야 합니다.

데이터 준비

이 단계에서는 데이터 생산 준비가 완료됩니다.

데이터 준비는 일반적으로 가장 오랜 시간이 걸리는 단계이며, 전체 작업량의 60%에서 80%를 차지하는 것으로 알려져 있습니다.

다양한 출처의 데이터를 선별, 정제, 변환, 형식화, 익명화 및 (필요한 경우) 구성해야 합니다.

데이터 정리는 잡음이 있는 데이터를 평활화하고 누락된 값을 채워 데이터를 "정리"하는 프로세스입니다.

예를 들어 고객 인구통계 프로필의 경우 연령 데이터가 누락되었습니다. 데이터가 불완전하므로 채워야 합니다. 경우에 따라 데이터 이상값이 있을 수 있습니다. 예를 들어 나이 값은 300입니다. 데이터가 일관되지 않을 수 있습니다. 예를 들어 고객의 이름은 테이블마다 다릅니다.

데이터 변환 작업은 데이터 마이닝에 유용한 형태로 데이터를 변경합니다. 다음과 같은 변환을 적용할 수 있습니다.

데이터 변환

데이터 변환 작업은 마이닝 프로세스의 성공에 기여합니다.

스무딩 : 데이터에서 노이즈를 제거하는 데 도움이 됩니다.

집합: 요약 또는 집계 작업이 데이터에 적용됩니다. 즉, 주간 판매 데이터를 집계하여 월간 및 연간 총액을 계산합니다.

일반화: 이 단계에서는 개념 계층 구조를 활용하여 하위 수준 데이터를 상위 수준 개념으로 대체합니다. 예를 들어, 도시는 주 또는 국가로 대체됩니다.

표준화: 정규화는 속성 데이터의 크기를 확대하거나 축소할 때 수행됩니다. 예: 정규화 후 데이터는 -2.0에서 2.0 사이의 범위에 있어야 합니다.

속성 구성이러한 속성들은 데이터 마이닝에 도움이 되는 주어진 속성 집합을 구성하고 포함합니다.

이 과정의 결과는 모델링에 사용할 수 있는 최종 데이터 세트입니다.

모델링

이 단계에서는 수학적 모델을 사용하여 데이터 패턴을 결정합니다.

• 비즈니스 목표에 따라 준비된 데이터 세트에 적합한 모델링 기술을 선택해야 합니다.
• 모델의 품질과 유효성을 테스트하기 위한 시나리오를 만듭니다.
• 준비된 데이터 세트에서 모델을 실행합니다.
• 모델이 데이터 마이닝 목표를 충족할 수 있는지 확인하기 위해 모든 이해관계자가 결과를 평가해야 합니다.

평가

이 단계에서는 식별된 패턴을 비즈니스 목표와 비교하여 평가합니다.

• 데이터 마이닝 모델을 통해 생성된 결과는 비즈니스 목표와 비교하여 평가되어야 합니다.
• 비즈니스 이해를 얻는 것은 반복적인 프로세스입니다. 실제로 이해하는 동안 데이터 마이닝으로 인해 새로운 비즈니스 요구 사항이 제기될 수 있습니다.
• 배포 단계에서 모델 이동 여부에 대한 결정이 내려집니다.

전개

배포 단계에서는 데이터 마이닝을 통해 발견한 내용을 일상적인 비즈니스 운영에 적용합니다.

• 데이터 마이닝 과정에서 발견된 지식이나 정보는 기술적 지식이 없는 이해관계자도 쉽게 이해할 수 있도록 제공되어야 합니다.
• 선박에 대한 상세한 배치 계획ping데이터 마이닝을 통해 발견한 내용에 대한 유지 관리 및 모니터링 기능이 구축됩니다.
• 프로젝트를 진행하면서 얻은 교훈과 주요 경험을 바탕으로 최종 프로젝트 보고서가 작성됩니다. 이는 조직의 비즈니스 정책을 개선하는 데 도움이 됩니다.

위의 모델링 단계는 각각 다른 유형의 질문에 적합한 일련의 기법을 활용합니다.

데이터 마이닝 기법

1. 분류

이 분석은 데이터 및 메타데이터에 대한 중요하고 관련 있는 정보를 검색하는 데 사용됩니다. 이 데이터 마이닝 방법은 데이터를 다양한 클래스로 분류하는 데 도움이 됩니다.

2. ClusterING

Cluster분석은 서로 유사한 데이터를 식별하는 데이터 마이닝 기술입니다. 이 프로세스는 데이터 간의 차이점과 유사점을 이해하는 데 도움이 됩니다.

3. 회귀

회귀 분석은 변수 간의 관계를 식별하고 분석하는 데이터 마이닝 방법입니다. 다른 변수가 존재하는 경우 특정 변수의 가능성을 식별하는 데 사용됩니다.

4. 협회 규칙

이 데이터 마이닝 기술은 둘 이상의 항목 간의 연관성을 찾는 데 도움이 됩니다. 데이터 세트에서 숨겨진 패턴을 발견합니다.

5. 이상치 탐지

이러한 데이터 마이닝 기법은 데이터 세트에서 예상되는 패턴이나 동작과 일치하지 않는 데이터 항목을 관찰하는 것을 의미합니다. 이 기법은 침입 탐지, 사기 또는 오류 탐지 등 다양한 분야에서 활용될 수 있습니다. 이상치 탐지는 이상치 분석 또는 이상치 마이닝이라고도 합니다.

6. 순차적 패턴

이 데이터 마이닝 기술은 특정 기간 동안의 거래 데이터에서 유사한 패턴이나 추세를 발견하거나 식별하는 데 도움이 됩니다.

7. 예측

예측은 추세, 순차적 패턴, 클러스터링, 분류 등과 같은 다른 데이터 마이닝 기술을 결합하여 사용했습니다. 이는 미래 이벤트를 예측하기 위해 올바른 순서로 과거 이벤트 또는 인스턴스를 분석합니다.

Descript실시간 데이터 마이닝 vs 예측 데이터 마이닝

위의 7가지 기법은 두 가지 유형으로 나뉘며, 질문이 어느 유형에 속하는지를 아는 것이 결과 해석에 영향을 미칩니다.

Descript라이브 데이터 마이닝 이미 발생한 일을 요약합니다. 목표로 삼을 대상 없이 기존 데이터 내에서 구조를 찾는 방식이기 때문에 비지도 학습이라고도 합니다. Cluster연상, 연관 규칙, 순차적 패턴 등이 여기에 해당합니다. 슈퍼마켓이 기저귀와 맥주가 자주 함께 구매된다는 것을 학습하는 것은 서술적 발견입니다. 즉, 과거를 설명하고, 사람은 그에 따라 무엇을 할지 결정합니다.

예측 데이터 마이닝 다음에 무슨 일이 일어날지 예측합니다. 이미 답을 알고 있는 과거 기록을 통해 학습한 다음, 그 학습 내용을 새로운 기록에 적용하기 때문에 지도 학습이라고 합니다. 분류, 회귀, 예측이 모두 이 범주에 속합니다. 대출 신청자의 채무 불이행 가능성을 평가하는 것은 예측의 한 예입니다.

이러한 구분에서 두 가지 실질적인 결과가 도출됩니다.

• 검증 방식이 다릅니다: 예측 모델은 알려진 결과와 비교하여 정확도를 평가할 수 있습니다. 반면 서술적 결과는 그렇지 않으므로, 흥미롭고 실행 가능한지 여부로 평가됩니다.
• 데이터 요구 사항은 서로 다릅니다. 예측 작업을 위해서는 레이블이 지정된 과거 결과 열이 필요합니다. Descriptive work는 그렇지 않기 때문에 기업이 데이터는 있지만 아직 명확한 목표가 없을 때 일반적으로 출발점으로 삼는 것입니다.

데이터 마이닝 구현의 과제

• 데이터 마이닝 쿼리를 공식화하려면 숙련된 전문가가 필요합니다.
• 과적합: 훈련 데이터베이스의 크기가 작기 때문에 모델이 미래 상태에 맞지 않을 수 있습니다.
• 데이터 마이닝에는 때로는 관리하기 어려운 대규모 데이터베이스가 필요합니다.
• 밝혀진 정보를 사용하기로 결정하려면 비즈니스 관행을 수정해야 할 수도 있습니다.
• 데이터 세트가 다양하지 않으면 데이터 마이닝 결과가 정확하지 않을 수 있습니다.
• 이기종 데이터베이스와 글로벌 정보 시스템에서 필요한 통합 정보는 복잡할 수 있습니다.

데이터 마이닝 사례

이제 이 데이터 마이닝 과정에서는 다음 예제를 통해 데이터 마이닝에 대해 알아 보겠습니다.

예 1 :

통신 서비스 제공업체의 마케팅 책임자가 장거리 통화 서비스 매출 증대를 목표로 한다고 가정해 보겠습니다. 높은 투자 수익률(ROI)을 위해서는 고객 프로파일링이 매우 중요합니다. 그는 연령, 성별, 소득, 신용 이력 등 방대한 고객 데이터 풀을 보유하고 있지만, 수동 분석으로는 장거리 통화를 선호하는 사람들의 특징을 파악하기 어렵습니다. 데이터 마이닝 기법을 활용하면 장거리 통화를 많이 이용하는 고객과 그들의 특징 사이의 패턴을 발견할 수 있습니다.

예를 들어, 그는 그의 최고 고객이 연간 45달러 이상을 버는 54세에서 80,000세 사이의 기혼 여성이라는 것을 알게 될 것입니다. 마케팅 노력은 이러한 인구통계학적 특성을 대상으로 할 수 있습니다.

예 2 :

한 은행이 신용카드 사업 수익을 늘릴 새로운 방법을 모색하고 있습니다. 수수료를 절반으로 줄이면 카드 사용량이 두 배로 늘어날지 확인하고 싶어합니다.

은행은 수년간의 신용카드 평균 잔액, 결제 금액, 신용 한도 사용량 및 기타 주요 지표에 대한 기록을 보유하고 있습니다. 이를 바탕으로 제안된 새로운 사업 정책의 영향을 분석하는 모델을 개발했습니다. 데이터 분석 결과, 특정 고객층의 수수료를 절반으로 줄이면 매출이 10천만 달러 증가할 수 있는 것으로 나타났습니다.

데이터 마이닝 vs 머신 러닝

두 용어는 개념이 상당히 겹치고 종종 혼용되지만, 서로 다른 질문에 대한 답을 제시합니다. 데이터 마이닝은 사람이 이전에 알지 못했던 패턴을 발견하는 것을 목표로 하고, 머신 러닝은 데이터가 축적될수록 예측 정확도를 향상시키는 시스템을 구축하는 것을 목표로 합니다.

차이점	데이터 마이닝	머신 러닝
주요 목표	기존 데이터에서 알려지지 않은 패턴을 발견하세요	새로운 데이터를 기반으로 예측하는 모델을 구축하세요.
인간의 참여	분석가는 결과를 해석하고 그에 따라 조치를 취합니다.	알고리즘은 규칙을 자동으로 적용합니다.
데이터 볼륨	정의된 과거 데이터 세트를 기반으로 작동합니다.	시간이 지남에 따라 더 많은 데이터가 제공될수록 성능이 향상됩니다.
일반적인 출력	사람이 읽을 수 있는 규칙, 집합 또는 연관성	점수 또는 등급을 반환하는 학습된 모델
관계	데이터 마이닝은 종종 머신 러닝 알고리즘을 핵심 엔진으로 사용합니다.

요약하자면, 머신러닝은 데이터 마이닝에서 활용하는 도구 중 하나이며, 간단한 데이터 마이닝은 통계만으로도 수행할 수 있습니다.

데이터 마이닝 도구

다음은 인기 있는 2가지입니다. 데이터 마이닝 도구 산업계에서 널리 사용됨

R 언어:

R 언어 통계 컴퓨팅 및 그래픽을 위한 오픈 소스 도구입니다. R에는 다양한 통계, 고전 통계 테스트, 시계열 분석, 분류 및 그래픽 기술이 있습니다. 효과적인 데이터 처리 및 저장 기능을 제공합니다.

자세히 알아보기

Oracle 데이터 수집:

Oracle 데이터 마이닝일반적으로 ODM으로 알려진 이 모듈은 다음과 같은 기능을 수행합니다. Oracle 고급 분석 데이터베이스이며 이제 다음과 같은 구성 요소로 제공됩니다. Oracle 머신 러닝. 이 데이터 마이닝 도구는 데이터 분석가가 상세한 인사이트를 도출하고 예측을 할 수 있도록 해줍니다. 고객 행동을 예측하고, 고객 프로필을 개발하며, 교차 판매 기회를 파악하는 데 도움이 됩니다.

자세히 알아보기

데이터 마이닝의 이점

• 데이터 마이닝 기술은 기업이 지식 기반 정보를 얻는 데 도움이 됩니다.
• 데이터 마이닝은 조직이 운영 및 생산에 있어 수익성 있는 조정을 하는 데 도움이 됩니다.
• 데이터 마이닝은 다른 통계 데이터 애플리케이션에 비해 비용 효율적이고 효율적인 솔루션입니다.
• 데이터 마이닝은 의사결정 과정에 도움이 됩니다.
• 추세와 행동에 대한 자동화된 예측은 물론 숨겨진 패턴의 자동화된 발견도 촉진합니다.
• 기존 플랫폼은 물론 새로운 시스템에서도 구현 가능
• 이는 사용자가 더 짧은 시간에 엄청난 양의 데이터를 분석하기 쉽게 만드는 빠른 프로세스입니다.

데이터 마이닝의 단점

• 기업들이 고객에 대한 유용한 정보를 다른 조직에 판매할 위험이 있으며, 이는 심각한 개인정보 보호 문제를 야기합니다.
• 많은 데이터 마이닝 분석 소프트웨어는 작동하기 어려우며, 작업을 위해서는 사전 교육이 필요합니다.
• 다양한 데이터 마이닝 도구는 설계에 사용된 알고리즘이 다르기 때문에 서로 다른 방식으로 작동합니다. 따라서 올바른 데이터 마이닝 도구를 선택하는 것은 매우 어려운 작업입니다.
• 데이터 마이닝 기술은 정확하지 않으므로 특정 조건에서는 심각한 결과를 초래할 수 있습니다.

데이터 마이닝 애플리케이션

어플리케이션	용법
통신	데이터 마이닝 기술은 고객 행동을 예측하여 매우 효과적이고 관련성 높은 타겟팅 캠페인을 제공하기 위해 커뮤니케이션 분야에서 사용됩니다.
보험	데이터 마이닝은 보험 회사가 상품 가격을 수익성 있게 책정하고 새 고객이나 기존 고객에게 새로운 혜택을 홍보하는 데 도움이 됩니다.
교육	데이터 마이닝은 교육자가 학생 데이터에 액세스하고 성취 수준을 예측하며 특별한 주의가 필요한 학생 또는 학생 그룹을 찾는 데 도움이 됩니다. 예를 들어, 수학 과목에 약한 학생.
제조	데이터 마이닝을 활용하면 제조업체는 생산 자산의 마모를 예측할 수 있습니다. 또한 유지 보수를 미리 계획하여 가동 중지 시간을 최소화할 수 있습니다.
은행	데이터 마이닝은 금융 부문이 시장 위험을 파악하고 규정 준수를 관리하는 데 도움이 됩니다. 이는 은행이 신용카드, 대출 등의 발행 여부를 결정하기 위해 채무 불이행 가능성이 있는 사람을 식별하는 데 도움이 됩니다.
소매	데이터 마이닝 기술은 소매 쇼핑몰과 식료품점이 가장 잘 팔리는 상품을 파악하고 고객의 눈길을 사로잡는 위치에 배치하는 데 도움을 줍니다. 또한 매장 주인들이 고객의 소비를 늘리도록 유도하는 프로모션을 기획하는 데에도 유용합니다.
서비스 제공 업체	모바일 폰 및 유틸리티 산업과 같은 서비스 제공자는 데이터 마이닝을 사용하여 고객이 회사를 떠나는 이유를 예측합니다. 그들은 청구 세부 정보, 고객 서비스 상호 작용, 회사에 제기된 불만 사항을 분석하여 각 고객에게 확률 점수를 할당하고 인센티브를 제공합니다.
이커머스	전자 상거래 웹사이트에서는 데이터 마이닝을 사용하여 웹사이트를 통해 교차 판매 및 상향 판매를 제공합니다. 가장 유명한 이름 중 하나는 다음과 같습니다. Amazon, 데이터 마이닝 기술을 사용하여 더 많은 고객을 전자상거래 매장으로 유도합니다.
슈퍼 마켓	데이터 마이닝을 통해 슈퍼마켓은 고객의 구매 패턴을 분석하여 임신 가능성을 예측하는 규칙을 만들 수 있습니다. 이를 통해 임신 가능성이 높은 여성 고객을 파악하고, 베이비파우더, 아기 비누, 기저귀 등의 제품을 집중적으로 판매할 수 있습니다.
범죄수사	데이터 마이닝은 범죄 수사 기관이 경찰 인력(범죄가 발생할 가능성이 가장 높은 곳과 시기)을 배치하고 국경 검문소에서 누구를 검색할지 등을 도와줍니다.
생물 정보학	데이터 마이닝은 생물학과 의학 분야에서 수집된 대규모 데이터 세트에서 생물학적 데이터를 마이닝하는 데 도움이 됩니다.

자주 묻는 질문