数据挖掘教程：什么是数据挖掘？技术、流程

什么是数据挖掘？

数据挖掘 是从庞大的数据集中寻找潜在有用模式的过程。这是一项跨学科的技能，它使用 机器学习统计学和人工智能的应用trac利用数据挖掘信息评估未来事件发生的概率。数据挖掘得出的洞见可用于市场营销、欺诈检测、科学发现等领域。

数据挖掘旨在发现数据中隐藏的、意想不到的、先前未知但却有效的关联。数据挖掘也称为数据知识发现（KDD）、知识挖掘等。trac信息采集、数据/模式分析、信息收集等。

资料类型

可以对以下类型的数据进行数据挖掘

• 关系数据库
• 数据仓库
• 高级数据库和信息存储库
• 面向对象和对象关系数据库
• 事务和空间数据库
• 异构和遗留数据库
• 多媒体和流媒体数据库
• 文本数据库
• 文本挖掘和 Web 挖掘

无论数据来源是什么，同样的严谨的步骤顺序都能将原始数据转化为可用的模型。

数据挖掘的实施过程

让我们详细研究数据挖掘的实现过程

业务了解

在此阶段，建立业务和数据挖掘目标。

• 首先，你需要了解业务和客户目标。你需要明确客户想要什么（很多时候他们自己也不知道）
• 评估当前的数据挖掘场景。将资源、假设、约束和其他重要因素纳入评估范围。
• 使用业务目标和当前场景，定义您的数据挖掘目标。
• 好的数据挖掘计划非常详细，应制定计划以实现业务和数据挖掘目标。

数据理解

在此阶段，对数据进行健全性检查，以检查其是否适合数据挖掘目标。

• 首先，从组织内可用的多个数据源收集数据。
• 这些数据源可能包括多个数据库、平面文件或数据立方体。数据集成过程中可能会出现对象匹配和模式集成等问题。由于来自不同来源的数据不太可能轻易匹配，因此这是一个相当复杂且棘手的过程。例如，表 A 包含一个名为 cust_no 的实体，而另一个表 B 包含一个名为 cust-id 的实体。
• 因此，很难确保这两个给定的对象是否引用相同的值。这里应该使用元数据来减少数据集成过程中的错误。
• 接下来，搜索已获取数据的属性。探索数据的一个好方法是使用查询、报告和可视化工具回答数据挖掘问题（在业务阶段决定）。
• 根据查询结果，应确定数据质量。如有缺失数据，应予以获取。

资料准备

在此阶段，数据已准备好投入生产。

数据准备通常是耗时最长的阶段，通常占总工作量的 60% 到 80%。

应选择、清理、转换、格式化、匿名化和构建（如有必要）来自不同来源的数据。

数据清理是通过平滑噪声数据和填充缺失值来“清洁”数据的过程。

例如，对于客户人口统计资料，缺少年龄数据。数据不完整，应予以补充。在某些情况下，可能存在数据异常值。例如，年龄值为 300。数据可能不一致。例如，不同表中的客户姓名不同。

数据转换操作改变数据，使其适用于数据挖掘。可以应用以下转换。

数据转换

数据转换操作将有助于挖掘过程的成功。

平滑： 它有助于消除数据中的噪音。

聚合： 对数据进行汇总或聚合操作。例如，汇总每周销售数据以计算每月和每年的总数。

概括： 在此步骤中，借助概念层级结构，低层数据被替换为高层概念。例如，城市被替换为州或国家。

正常化： 当属性数据被放大或缩小时，需要进行归一化处理。例如：归一化后，数据应落在 -2.0 到 2.0 的范围内。

属性构造这些属性是构建的，并且包含了给定的一组有助于数据挖掘的属性。

该过程的结果是可用于建模的最终数据集。

建模

在此阶段，使用数学模型来确定数据模式。

• 根据业务目标，应为准备好的数据集选择合适的建模技术。
• 创建一个场景来测试检查模型的质量和有效性。
• 在准备好的数据集上运行模型。
• 所有利益相关者都应评估结果，以确保模型能够满足数据挖掘目标。

评价

在此阶段，将根据业务目标对所识别的模式进行评估。

• 应根据业务目标来评估数据挖掘模型生成的结果。
• 获得业务理解是一个反复的过程。事实上，在理解的同时，可能会因为数据挖掘而产生新的业务需求。
• 在部署阶段，需要做出是否移动模型的决定。

部署

在部署阶段，您将数据挖掘发现应用于日常业务运营。

• 数据挖掘过程中发现的知识或信息应该让非技术利益相关者轻松理解。
• 船舶的详细部署计划ping创建了数据挖掘发现的维护和监控系统。
• 最终项目报告将总结项目过程中的经验教训和关键经验，有助于改善组织的业务政策。

上述建模阶段采用了一系列既定的技术，每种技术都适用于不同类型的问题。

数据挖掘技术

1。 分类

此分析用于检索有关数据和元数据的重要和相关信息。此数据挖掘方法有助于将数据分为不同的类别。

2. Cluster博士开发的技术萃取的

Cluster相似性分析是一种数据挖掘技术，用于识别彼此相似的数据。此过程有助于了解数据之间的差异和相似之处。

3。 回归

回归分析是识别和分析变量之间关系的数据挖掘方法。它用于在存在其他变量的情况下识别特定变量的可能性。

4. 关联规则

这种数据挖掘技术有助于找到两个或多个项目之间的关联。它发现数据集中隐藏的模式。

5. 异常值检测

这种数据挖掘技术指的是观察数据集中不符合预期模式或行为的数据项。该技术可应用于多种领域，例如入侵检测、欺诈检测或故障检测等。异常值检测也称为异常值分析或异常值挖掘。

6. 序列模式

这种数据挖掘技术有助于发现或识别一定时期内交易数据中的相似模式或趋势。

7. 预言

预测结合了数据挖掘的其他技术，如趋势、序列模式、聚类、分类等。它按照正确的顺序分析过去的事件或实例，以预测未来事件。

Descript实测数据挖掘与预测数据挖掘

以上七种技巧分为两大类，了解一个问题属于哪一类，就能决定如何解读结果。

Descript实时数据挖掘 它总结已经发生的事情。它在现有数据中寻找结构，而没有任何预设的目标，因此有时被称为无监督学习。 Cluster关联规则和序列模式都属于此类。超市了解到尿布和啤酒经常一起购买，这是一种描述性发现：它解释了过去的情况，而人类则决定如何应对。

预测数据挖掘 它预测接下来会发生什么。它从已知答案的历史记录中学习，然后将这些知识应用于新的记录，这就是为什么它被称为监督学习。分类、回归和预测都属于监督学习的范畴。对贷款申请人违约的可能性进行评分就是一项预测性发现。

这一区别可以引申出两个实际结果。

• 验证方式有所不同： 预测模型可以根据已知结果的准确性进行评分。描述性结果则无法做到这一点，因此其评判标准在于其是否有趣且具有实用价值。
• 数据要求各不相同： 预测性工作需要一个带有标签的历史结果列。 Descriptive work 并非如此，因此，当企业拥有数据但还没有明确目标时，它通常是起点。

实施数据挖掘的挑战

• 需要熟练的专家来制定数据挖掘查询。
• 过度拟合：由于训练数据库规模较小，模型可能不适合未来状态。
• 数据挖掘需要大型数据库，有时很难管理
• 可能需要修改商业实践来确定如何使用所发现的信息。
• 如果数据集不够多样化，数据挖掘结果可能不准确。
• 异构数据库和全球信息系统所需的集成信息可能很复杂

数据挖掘示例

现在，在本数据挖掘课程中，让我们通过示例了解数据挖掘：

例如1：

假设一位电信服务提供商的市场营销主管希望提高长途电话业务的收入。为了获得更高的销售和市场营销投资回报率，客户画像至关重要。他拥有庞大的客户信息数据库，包括年龄、性别、收入、信用记录等。但是，仅靠人工分析无法确定那些偏好长途电话的用户的特征。利用数据挖掘技术，他或许能够发现长途电话使用率高的用户及其特征之间的关联模式。

例如，他可能会了解到，他的最佳客户是年龄在 45 至 54 岁之间、年收入超过 80,000 美元的已婚女性。营销工作可以针对此类人群进行。

例如2：

一家银行希望寻找提高信用卡业务收入的新方法。他们想了解如果手续费减半，信用卡使用量是否会翻倍。

该银行拥有多年信用卡平均余额、还款金额、信用额度使用情况及其他关键参数的记录。他们建立了一个模型来检验拟议新业务政策的影响。数据显示，将特定客户群的费用减半可增加10万美元的收入。

数据挖掘与机器学习

这两个术语重叠很多，经常被混用，但它们回答的问题却不尽相同。数据挖掘旨在发现人们之前未知的模式，而机器学习则旨在构建一个系统，随着更多数据的输入，该系统能够不断改进自身的预测能力。

不同点	数据挖掘	机器学习
主要目标	在现有数据中发现未知模式	构建一个能够基于新数据进行预测的模型
人类参与	分析员对调查结果进行解读并采取行动。	该算法会自动应用该规则。
数据量	基于已定义的历史数据集进行操作	随着更多数据的提供，情况会逐渐改善
典型输出	一个人可以阅读的规则、集群或关联	训练好的模型，返回分数或类别
关系	数据挖掘通常使用机器学习算法作为其引擎。

简而言之，机器学习是数据挖掘所使用的工具集之一，而简单的数据挖掘仅靠统计学即可完成。

数据挖掘工具

以下是 2 个热门 数据挖掘工具 广泛应用于工业

R 语言：

R语言 是一款用于统计计算和图形的开源工具。R 具有多种统计、经典统计测试、时间序列分析、分类和图形技术。它提供有效的数据处理和存储功能。

点击此处了解详情

Oracle 数据挖掘：

Oracle 数据挖掘俗称ODM，是以下模块之一： Oracle 高级分析数据库，现在作为以下部分提供： Oracle 机器学习。这种数据挖掘工具使数据分析师能够生成详细的洞察并进行预测。它有助于预测客户行为、构建客户画像并识别交叉销售机会。

点击此处了解详情

数据挖掘的好处

• 数据挖掘技术帮助企业获取基于知识的信息。
• 数据挖掘帮助组织在运营和生产中做出有利可图的调整。
• 与其他统计数据应用相比，数据挖掘是一种经济高效的解决方案。
• 数据挖掘有助于决策过程。
• 促进趋势和行为的自动预测以及隐藏模式的自动发现。
• 它可以在新系统和现有平台中实现
• 这是一个快速的过程，使用户能够在更短的时间内轻松分析大量数据。

数据挖掘的缺点

• 公司有可能将客户的有用信息出售给其他组织，这会引发严重的隐私问题。
• 许多数据挖掘分析软件操作困难，需要提前培训才能使用。
• 由于设计时采用的算法不同，不同的数据挖掘工具的工作方式也不同。因此，选择正确的数据挖掘工具是一项非常困难的任务。
• 数据挖掘技术并不准确，因此在某些情况下会导致严重后果。

数据挖掘应用

应用	用法
传播学	数据挖掘技术被应用于通信领域，用于预测客户行为，从而提供高度有针对性和相关性的营销活动。
保险	数据挖掘帮助保险公司确定其产品的盈利价格，并向新老客户推广新的优惠。
教育服务提供商	数据挖掘有助于教育工作者获取学生数据、预测成绩水平并找到需要额外关注的学生或学生群体。例如，数学较弱的学生。
制造业生产环境	借助数据挖掘技术，制造商可以预测生产设备的磨损情况，提前规划维护，从而最大限度地减少停机时间。
银行业	数据挖掘帮助金融部门了解市场风险并管理监管合规性。它帮助银行识别可能的违约者，以决定是否发放信用卡、贷款等。
零售	数据挖掘技术帮助零售商场和超市识别并摆放最畅销的商品，使其位于最显眼的位置。它还能帮助店主制定促销方案，鼓励顾客增加消费。
服务供应商	移动电话和公用事业等服务提供商使用数据挖掘来预测客户离开公司的原因。他们分析账单明细、客户服务互动、对公司的投诉，为每个客户分配一个概率分数并提供奖励。
电子商务管理	电子商务网站使用数据挖掘通过其网站提供交叉销售和追加销售。其中最著名的例子是 Amazon他们使用数据挖掘技术来吸引更多的客户进入他们的电子商务商店。
超级市场	数据挖掘技术使超市能够制定规则来预测顾客是否可能怀孕。通过分析顾客的购买模式，超市可以找到最有可能怀孕的女性顾客，并有针对性地向她们推销婴儿爽身粉、婴儿香皂、尿布等产品。
犯罪调查	数据挖掘帮助犯罪调查机构部署警力（犯罪最有可能发生在哪里以及什么时候发生？）、在边境口岸搜查谁等等。
生物信息学	数据挖掘有助于从生物学和医学领域收集的海量数据集中挖掘生物数据。

常见问题