什么是数据科学？简介 Concepts ＆ 过程
伊芙琳·克拉克
什么是数据科学？
数据科学 是涉及……的研究领域trac数据科学利用各种科学方法、算法和流程，从海量数据中挖掘洞见。它帮助你发现原始数据中隐藏的模式。“数据科学”一词的出现，源于数理统计、数据分析和……的发展。 大数据.
数据科学是一个跨学科领域，它允许你……trac数据科学能够从结构化或非结构化数据中提取知识。它使你能够将业务问题转化为研究项目，然后再将其转化为切实可行的解决方案。
为什么选择数据科学？
以下是使用数据分析技术的显着优势：
- 数据是当今世界的石油。借助合适的工具、技术和算法，我们可以利用数据并将其转化为显著的商业优势。
- 数据科学可以帮助您使用先进的机器学习算法检测欺诈
- 它可以帮助您防止任何重大的金钱损失
- 它允许你将智能融入机器中。
- 您可以执行情感分析来衡量客户的品牌忠诚度
- 它使您能够做出更好更快的决策
- 它可以帮助您向合适的客户推荐合适的产品，以增强您的业务
下面的时间线展示了这门学科是如何从统计学和分析学中发展起来的。
数据科学组件
下图概括了四个基本组成部分。
统计数据
统计学是数据科学基础知识中最关键的单元，它是大量收集和分析数值数据以获得有用见解的方法或科学。
可视化
可视化技术可帮助您以易于理解和消化的视觉方式访问大量数据。
机器学习
机器学习 探讨构建和研究能够学习预测不可预见或未来数据的算法。它大致分为以下几个部分： 监督 和 无监督 技术。
深度学习
深度学习 是一种机器学习方法，其中分层神经网络学习自身特征，因此算法会选择要遵循的分析模型。
数据科学过程
现在在这个 数据科学教程我们将学习数据科学流程。以下六个阶段按所示顺序进行：
1.发现
发现步骤涉及从所有已识别的内部和外部来源获取数据，这有助于您回答业务问题。
数据可以是：
- 来自网络服务器的日志
- 从社交媒体收集的数据
- 人口普查数据集
- 使用 API 从在线源流式传输数据
2。 制备
数据可能存在诸多不一致之处，例如缺失值、空白列和数据格式错误，所有这些都需要进行数据清洗。在建模之前，您需要对数据进行处理、探索和条件化。数据越干净，预测效果就越好。
3. 模型规划
在此阶段，您需要确定绘制输入变量之间关系的方法和技术。模型的规划是通过使用不同的统计公式和 可视化工具SQL 分析服务、R 和 SAS/ACCESS 是用于此目的的一些工具。
4. 模型构建
在此步骤中，实际的模型构建过程正式开始。数据科学家将数据集拆分为训练集和测试集。诸如关联分析、分类和聚类等技术应用于训练集。模型构建完成后，将使用测试集进行测试。
5. Opera使之具体化
在此阶段，您需要交付最终的基线模型，包括报告、代码和技术文档。经过全面测试后，该模型将被部署到实时生产环境中。
6. 传达结果
在此阶段，主要调查结果将传达给所有利益相关者。这可以帮助您根据模型的输入来确定项目结果是成功还是失败。
数据科学职位角色
最突出的数据科学家职位是：
- 数据科学家
- 数据工程师
- 数据分析师
- 统计员
- 时间 ArchiTECT
- 数据管理
- 商业分析师
- 数据/分析经理
让我们详细了解每个角色的含义：
数据科学家
定位： 数据科学家是一名专业人士，他们管理大量数据，通过使用各种工具、技术、方法、算法等来提出令人信服的业务愿景。
语言：R，SAS， PythonSQL、Hive、MATLAB、Pig Spark
数据工程师
职位: 的作用 数据工程师 他们负责处理大量数据。他们开发、构建、测试和维护各种架构，例如大规模处理系统和数据库。
语言SQL、Hive、R、SAS、MATLAB Python, Java, 红宝石, C++以及 Perl
数据分析师
职位数据分析师负责挖掘海量数据。他们会在数据中寻找关系、模式和趋势。 Later 他们将提供引人入胜的报告和可视化工具，用于分析数据，从而做出最可行的商业决策。
语言：R， PythonHTML、JS、C、 C++SQL
统计员
职位：统计学家使用统计理论和方法收集、分析和理解定性和定量数据。
语言SQL、R、MATLAB、Tableau Python, 珀尔, Spark和 Hive
数据管理员
职位：数据管理员应确保 数据库 所有相关用户均可访问。他们还确保其正常运行并保护其安全。 黑客.
语言：Ruby on Rails、SQL、 Java、C# 和 Python
商业分析师
职位：该专业人员需要改进业务流程。他/她是业务执行团队和 IT 部门之间的中间人。
语言SQL、Tableau、Power BI 和 Python
另外，请阅读我们的 数据科学面试题及答案 面试前练习。
数据科学工具
这些工具分为四组，如下所示。
| 数据分析 | 数据仓库 | 数据图 | 机器学习 |
|---|---|---|---|
| R, Spark, Python 和 SAS | Hadoop的, SQL, 蜂房 | R, 画面， 生的 | Spark, Azure ML Studio，Mahout |
数据科学与 BI（商业智能）之间的区别
下表显示了两者的区别。
| 参数 | 商业智能 | 数据科学 |
|---|---|---|
| 知觉 | 向后看 | 展望未来 |
| 数据源 | 结构化数据，主要使用 SQL，有时也使用数据仓库。 | 结构化和非结构化数据。 如日志、SQL、NoSQL 或文本 |
| 途径 | 统计与可视化 | 统计、机器学习和图表 |
| 重点 | 过去，现在 | 分析与自然语言处理 |
| 工具 | Pentaho， Microsoft BI、QlikView | R, TensorFlow |
另外，请阅读以下内容之间的区别 数据科学与机器学习.
数据科学的应用
数据科学的一些应用包括：
互联网搜索
Google 搜索功能利用数据科学技术，在极短时间内搜索到特定结果。
推荐系统
创建推荐系统。例如，Facebook 上的“好友推荐”或 YouTube 上的“视频推荐”。 YouTube，一切都是在数据科学的帮助下完成的。
图像和语音识别
语音识别系统，例如 Siri Google 语音助手和 Alexa 都运用了数据科学技术。此外，Facebook 也能在你上传与好友的合照时识别出他们，这同样得益于数据科学。
游戏世界
EA Sports、索尼、任天堂都在使用数据科学技术。这可以增强您的游戏体验。现在，游戏是使用机器学习技术开发的，当您升级到更高级别时，它们可以自行更新。
在线价格比较
PriceRunner、Junglee、Shopzilla 致力于数据科学机制。此处，使用 API 从相关网站获取数据。
数据科学技术的挑战
- 准确分析需要大量信息和数据
- 目前缺乏充足的数据科学人才。
- 管理层不为数据科学团队提供财务支持
- 数据不可用或难以获取
- 企业决策者未能有效利用数据科学成果
- 向他人解释数据科学很困难
- 隐私问题
- 缺乏重要的领域专家
- 如果一个组织规模很小，它就无法拥有数据科学团队。
