データサイエンスとは何か？概要、 Concepts ＆ プロセス
エブリン・クラーク
⚡ スマートサマリー
データサイエンスの元trac統計、可視化、機械学習を用いて、大量の構造化データおよび非構造化データから洞察を引き出します。その6段階のプロセス、主要な職務、ツールスタック、および主なビジネスアプリケーションを以下に示します。
データサイエンスとは
データサイエンス は、例を含む研究分野です。tracさまざまな科学的手法、アルゴリズム、プロセスを使用して、膨大な量のデータから洞察を引き出します。生データに隠されたパターンを発見するのに役立ちます。データサイエンスという用語は、数学的統計学、データ分析、および ビッグデータ.
データサイエンスは、学際的な分野であり、tracデータサイエンスは、構造化データまたは非構造化データから知識を引き出す技術です。ビジネス上の問題を研究プロジェクトに変換し、さらにそれを実用的な解決策へと変換することを可能にします。
なぜデータサイエンスなのか？
データ分析テクノロジーを使用することの大きな利点は次のとおりです。
- データは現代社会における石油である。適切なツール、テクノロジー、アルゴリズムを用いることで、データを活用し、明確なビジネス上の優位性へと転換することができる。
- データサイエンスは、高度な機械学習アルゴリズムを使用して不正行為を検出するのに役立ちます
- 重大な金銭的損失を防ぐのに役立ちます
- 機械に知能を組み込むことを可能にする
- 感情分析を実行して、顧客のブランドロイヤルティを測定できます
- より適切かつ迅速な意思決定が可能になります
- 適切な製品を適切な顧客に推奨してビジネスを強化するのに役立ちます
以下のタイムラインは、この分野が統計学と分析学からどのように発展してきたかを示しています。
データサイエンスコンポーネント
下の図は、4つの構成要素をまとめたものです。
統計
統計はデータ サイエンスの基礎の最も重要な単元であり、有用な洞察を得るために大量の数値データを収集および分析する方法または科学です。
可視化
視覚化技術を使用すると、理解しやすいビジュアルで大量のデータにアクセスできます。
機械学習
機械学習 予期せぬデータや将来のデータについて予測することを学習するアルゴリズムの構築と研究を探求します。大きく分けて、 監督 (NAIST) と 監督されない
深層学習
深層学習 これは、階層型ニューラルネットワークが特徴量自体を学習する機械学習の手法であり、アルゴリズムが従うべき分析モデルを選択します。
データサイエンスプロセス
今これで データサイエンスのチュートリアルデータサイエンスのプロセスを学びます。以下の6つの段階は、示されている順序で実行されます。
1.発見
検出ステップには、特定されたすべての内部および外部ソースからデータを取得することが含まれており、これはビジネス上の質問に答えるのに役立ちます。
データは次のとおりです。
- Webサーバーからのログ
- ソーシャルメディアから収集されたデータ
- 国勢調査データセット
- API を使用してオンライン ソースからデータをストリーミング
2。 準備
データには、欠損値、空白列、不適切なデータ形式など、多くの不整合が含まれる可能性があり、これらはすべてクリーニングする必要があります。モデリングを行う前に、データの処理、探索、および条件付けを行う必要があります。データがクリーンであればあるほど、予測精度は向上します。
3. モデル計画
この段階では、入力変数間の関係を描画する方法と手法を決定する必要があります。 モデルの計画は、さまざまな統計式とデータを使用して実行されます。 視覚化ツールSQL分析サービス、R、SAS/ACCESSなどは、この目的で使用されるツールの例です。
4.モデル構築
このステップでは、実際のモデル構築プロセスが開始されます。ここで、データサイエンティストはデータセットをトレーニング用とテスト用のサブセットに分割します。トレーニング用データセットには、関連付け、分類、クラスタリングなどの手法が適用されます。準備が整ったモデルは、「テスト用」データセットに対してテストされます。
5. Opera合理化する
この段階では、最終的なベースラインモデルをレポート、コード、技術文書とともに納品します。モデルは徹底的なテストの後、実際の運用環境にデプロイされます。
6. 結果を伝える
この段階では、主要な調査結果がすべての関係者に伝えられます。 これは、モデルからの入力に基づいてプロジェクトの結果が成功か失敗かを判断するのに役立ちます。
データサイエンスの職種
データ サイエンティストの最も有名な役職は次のとおりです。
- データサイエンティスト
- Data Engineer
- データアナリスト
- 統計学者
- Rescale データ ArchiTECT
- データ管理者
- ビジネスアナリスト
- データ/分析マネージャー
それぞれの役割の詳細について学びましょう。
データサイエンティスト
役割： データ サイエンティストは、さまざまなツール、テクニック、方法論、アルゴリズムなどを使用して膨大な量のデータを管理し、魅力的なビジネス ビジョンを考案する専門家です。
言語: R、SAS、 PythonSQL、Hive、MATLAB、Pig、 Spark
Data Engineer
職種: の役割 データエンジニア 大量のデータを取り扱う業務に従事する。大規模処理システムやデータベースなどのアーキテクチャを開発、構築、テスト、保守する。
言語: SQL、Hive、R、SAS、MATLAB、 Python, Javaルビー、 C++、そしてPerl
データアナリスト
職種データアナリストは、膨大な量のデータを分析する責任を負います。彼らはデータの中に存在する関係性、パターン、傾向を探し出します。 Later 彼らは、データ分析に基づいて最も実現可能なビジネス上の意思決定を行うための、説得力のあるレポートと視覚化を提供します。
言語: R, PythonHTML、JS、C、 C++SQL
統計学者
職種: 統計学者は、統計理論と手法を使用して定性的および定量的データを収集、分析、理解します。
言語: SQL、R、MATLAB、Tableau、 Python、パール、 Spark、ハイブ
データ管理者
職種: データ管理者は、 データベース すべての関連ユーザーがアクセスできます。また、正しく動作し、安全であることを保証します。 ハッキング.
言語: Ruby on Rails、SQL、 Java、C#、および Python
ビジネスアナリスト
職種: この専門家はビジネス プロセスを改善する必要があります。 彼/彼女は、経営幹部チームと IT 部門の間の仲介者です。
言語: SQL、Tableau、Power BI、 Python
また、私たちを読んでください データサイエンス面接の質問と回答 面接前の練習として。
データサイエンス用のツール
ツールは以下に示すように4つのグループに分類されます。
| データ解析 | データウェアハウス | データ | 機械学習 |
|---|---|---|---|
| R, Spark, Python (NAIST) と SAS | Hadoopの、SQL、 ハイブ | R, タブロー、 生 | Spark, Azure MLスタジオ、マハウト |
データサイエンスとBI（ビジネスインテリジェンス）の違い
下の表は、両者の違いを示しています。
| 技術パラメータ | ビジネス·インテリジェンス | データサイエンス |
|---|---|---|
| 知覚 | 後ろ向き | 今後の展望 |
| データソース | 構造化データ（主にSQL、場合によってはデータウェアハウス） | 構造化データと非構造化データ。 ログ、SQL、NoSQL、テキストなど |
| アプローチ | 統計と視覚化 | 統計、機械学習、グラフ |
| 強調 | 過去と現在 | 分析と自然言語処理 |
| ツール | ペンタホ、 Microsoft BI、QlikView | R, TensorFlow |
また、以下の違いも読んでください。 データサイエンスと機械学習.
データサイエンスの応用
データサイエンスの応用例には以下のようなものがあります。
インターネット検索
Google 検索機能はデータサイエンス技術を活用し、ほんの一瞬で特定の検索結果を見つけ出します。
レコメンドシステム
推薦システムを作成する。例えば、Facebookの「おすすめの友達」や、 YouTube、すべてはデータサイエンスの助けを借りて行われます。
画像および音声認識
Siriのような音声認識システム、 Google GoogleアシスタントやAlexaは、データサイエンスの技術に基づいて動作しています。さらに、Facebookは、あなたが友人と一緒に写真をアップロードした際に、データサイエンスの助けを借りてその友人を認識します。
ゲームの世界
EA Sports、ソニー、任天堂はデータサイエンス技術を活用しています。 これにより、ゲーム体験が向上します。 現在、ゲームは機械学習技術を使用して開発されており、より高いレベルに移行するとゲーム自体が更新されます。
オンライン価格比較
PriceRunner、Junglee、Shopzilla はデータ サイエンス メカニズムに取り組んでいます。 ここでは、API を使用して関連する Web サイトからデータを取得します。
データサイエンステクノロジーの課題
- 正確な分析には多種多様な情報とデータが必要です
- 十分なデータサイエンス人材プールが存在しない
- 経営陣はデータサイエンスチームに財政的支援を提供しない
- データが入手できない、またはデータへのアクセスが困難
- ビジネス上の意思決定者はデータサイエンスの結果を効果的に活用していない
- データサイエンスを他人に説明するのは難しい
- プライバシーに関する問題
- 重要な分野の専門家が不足している
- 組織の規模が非常に小さい場合、データサイエンスチームを持つことはできません。
