ビッグデータとは何ですか? はじめに、種類、特徴、使用例

ビッグデータの概要に進む前に、まず知っておく必要があります

データとは何ですか？

コンピュータによって操作が実行される数量、文字、または記号。電気信号の形式で保存および送信され、磁気、光学、または機械の記録媒体に記録される場合があります。

さあ、ビッグデータの定義を学びましょう

ビッグデータとは？

ビッグデータ ビッグデータは、膨大な量でありながら、時間の経過とともに指数関数的に増加するデータの集合です。データのサイズと複雑さが非常に大きいため、従来のデータ管理ツールでは効率的に保存または処理することができません。ビッグデータもデータですが、サイズが非常に大きいものです。

ビッグデータの例は何ですか?

以下にビッグデータの例をいくつか挙げます。

XNUMXμmの波長を持つ ニューヨーク証券取引所 について生成するビッグデータの例です。 XNUMXテラバイト XNUMX 日あたりの新規取引データの数。

ソーシャルメディア

統計が示しているのは、 500+テラバイト の新しいデータがソーシャルメディアサイトのデータベースに取り込まれます Facebook、毎日。このデータは主に、写真やビデオのアップロード、メッセージ交換、コメントの入力などの観点から生成されます。

シングル ジェットエンジン 生成できる 10+テラバイト のデータの 30 minutes 飛行時間のこと。 XNUMX 日に何千ものフライトが行われるため、データの生成は多くのユーザーに及びます。 ペタバイト。

ビッグデータの種類

ビッグデータの種類は次のとおりです。

構造化されました
非構造化
半構造化

構造化されました

固定フォーマットの形式で保存、アクセス、処理できるデータはすべて「構造化」データと呼ばれます。時間の経過とともに、コンピューターサイエンスの才能ある人材は、この種のデータ (形式が事前にわかっている場合) を処理し、そこから価値を引き出す技術の開発で大きな成功を収めてきました。しかし、現在では、そのようなデータのサイズが大幅に増大し、典型的なサイズが数ゼタバイトに達すると、問題が発生することが予測されています。

あなたは知っていますか？ 10²¹ バイト に等しい 1ゼタバイト or 10億テラバイト フォーム ゼタバイト.

これらの図を見ると、ビッグデータという名前が付けられた理由が簡単に理解でき、その保存と処理に伴う課題が想像できます。

あなたは知っていますか？ リレーショナルデータベース管理システムに保存されているデータは、その一例です。 「構造化された」 データ。

構造化データの例

データベース内の「従業員」テーブルは構造化データの例です

従業員ID	従業員名	性別	部門	給与内給与
2365	ラジェシュ・クルカルニ	男性不妊治療	ファイナンス	650000
3398	プラティバジョシ	女性		650000
7465	シュシル・ロイ	男性不妊治療		500000
7500	シュボジットダス	男性不妊治療	ファイナンス	500000
7699	プリヤ・セイン	女性	ファイナンス	550000

非構造化

形式や構造が不明なデータは、非構造化データとして分類されます。非構造化データは、サイズが大きいだけでなく、価値を引き出すための処理に関してもさまざまな課題があります。非構造化データの典型的な例は、単純なテキストファイル、画像、ビデオなどの組み合わせを含む異種データソースです。今日の組織は豊富なデータを利用できますが、残念ながら、これらのデータは生の形式、つまり非構造化形式であるため、そこから価値を引き出す方法がわかりません。

非構造化データの例

「Google 検索」によって返された出力

半構造化

半構造化データには、両方の形式のデータを含めることができます。半構造化データは構造化された形式として見ることができますが、実際にはリレーショナルのテーブル定義などで定義されていません。 DBMS。半構造化データの例は、XML ファイルで表されるデータです。

半構造化データの例

XML ファイルに保存された個人データ -

<rec><name>Prashant Rao</name><sex>Male</sex><age>35</age></rec>
<rec><name>Seema R.</name><sex>Female</sex><age>41</age></rec>
<rec><name>Satish Mane</name><sex>Male</sex><age>29</age></rec>
<rec><name>Subrato Roy</name><sex>Male</sex><age>26</age></rec>
<rec><name>Jeremiah J.</name><sex>Male</sex><age>35</age></rec>

長年にわたるデータの増加

ということに注意してくださいウェブアプリケーションデータは非構造化であり、ログファイル、トランザクション履歴ファイルなどで構成されます。OLTP システムは、データがリレーション (テーブル) に格納される構造化データを処理するように構築されています。

ビッグデータの特徴

ビッグデータは次のような特徴で説明できます。

出来高
多様
速度
変動性

(i) ボリューム – ビッグデータという名前自体は、巨大なサイズに関連しています。データのサイズは、データの価値を決定する上で非常に重要な役割を果たします。また、特定のデータが実際にビッグデータとしてみなされるかどうかは、データの量に依存します。したがって、 '音量' これは、ビッグデータソリューションを扱う際に考慮する必要がある特性の XNUMX つです。

(ii) 多様性 – ビッグデータの次の側面は、多様.

多様性とは、構造化データと非構造化データの両方を含む、異種のソースとデータの性質を指します。以前は、スプレッドシートとデータベースが、ほとんどのアプリケーションで考慮される唯一のデータソースでした。今日では、電子メール、写真、ビデオ、監視デバイス、PDF、オーディオなどの形式のデータも分析アプリケーションで考慮されています。この非構造化データの多様性は、データの保存、マイニング、分析に特定の問題を引き起こします。

(iii) 速度 – 用語 '速度' データの生成速度を指します。需要を満たすためにデータがどれだけ速く生成および処理されるかによって、データの実際の可能性が決まります。

ビッグデータベロシティは、ビジネスプロセス、アプリケーションログ、ネットワーク、ソーシャルメディアサイト、センサー、モバイルデータの流れは大量かつ継続的です。

(iv) 変動性 – これは、データによって時々示される不一致を指し、その結果、データを効果的に処理および管理できるプロセスが妨げられます。

ビッグデータ処理の利点

DBMS でビッグデータを処理できることにより、次のような複数の利点がもたらされます。

企業は意思決定を行う際に外部インテリジェンスを活用できる

からのソーシャルデータへのアクセス検索エンジンまた、Facebook や Twitter などのサイトにより、組織はビジネス戦略を微調整することができます。

改善された顧客サービス

従来の顧客フィードバックシステムは、ビッグデータテクノロジを使用して設計された新しいシステムに置き換えられています。これらの新しいシステムでは、消費者の反応を読み取り、評価するためにビッグデータと自然言語処理テクノロジーが使用されています。

製品/サービスに対するリスクがある場合は、そのリスクを早期に特定する
業務効率の向上

ビッグデータテクノロジは、どのデータを新しいデータに移動するかを特定する前に、新しいデータのステージングエリアまたはランディングゾーンを作成するために使用できます。データウェアハウス。さらに、ビッグデータテクノロジーとデータウェアハウスのこのような統合は、組織がアクセス頻度の低いデータをオフロードするのに役立ちます。

製品概要

ビッグデータの定義: ビッグデータとは、サイズが非常に大きいデータを意味します。ビッグデータとは、サイズが非常に大きく、時間とともに指数関数的に増加するデータの集合を表すために使用される用語です。
ビッグデータ分析の例には、証券取引所、ソーシャルメディアサイト、ジェットエンジンなどが含まれます。
ビッグデータには、1) 構造化、2) 非構造化、3) 半構造化があります。
量、多様性、速度、変動性はビッグデータのいくつかの特徴です
顧客サービスの向上、業務効率の向上、意思決定の改善はビッグデータの利点の一部です。