ビッグデータとは？種類、特徴、事例

ビッグデータ入門に入る前に、まずデータそのものが何であるかを知っておく必要があります。

データとは何ですか？

データとは、コンピュータが演算を実行する対象となる数量、文字、または記号のことで、保存したり、 transmit電気信号の形で表現され、磁気記録媒体、光学記録媒体、または機械記録媒体に記録される。

それでは、ビッグデータの定義を見ていきましょう。

ビッグデータとは？

ビッグデータ ビッグデータとは、膨大な量でありながら、時間とともに指数関数的に増加するデータの集合体です。その規模と複雑さは、従来のデータ管理ツールでは効率的に保存したり処理したりすることができないほど巨大です。ビッグデータもデータであることに変わりはありませんが、その規模が通常のツールでは対応できないほど大きいのです。

下の図は、その定義を組織が既に扱っている通常のデータと比較したもので、規模の飛躍が容易に理解できるようになっています。

ビッグデータとは？

ビッグデータの例は何ですか?

以下にビッグデータの例をいくつか挙げます。

証券取引所データ

その ニューヨーク証券取引所 について生成するビッグデータの例です。 XNUMXテラバイト XNUMX 日あたりの新規取引データの数。

ソーシャルメディア

統計が示しているのは、 500+テラバイト の新しいデータがソーシャル メディア サイトのデータベースに取り込まれます Facebook、 毎日。 このデータは主に、写真やビデオのアップロード、メッセージ交換、コメントの入力などの観点から生成されます。

ジェットエンジン

シングル ジェットエンジン 生成できる 10+テラバイト のデータの 30 minutes 飛行時間のこと。 XNUMX 日に何千ものフライトが行われるため、データの生成は多くのユーザーに及びます。 ペタバイト。

これら3つの数値は、事例が最初に公開された時期のソースごとのスナップショットであり、それ以降増加し続けている。現在の規模感を把握するために、世界全体では現在およそ 毎日4億200万テラバイトのデータ2026年の年間合計は trackは200ゼタバイト以上を意味します。

ビッグデータの種類

ビッグデータの種類は次のとおりです。

1. 構造化されました
2. 非構造化
3. 半構造化

構造化されました

固定形式で保存、アクセス、処理できるデータはすべて「構造化データ」と呼ばれます。コンピュータサイエンスは、長年にわたり、構造化データの開発において大きな成功を収めてきました。ping こうしたデータ形式が事前に明確に分かっている場合、そのデータを扱い、そこから価値を引き出すための技術は確立されています。しかし、現在では、こうしたデータのサイズが膨大な量に膨れ上がり、典型的なサイズが数ゼタバイトに達するという問題に直面しています。

あなたは知っていますか？ 1ゼタバイトは 10²¹ バイトボタンの隣にある 10億テラバイト.

これらの数字を見れば、ビッグデータという名称が付けられた理由が容易に理解でき、その保存と処理に伴う課題を想像することができるだろう。

あなたは知っていますか？ リレーショナルデータベース管理システムに格納されているデータは、 「構造化された」 データ。

構造化データの例

データベース内の「従業員」テーブルは、構造化データの例です。すべての行には同じ5つの列があり、すべての列には既知の型が設定されています。まさにこのことが、データのクエリを容易にする要因となっています。

非構造化

形式や構造が不明なデータはすべて、非構造化データに分類されます。非構造化データは、そのサイズが膨大であることに加えて、処理して価値を引き出す際に多くの課題を抱えています。非構造化データの典型的な例は、単純なテキストファイル、画像、動画などが混在する異種データソースです。今日、組織は膨大な量のデータを利用できますが、残念ながら、これらのデータは未加工または非構造化形式であるため、そこからどのように価値を引き出すべきかが分かっていません。

非構造化データの例

' によって返される出力Google 「検索」は非構造化です。同じクエリでも、ページ、画像、スニペット、リンクなどが返されますが、それらには共通のスキーマはありません。

非構造化データの例

半構造化

半構造化データには、上記の両方の形式が含まれる可能性があります。構造化されているように見えますが、リレーショナルデータベースのテーブル定義のような正式なスキーマによって定義されていません。 DBMS半構造化データの一般的な例としては、XMLファイルで表現されたデータが挙げられます。JSONドキュメントや、キーと値のペアを含むログ行も同じカテゴリに分類されます。

半構造化データの例

XML ファイルに保存された個人データ -

<rec><name>Prashant Rao</name><sex>Male</sex><age>35</age></rec>
<rec><name>Seema R.</name><sex>Female</sex><age>41</age></rec>
<rec><name>Satish Mane</name><sex>Male</sex><age>29</age></rec>
<rec><name>Subrato Roy</name><sex>Male</sex><age>26</age></rec>
<rec><name>Jeremiah J.</name><sex>Male</sex><age>35</age></rec>

長年にわたるデータ増加

下の表 trac構造化データと非構造化データの割合が、総データ量の増加に伴ってどのように変化したかを調べます。

長年にわたるデータ増加

ということに注意してください ウェブアプリケーション 構造化されていないデータには、ログファイルやトランザクション履歴ファイルなどが含まれます。OLTPシステムは、データがリレーション（テーブル）に格納される構造化データを扱うように構築されています。

ビッグデータの特徴

ビッグデータは、以下の特徴によって説明できます。

• 出来高
• 多様
• 速度
• 変動性

(i) ボリューム – ビッグデータという名前自体が、巨大なサイズに関連しています。データのサイズは、そこから引き出せる価値を決定する上で非常に重要な役割を果たします。また、特定のデータセットが実際にビッグデータとみなせるかどうかは、その量に依存します。したがって、 '音量' これは、ビッグ データ ソリューションを扱う際に考慮する必要がある特性の XNUMX つです。

(ii) 多様性 – ビッグデータの次の側面は、 多様.

多様性とは、構造化データと非構造化データの両方を含む、データのソースと性質の多様性を指します。以前は、スプレッドシートとデータベースがほとんどのアプリケーションで考慮される唯一のデータソースでした。現在では、電子メール、写真、ビデオ、監視デバイス、PDF、音声などの形式のデータも分析アプリケーションで考慮されています。このような多様な非構造化データは、データの保存、マイニング、分析においていくつかの課題をもたらします。

(iii) 速度 – 用語 '速度' これはデータ生成速度を指します。需要を満たすためにデータがどれだけ速く生成され、処理されるかが、データの真の可能性を決定します。

ビッグデータ速度とは、ビジネスプロセス、アプリケーションログ、ネットワーク、ソーシャルメディアサイト、センサーなどのソースからデータが流れ込む速度を指します。 モバイル データの流れは大量かつ継続的です。

(iv) 変動性 – これは、データによって時々示される不一致を指し、その結果、データを効果的に処理および管理できるプロセスが妨げられます。

今日では、このリストにさらに2つの特徴が加えられ、広く引用される「5つのV」が構成されています。

• 真実 ―データの信頼性と正確性。重複した記録、センサーのドリフト、欠落したフィールドはすべてデータの正確性を低下させ、データ量がどれほど多くてもそれを補うことはできません。
• 値 ―分析後のデータの実際の価値。意思決定に結びつかないデータは、ストレージコストを増やすだけです。

ビッグデータ処理の利点

DBMSでビッグデータを処理できる能力は、次のような複数の利点をもたらします。

企業は意思決定を行う際に外部の情報を活用できる

からのソーシャルデータへのアクセス 検索エンジン また、FacebookやX（旧Twitter）のようなサイトは、組織がビジネス戦略を微調整することを可能にする。

改善されたカスタマーサービス

従来の顧客フィードバックシステムは、ビッグデータ技術を用いて設計された新しいシステムに置き換えられつつあります。これらの新しいシステムでは、ビッグデータと自然言語処理技術を用いて、消費者の反応を読み取り、評価します。

製品およびサービスのリスクの早期特定

取引記録、センサーの読み取り値、サポートチケットに対して継続的に分析を実行することで、欠陥、不正行為のパターン、サービス障害がまだ小さい段階で発見でき、月次レポートで明らかになるのを待つ必要がなくなります。

より良いです Opera全体的効率

ビッグデータ技術は、新しいデータのためのステージングエリアまたはランディングゾーンを作成し、次に何を移動すべきかを特定するために使用できます。 データウェアハウスさらに、ビッグデータ技術とデータウェアハウスのこのような統合は、組織がアクセス頻度の低いデータをオフロードするのに役立ちます。

よくあるご質問