Что такое большие данные? Типы, характеристики и примеры.

Прежде чем перейти к введению в большие данные, необходимо сначала понять, что такое данные сами по себе.

Что такое данные?

Данные — это количества, символы или знаки, над которыми компьютер выполняет операции, и которые могут храниться и использоваться для различных целей. transmitЗаписываются в виде электрических сигналов на магнитные, оптические или механические носители информации.

Теперь давайте рассмотрим определение больших данных.

Что такое большие данные?

Big Data Большие данные — это огромный объем данных, который, тем не менее, экспоненциально растет со временем. Это данные такого большого размера и сложности, что ни один из традиционных инструментов управления данными не может эффективно их хранить или обрабатывать. Большие данные — это все еще данные, но такого размера, что обычные инструменты не справляются с их обработкой.

На приведенной ниже диаграмме это определение сопоставляется с обычными данными, которые организация уже обрабатывает, поэтому скачок в масштабе легко заметить.

Что такое большие данные?

Что является примером больших данных?

Ниже приведены некоторые примеры больших данных.

Данные фондовой биржи

Нью-Йоркская фондовая биржа является примером больших данных, которые генерируют около один терабайт новых торговых данных в день.

Соцсети

Статистика показывает, что 500+терабайт новых данных попадает в базы данных социальных сетей Facebook, каждый день. Эти данные в основном генерируются посредством загрузки фотографий и видео, обмена сообщениями, размещения комментариев и т. д.

Реактивные двигатели

Один Реактивный двигатель может генерировать 10+терабайт данных в 30 минут времени полета. При многих тысячах рейсов в день объем данных достигает многих Петабайты.

Эти три цифры представляют собой снимки данных по каждому источнику за период, когда примеры были впервые опубликованы, и с тех пор они только увеличились. Для понимания современного масштаба, мир в целом сейчас составляет примерно Ежедневно обрабатывается 402 миллиона терабайт данных., что позволит установить годовой итог на уровне 2026 года. track на сумму более 200 зеттабайт.

Типы больших данных

Ниже приведены типы больших данных:

1. Структурированный
2. Неструктурированные
3. Полуструктурированный

Структурированный

Любые данные, которые могут храниться, быть доступны и обрабатываться в фиксированном формате, называются «структурированными» данными. Со временем компьютерная наука достигла больших успехов в разработке...ping Существуют методы работы с данными такого рода, где формат заранее известен, и извлечения из них пользы. Однако сейчас мы сталкиваемся с проблемами, когда размер таких данных значительно возрастает, достигая типичных размеров в несколько зеттабайт.

Знаете ли вы? Один зеттабайт — это 10²¹ байт, Которая является один миллиард терабайт.

Глядя на эти цифры, легко понять, почему им дали название «Большие данные», и представить себе сложности, связанные с их хранением и обработкой.

Знаете ли вы? Данные, хранящиеся в реляционной системе управления базами данных, являются одним из примеров 'структурированный' поле.

Примеры структурированных данных

Таблица «Сотрудники» в базе данных — это пример структурированных данных. Каждая строка имеет одни и те же пять столбцов, и каждый столбец имеет известный тип, что как раз и упрощает запросы к этим данным.

Неструктурированные

Любые данные с неизвестной формой или структурой классифицируются как неструктурированные данные. Помимо огромного размера, неструктурированные данные создают множество проблем с точки зрения их обработки для извлечения из них ценности. Типичным примером неструктурированных данных является гетерогенный источник данных, содержащий комбинацию простых текстовых файлов, изображений, видео и т. д. Сегодня организации располагают огромным количеством данных, но, к сожалению, не знают, как извлечь из них пользу, поскольку эти данные находятся в необработанном или неструктурированном формате.

Примеры неструктурированных данных

Результат, возвращаемый функцией 'Google Поиск неструктурирован: один и тот же запрос возвращает страницы, изображения, фрагменты текста и ссылки, не имеющие общей схемы.

Пример неструктурированных данных

Полуструктурированный

Полуструктурированные данные могут содержать обе описанные выше формы. Они выглядят структурированными, но не определяются формальной схемой, такой как определение таблицы в реляционной базе данных. СУБДРаспространенным примером полуструктурированных данных являются данные, представленные в XML-файле. Документы JSON и строки логов с парами ключ-значение относятся к той же категории.

Примеры полуструктурированных данных

Персональные данные, хранящиеся в файле XML-

<rec><name>Prashant Rao</name><sex>Male</sex><age>35</age></rec>
<rec><name>Seema R.</name><sex>Female</sex><age>41</age></rec>
<rec><name>Satish Mane</name><sex>Male</sex><age>29</age></rec>
<rec><name>Subrato Roy</name><sex>Male</sex><age>26</age></rec>
<rec><name>Jeremiah J.</name><sex>Male</sex><age>35</age></rec>

Рост объёма данных за прошедшие годы

Диаграмма ниже tracКак изменилось соотношение структурированных и неструктурированных данных по мере роста их общего объема?

Рост данных с годами

Обратите внимание, что веб-приложение Неструктурированные данные включают в себя файлы журналов, файлы истории транзакций и т. д. Системы OLTP созданы для работы со структурированными данными, в которых данные хранятся в виде отношений (таблиц).

Характеристики больших данных

Большие данные можно описать следующими характеристиками:

• Объём
• разнообразие
• Скорость
• Вариативность

(i) Объем – Само название «Большие данные» связано с огромным размером. Размер данных играет решающую роль в определении ценности, которую можно извлечь из них. Кроме того, то, можно ли считать тот или иной набор данных «большими данными», зависит от его объема. Следовательно, 'Объем' — это одна из характеристик, которую необходимо учитывать при работе с решениями для больших данных.

(ii) Разнообразие – Следующий аспект больших данных – это их разнообразие.

Разнообразие подразумевает гетерогенность источников и характера данных, как структурированных, так и неструктурированных. Раньше большинство приложений рассматривали только электронные таблицы и базы данных в качестве источников данных. Сегодня в аналитических приложениях также учитываются данные в виде электронных писем, фотографий, видео, данных с устройств мониторинга, PDF-файлов, аудиофайлов и т. д. Такое разнообразие неструктурированных данных создает определенные проблемы для хранения, извлечения и анализа данных.

(iii) Скорость – Термин 'скорость' Это относится к скорости генерации данных. Скорость генерации и обработки данных для удовлетворения спроса определяет реальный потенциал этих данных.

Скорость обработки больших данных (Big Data velocity) определяется скоростью поступления данных из таких источников, как бизнес-процессы, журналы приложений, сети, социальные сети, датчики. мобильный устройства и т. д. Поток данных огромен и непрерывен.

(iv) Вариативность – Это относится к несогласованности, которая может время от времени проявляться в данных, что затрудняет процесс эффективной обработки и управления данными.

Сегодня к этому списку обычно добавляют еще две характеристики, в результате чего получается широко цитируемая «пять V»:

• правдивость – насколько достоверны и точны данные. Дублирующиеся записи, дрейф показаний датчиков и отсутствующие поля снижают достоверность, и никакой объем данных не компенсирует этого.
• Значение – Какова реальная ценность данных после анализа. Данные, которые никогда не используются для принятия решений, лишь увеличивают затраты на хранение.

Преимущества обработки больших данных

Возможность обработки больших данных в СУБД дает множество преимуществ, таких как:

Предприятия могут использовать информацию от сторонних источников при принятии решений.

Доступ к социальным данным из поисковые системы А такие сайты, как Facebook и X (ранее Twitter), позволяют организациям точно настраивать свои бизнес-стратегии.

Улучшенное обслуживание клиентов

Традиционные системы обратной связи с клиентами заменяются новыми системами, разработанными с использованием технологий больших данных. В этих новых системах большие данные и технологии обработки естественного языка используются для чтения и оценки отзывов потребителей.

Раннее выявление рисков для товаров и услуг

Непрерывный анализ записей транзакций, показаний датчиков и заявок в службу поддержки позволяет выявлять дефекты, схемы мошенничества и сбои в работе сервисов на ранней стадии, вместо того чтобы ждать ежемесячного отчета, который их выявит.

Лучшая Operaнациональная эффективность

Технологии больших данных могут использоваться для создания промежуточной зоны или зоны приема новых данных перед определением того, что следует переместить в эту зону. информационное хранилищеКроме того, такая интеграция технологий больших данных и хранилища данных помогает организации разгрузить данные, к которым обращаются нечасто.

Часто задаваемые вопросы (FAQ)