O que é Big Data? Tipos, características e exemplos.

Antes de abordar a introdução ao Big Data, você precisa primeiro entender o que são dados.

O que são dados?

Dados são as quantidades, caracteres ou símbolos sobre os quais as operações são realizadas por um computador, que podem ser armazenados e transmittransmitido na forma de sinais elétricos e gravado em mídias de gravação magnéticas, ópticas ou mecânicas.

Agora, vejamos a definição de Big Data.

O que é Big Data?

Big Data Big Data é uma coleção de dados de enorme volume, que cresce exponencialmente com o tempo. São dados de tamanho e complexidade tão grandes que nenhuma das ferramentas tradicionais de gerenciamento de dados consegue armazená-los ou processá-los de forma eficiente. Big Data ainda são dados, mas de uma magnitude que ultrapassa os limites das ferramentas convencionais.

O diagrama abaixo compara essa definição com os dados comuns que uma organização já processa, de modo que o aumento de escala fica fácil de perceber.

O que é Big Data?

O que é um exemplo de Big Data?

A seguir estão alguns dos exemplos de Big Data-

Dados da Bolsa de Valores

O New York Stock Exchange é um exemplo de Big Data que gera cerca de um terabyte de novos dados comerciais por dia.

Mídia social

A estatística mostra que Mais de 500 terabytes de novos dados são ingeridos nos bancos de dados do site de mídia social Facebook, diariamente. Esses dados são gerados principalmente em termos de upload de fotos e vídeos, troca de mensagens, colocação de comentários, etc.

motores a jato

Uma única Motor a jato pode gerar Mais de 10 terabytes de dados em 30 minutos do tempo de voo. Com muitos milhares de voos por dia, a geração de dados chega a muitos Petabytes.

Esses três números representam instantâneos por fonte do período em que os exemplos foram publicados pela primeira vez, e só aumentaram desde então. Para se ter uma noção da escala atual, o mundo como um todo produz aproximadamente 402 milhões de terabytes de dados todos os dias, elevando o total anual de 2026 para track para mais de 200 zettabytes.

Tipos de Big Data

A seguir estão os tipos de Big Data:

1. Estruturado
2. Não estruturado
3. Semi-estruturado

Estruturado

Qualquer dado que possa ser armazenado, acessado e processado em um formato fixo é denominado dado 'estruturado'. Ao longo do tempo, a ciência da computação obteve grande sucesso no desenvolvimento de...ping Existem técnicas para trabalhar com esse tipo de dados, cujo formato é bem conhecido de antemão, e para extrair valor deles. No entanto, agora enfrentamos problemas quando o tamanho desses dados cresce enormemente, com tamanhos típicos atingindo vários zettabytes.

Você sabe? Um zettabyte é 10²¹ bytes, o que é um bilhão de terabytes.

Ao analisar esses números, é fácil entender por que se chama Big Data e imaginar os desafios envolvidos em seu armazenamento e processamento.

Você sabe? Os dados armazenados em um sistema de gerenciamento de banco de dados relacional são um exemplo de 'estruturada' dados.

Exemplos de dados estruturados

Uma tabela de 'Funcionários' em um banco de dados é um exemplo de dados estruturados. Cada linha possui as mesmas cinco colunas, e cada coluna tem um tipo conhecido, o que facilita a consulta dos dados.

Não estruturado

Qualquer dado com forma ou estrutura desconhecida é classificado como dado não estruturado. Além do tamanho enorme, os dados não estruturados apresentam múltiplos desafios em termos de processamento para extrair valor. Um exemplo típico de dados não estruturados é uma fonte de dados heterogênea contendo uma combinação de arquivos de texto simples, imagens, vídeos etc. Atualmente, as organizações têm uma grande quantidade de dados disponíveis, mas infelizmente não sabem como extrair valor deles, visto que esses dados estão em seu formato bruto ou não estruturado.

Exemplos de dados não estruturados

A saída retornada por 'Google A busca não é estruturada: a mesma consulta retorna páginas, imagens, trechos e links sem nenhum esquema comum por trás deles.

Exemplo de dados não estruturados

Semi-estruturado

Dados semiestruturados podem conter ambas as formas acima. Eles parecem estruturados, mas não são definidos por um esquema formal, como a definição de uma tabela em um banco de dados relacional. DBMSUm exemplo comum de dados semiestruturados são os dados representados em um arquivo XML. Documentos JSON e linhas de log com pares de chave-valor se enquadram na mesma categoria.

Exemplos de dados semiestruturados

Dados pessoais armazenados em um arquivo XML-

<rec><name>Prashant Rao</name><sex>Male</sex><age>35</age></rec>
<rec><name>Seema R.</name><sex>Female</sex><age>41</age></rec>
<rec><name>Satish Mane</name><sex>Male</sex><age>29</age></rec>
<rec><name>Subrato Roy</name><sex>Male</sex><age>26</age></rec>
<rec><name>Jeremiah J.</name><sex>Male</sex><age>35</age></rec>

Crescimento de dados ao longo dos anos

A tabela abaixo tracks como a combinação de dados estruturados e não estruturados mudou à medida que o volume total aumentou.

Crescimento de dados ao longo dos anos

Por favor, note que aplicação web Os dados não estruturados consistem em arquivos de log, arquivos de histórico de transações, etc. Os sistemas OLTP são projetados para trabalhar com dados estruturados, nos quais os dados são armazenados em relações (tabelas).

Características do Big Data

O conceito de Big Data pode ser descrito pelas seguintes características:

• Volume
• Variedade
• Velocidade
• Variabilidade

(i) Volume – O próprio nome Big Data está relacionado a um tamanho enorme. O tamanho dos dados desempenha um papel crucial na determinação do valor que pode ser extraído deles. Além disso, se um determinado conjunto de dados pode ou não ser considerado Big Data depende do seu volume. Portanto, 'Volume' é uma característica que precisa ser considerada ao lidar com soluções de Big Data.

(ii) Variedade – O próximo aspecto do Big Data é a sua variedade.

Variedade refere-se à heterogeneidade das fontes e à natureza dos dados, tanto estruturados quanto não estruturados. Antigamente, planilhas e bancos de dados eram as únicas fontes de dados consideradas pela maioria das aplicações. Atualmente, dados como e-mails, fotos, vídeos, dispositivos de monitoramento, PDFs, áudio, etc., também são considerados em aplicações de análise. Essa variedade de dados não estruturados apresenta certos desafios para o armazenamento, a mineração e a análise de dados.

(iii) Velocidade – O termo 'velocidade' Refere-se à velocidade de geração de dados. A rapidez com que os dados são gerados e processados ​​para atender à demanda determina o potencial real dos dados.

A velocidade do Big Data lida com a rapidez com que os dados fluem de fontes como processos de negócios, registros de aplicativos, redes, sites de mídia social, sensores, móvel dispositivos, etc. O fluxo de dados é massivo e contínuo.

(iv) Variabilidade – Refere-se à inconsistência que às vezes pode ser demonstrada pelos dados, dificultando assim o processo de manipulação e gestão eficaz dos dados.

Hoje em dia, mais duas características são comumente adicionadas a essa lista, resultando nos amplamente citados “cinco Vs”:

• Veracidade – o quão confiáveis ​​e precisos são os dados. Registros duplicados, desvios de sensores e campos ausentes reduzem a veracidade, e nenhum volume de dados compensa isso.
• Valor – o valor real dos dados após serem analisados. Dados que nunca se transformam em decisão apenas aumentam o custo de armazenamento.

Vantagens do processamento de Big Data

A capacidade de processar Big Data em um SGBD traz diversos benefícios, tais como:

As empresas podem usar informações externas ao tomar decisões.

Acesso a dados sociais de motores de busca Sites como o Facebook e o X (antigo Twitter) permitem que as organizações aprimorem suas estratégias de negócios.

Melhor atendimento ao cliente

Os sistemas tradicionais de feedback do cliente estão sendo substituídos por novos sistemas projetados com tecnologias de Big Data. Nesses novos sistemas, o Big Data e as tecnologias de processamento de linguagem natural são usados ​​para ler e avaliar as respostas dos consumidores.

Identificação precoce de riscos para produtos e serviços

A análise contínua de registros de transações, leituras de sensores e chamados de suporte revela defeitos, padrões de fraude e falhas de serviço enquanto ainda são pequenos, em vez de esperar por um relatório mensal para detectá-los.

Melhor OperaEficiência Nacional

As tecnologias de Big Data podem ser usadas para criar uma área de preparação ou zona de destino para novos dados antes de identificar o que deve ser movido para o destino. data warehouseAlém disso, essa integração de tecnologias de Big Data e data warehouse ajuda uma organização a descarregar dados acessados ​​com pouca frequência.

Perguntas Frequentes