O que é armazém de dados? Tipos, definição e exemplo

O que é Data Warehousing?

A Data warehousing (DW) é um processo de coleta e gerenciamento de dados de fontes variadas para fornecer insights de negócios significativos. Um data warehouse normalmente é usado para conectar e analisar dados de negócios de fontes heterogêneas.neonós fontes. O data warehouse é o núcleo do sistema de BI, construído para análise e relatórios de dados.

É uma mistura de tecnologias e componentes que auxilia no uso estratégico de dados. É o armazenamento eletrônico de uma grande quantidade de informações por uma empresa, projetado para consulta e análise em vez de processamento de transações. É um processo de transformar dados em informações e disponibilizá-los aos usuários em tempo hábil para fazer a diferença.

A base de dados de apoio à decisão (Data Warehouse) é mantida separada da base de dados operacional da organização. No entanto, o data warehouse não é um produto, mas um ambiente. É um archiconstrução estrutural de um sistema de informação que fornece aos usuários informações atuais e históricas de apoio à decisão que são difíceis de acessar ou presentes no armazenamento de dados operacionais tradicional.

Muitos de vocês sabem que um banco de dados projetado por 3NF para um sistema de inventário possui tabelas relacionadas entre si. Por exemplo, um relatório sobre informações de inventário atual pode incluir mais de 12 condições unidas. Isso pode diminuir rapidamente o tempo de resposta da consulta e do relatório. Um data warehouse fornece um novo design que pode ajudar a reduzir o tempo de resposta e a melhorar o desempenho de consultas para relatórios e análises.

O sistema de data warehouse também é conhecido pelo seguintewing nome:

  • Sistema de Apoio à Decisão (DSS)
  • Sistema de Informação Executiva
  • Sistema de Informação Gerencial
  • Solução de inteligência de negócios
  • Aplicação Analítica
  • Armazém de dados

Data warehousing

História do Datawarehouse

O Datawarehouse beneficia os usuários para compreender e aprimorar o desempenho de sua organização. A necessidade de armazenar dados evoluiu à medida que os sistemas de computador se tornaram mais comuns.plex e necessário para lidar com quantidades crescentes de informações. No entanto, Data Warehousing não é algo novo.

Aqui estão alguns eventos importantes na evolução do Data Warehouse-

  • 1960- Dartmouth e General Mills, em um projeto de pesquisa conjunto, desenvolvem os termos dimensões e fatos.
  • 1970- A Nielsen e a IRI introduzem data marts dimensionais para vendas no varejo.
  • 1983- A Tera Data Corporation apresenta um sistema de gerenciamento de banco de dados projetado especificamente para suporte à decisão
  • O armazenamento de dados começou no final da década de 1980, quando IBM os trabalhadores Paul Murphy e Barry Devlin desenvolveram o Business Data Warehouse.
  • No entanto, o verdadeiro conceito foi dado por Inmon Bill. Ele foi considerado o pai do data warehouse. Ele escreveu sobre uma variedade de tópicos para construção, uso e manutenção do armazém e da Fábrica de Informações Corporativas.

Como funciona o Datawarehouse?

Um Data Warehouse funciona como um repositório central onde as informações chegam de uma ou mais fontes de dados. Os dados fluem para um data warehouse a partir do sistema transacional e de outros bancos de dados relacionais.

Os dados podem ser:

  1. Estruturado
  2. Semi-estruturado
  3. Dados não estruturados

Os dados são processados, transformados e ingeridos para que os usuários possam acessar os dados processados ​​no Data Warehouse por meio de ferramentas de Business Intelligence, clientes SQL e planilhas. Um data warehouse mescla informações provenientes de diferentes fontes em um banco de dados abrangente.

Ao mesclar todas essas informações em um só lugar, uma organização pode analisar seus clientes de forma mais holística. Isto ajuda a garantir que todas as informações disponíveis foram consideradas. O armazenamento de dados torna possível a mineração de dados. A mineração de dados procura padrões nos dados que possam levar a maiores vendas e lucros.

Tipos de data warehouse

Três tipos principais de Data Warehouses (DWH) são:

1. Armazém de dados corporativos (EDW):

Enterprise Data Warehouse (EDW) é um armazém centralizado. Ele fornece serviço de suporte à decisão em toda a empresa. Ele oferece uma abordagem unificada para organizar e representar dados. Também permite classificar os dados de acordo com o assunto e dar acesso de acordo com essas divisões.

2. Armazenamento de dados operacionais:

O armazenamento de dados operacionais, também chamado de ODS, nada mais é do que armazenamento de dados necessário quando nem o data warehouse nem os sistemas OLTP oferecem suporte às necessidades de relatórios das organizações. No ODS, o data warehouse é atualizado em tempo real. Portanto, é amplamente preferido para atividades rotineiras, como armazenamento de registros dos Funcionários.

3. Datamart:

A data mart é um subconjunto do data warehouse. É especialmente projetado para uma determinada linha de negócios, como vendas, finanças, vendas ou finanças. Em um data mart independente, os dados podem ser coletados diretamente das fontes.

Etapas gerais do Data Warehouse

Anteriormente, as organizações iniciaram o uso relativamente simples de armazenamento de dados. No entanto, com o tempo, começou um uso mais sofisticado de armazenamento de dados.

O seguintewing são etapas gerais de uso do data warehouse (DWH):

Banco de dados operacional offline:

Nesta etapa, os dados são apenas copiados de um sistema operacional para outro servidor. Dessa forma, o carregamento, o processamento e o relatório dos dados copiados não afetam o desempenho do sistema operacional.

Armazém de dados off-line:

Os dados do Datawarehouse são atualizados regularmente a partir da Base de Dados Operacional. Os dados no Datawarehouse são mapeados e transformados para atender aos objetivos do Datawarehouse.

Armazém de dados em tempo real:

Nesta etapa, os data warehouses são atualizados sempre que ocorre alguma transação no banco de dados operacional. Por exemplo, sistema de reservas de companhias aéreas ou ferroviárias.

Armazém de dados integrado:

Nesta etapa, os Data Warehouses são atualizados continuamente quando o sistema operacional realiza uma transação. O Datawarehouse então gera transações que são repassadas ao sistema operacional.

Componentes do data warehouse

Quatro componentes de Data Warehouses são:

Gerenciador de carga: O gerenciador de carga também é chamado de componente frontal. Realiza todas as operações associadas à extração e carregamento de dados no warehouse. Essas operações incluem transformações para preparar os dados para entrada no Data Warehouse.

Gerente de armazém: O gerente do armazém executa operações associadas ao gerenciamento dos dados no armazém. Executa operações como análise de dados para garantir consistência, criação de índices e visualizações, geração de desnormalização e agregações, transformação e fusão de dados de origem e archidados de armazenamento e preparação.

Gerenciador de consultas: O gerenciador de consultas também é conhecido como componente de back-end. Realiza todas as operações operacionais relacionadas ao gerenciamento das consultas dos usuários. As operações destes componentes do Data Warehouse são consultas diretas às tabelas apropriadas para agendamento da execução das consultas.

Ferramentas de acesso do usuário final:

Isso é categorizado em cinco grupos diferentes, como 1. Relatórios de dados 2. Ferramentas de consulta 3. Ferramentas de desenvolvimento de aplicativos 4. Ferramentas EIS, 5. Ferramentas OLAP e ferramentas de mineração de dados.

Quem precisa de data warehouse?

DWH (Data Warehouse) é necessário para todos os tipos de usuários, como:

  • Tomadores de decisão que dependem de grandes quantidades de dados
  • Usuários que usam personalizado, complex processos para obter informações de múltiplas fontes de dados.
  • Também é usado por pessoas que desejam tecnologia simples para acessar os dados
  • Também é essencial para aquelas pessoas que desejam uma abordagem sistemática para a tomada de decisões.
  • Se o usuário deseja desempenho rápido em uma grande quantidade de dados, o que é necessário para relatórios, grades ou gráficos, o Data Warehouse é útil.
  • O data warehouse é o primeiro passo se você deseja descobrir 'padrões ocultos' de fluxos de dados e agrupamentos.

Para que serve um data warehouse?

Aqui estão os setores mais comuns onde o Data Warehouse é usado:

CIA aérea:

No sistema Airline, é utilizado para fins operacionais como atribuição de tripulação, análises de rentabilidade de rotas, programa de passageiro frequente promoções, etc.

Banca:

É amplamente utilizado no setor bancário para gerenciar de forma eficaz os recursos disponíveis na mesa. Poucos bancos também utilizam para pesquisa de mercado, análise de desempenho do produto e das operações.

Cuidados de saúde:

O setor de saúde também usou o data warehouse para traçar estratégias e prever resultados, gerar relatórios de tratamento de pacientes, compartilhar dados com companhias de seguros vinculadas, serviços de assistência médica, etc.

Setor público:

No setor público, o data warehouse é usado para coleta de inteligência. Ajuda as agências governamentais a manter e analisar registros fiscais e registros de políticas de saúde de cada indivíduo.

Setor de Investimentos e Seguros:

Neste setor, os armazéns são utilizados principalmente para analisar padrões de dados, tendências de clientes e acompanhar movimentos de mercado.

Corrente de retenção:

Nas redes de varejo, o Data Warehouse é amplamente utilizado para distribuição e marketing. Também ajuda a rastrear itens, padrão de compra do cliente, promoe também usado para determinar a política de preços.

Telecomunicação:

Um data warehouse é usado neste setor para promodecisões de vendas e para tomar decisões de distribuição.

Indústria da hospitalidade:

Esta indústria utiliza serviços de armazém para projetar e estimar sua publicidade e promocampanhas de promoção onde desejam atingir clientes com base em seus comentários e padrões de viagem.

Etapas para implementar o data warehouse

A melhor maneira de lidar com o risco de negócios associado à implementação de Datawarehouse é empregar uma estratégia de três frentes, conforme abaixo

  1. estratégia empresarial: Aqui identificamos informações técnicas, incluindo atuais archiarquitetura e ferramentas. Também identificamos fatos, dimensões e atributos. O mapeamento e a transformação de dados também são passados.
  2. Entrega faseada: A implementação do datawarehouse deve ser faseada com base nas áreas temáticas. Entidades comerciais relacionadas, como reservas e billdevem ser primeiro implementados e depois integrados entre si.
  3. Prototipagem Iterativa: Em vez de uma abordagem big bang para implementação, o Datawarehouse deve ser desenvolvido e testado iterativamente.

Aqui estão as principais etapas na implementação do Datawarehouse, juntamente com seus resultados.

Passo tarefas Entregas
1 Necessidade de definir o escopo do projeto Definição de escopo
2 Necessidade de determinar as necessidades do negócio Modelo Lógico de Dados
3 Definir requisitos do Datastore Operacional Modelo de armazenamento de dados operacionais
4 Adquirir ou desenvolver ferramentas de extração Extrair ferramentas e software
5 Definir requisitos de dados do data warehouse Modelo de dados de transição
6 Documentar dados faltantes Lista de tarefas pendentes
7 Mapeia o armazenamento de dados operacionais para o data warehouse Mapa de integração de dados D/W
8 Desenvolver design de banco de dados de data warehouse Projeto de banco de dados D/W
9 Extraia dados do armazenamento de dados operacionais Extrações de dados D/W integradas
10 Carregar armazém de dados Carregamento inicial de dados
11 Manter armazém de dados Acesso contínuo a dados e carregamentos subsequentes

Melhores práticas para implementar um Data Warehouse

  • Decida um plano para testar a consistência, precisão e integridade dos dados.
  • O data warehouse deve estar bem integrado, bem definido e com data marcada.
  • Ao projetar o Datawarehouse, certifique-se de usar a ferramenta certa, seguir o ciclo de vida, tomar cuidado com conflitos de dados e estar pronto para aprender que você cometeu seus erros.
  • Nunca substitua sistemas operacionais e relatórios
  • Não perca muito tempo extraindo, limpando e carregando dados.
  • Certifique-se de envolver todas as partes interessadas, incluindo o pessoal comercial, no processo de implementação do Datawarehouse. Estabeleça que o armazenamento de dados é um projeto conjunto/de equipe. Você não deseja criar um data warehouse que não seja útil para os usuários finais.
  • Prepare um plano de treinamento para os usuários finais.

Por que precisamos de data warehouse? Vantagens desvantagens

Vantagens do Data Warehouse (DWH):

  • O data warehouse permite que os usuários empresariais acessem rapidamente dados críticos de algumas fontes, tudo em um só lugar.
  • O data warehouse fornece informações consistentes sobre diversas atividades multifuncionais. Ele também oferece suporte a relatórios e consultas ad-hoc.
  • O Data Warehouse ajuda a integrar muitas fontes de dados para reduzir o estresse no sistema de produção.
  • O data warehouse ajuda a reduzir o tempo total de resposta para análises e relatórios.
  • A reestruturação e a integração facilitam o uso do usuário para relatórios e análises.
  • O data warehouse permite que os usuários acessem dados críticos de várias fontes em um único lugar. Portanto, ele economiza tempo do usuário na recuperação de dados de múltiplas fontes.
  • O data warehouse armazena uma grande quantidade de dados históricos. Isso ajuda os usuários a analisar diferentes períodos de tempo e tendências para fazer previsões futuras.

Desvantagens do data warehouse:

  • Não é uma opção ideal para dados não estruturados.
  • A criação e implementação de data warehouse certamente é um assunto confuso.
  • O data warehouse pode ficar desatualizado com relativa rapidez
  • É difícil fazer alterações em tipos e intervalos de dados, esquema de fonte de dados, índices e consultas.
  • O data warehouse pode parecer fácil, mas na verdade é muito comumplex para os usuários médios.
  • Apesar dos melhores esforços no gerenciamento de projetos, o escopo do projeto de data warehousing sempre aumentará.
  • Às vezes, os usuários do warehouse desenvolverão regras de negócios diferentes.
  • As organizações precisam gastar muitos de seus recursos para fins de treinamento e implementação.

O futuro do armazenamento de dados

  • Mudança na Restrições regulatórias pode limitar a capacidade de combinar fontes de dados díspares. Estas fontes díspares podem incluir dados não estruturados que são difíceis de armazenar.
  • à medida que o tamanho das bases de dados cresce, as estimativas do que constitui uma base de dados muito grande continuam a crescer. É com.plex para construir e executar sistemas de data warehouse que estão sempre aumentando de tamanho. Os recursos de hardware e software disponíveis hoje não permitem manter uma grande quantidade de dados online.
  • Dados multimídia não podem ser facilmente manipulados como dados de texto, enquanto as informações textuais podem ser recuperadas pelo software relacional disponível hoje. Este poderia ser um tema de pesquisa.

Ferramentas de armazenamento de dados

Existem muitas ferramentas de Data Warehousing disponíveis no mercado. Aqui estão alguns dos mais proeminentes:

1. MarkLogic:

MarkLogic é uma solução útil de armazenamento de dados que torna a integração de dados mais fácil e rápida usando uma variedade de recursos empresariais. Esta ferramenta ajuda a executar muito complex operações de pesquisa. Ele pode consultar diferentes tipos de dados, como documentos, relacionamentos e metadados.

https://www.marklogic.com/product/getting-started/

2. Oracle:

Oracle é o banco de dados líder do setor. Ele oferece uma ampla variedade de soluções de data warehouse tanto no local quanto na nuvem. Ajuda a otimizar as experiências do cliente, aumentando a eficiência operacional.

https://www.oracle.com/index.html

3. Amazon RedShift:

Amazon Redshift é uma ferramenta de data warehouse. É uma ferramenta simples e econômica para analisar todos os tipos de dados usando padrões SQL e ferramentas de BI existentes. Também permite executar complex consultas em petabytes de dados estruturados, usando a técnica de otimização de consultas.

https://aws.amazon.com/redshift/?nc2=h_m1

Aqui está uma lista completa de úteis Ferramentas de datawarehouse.

APRENDIZAGEM CHAVE

  • Data Warehouse (DWH), também é conhecido como Enterprise Data Warehouse (EDW).
  • Um Data Warehouse é definido como um repositório central onde as informações vêm de uma ou mais fontes de dados.
  • Três tipos principais de data warehouse são Enterprise Data Warehouse (EDW), Operational Data Store e Data Mart.
  • O estado geral de um datawarehouse é banco de dados operacional offline, data warehouse offline, data warehouse em tempo real e data warehouse integrado.
  • Quatro componentes principais do Datawarehouse são Gerenciador de carga, Gerenciador de armazém, Gerenciador de consultas e ferramentas de acesso do usuário final
  • Datawarehouse é usado em diversos setores, como companhias aéreas, bancos, saúde, seguros, varejo, etc.
  • Implementar Datawarehosue é uma estratégia de três vertentes viz. Estratégia empresarial, entrega em fases e prototipagem iterativa.
  • O data warehouse permite que os usuários empresariais acessem rapidamente dados críticos de algumas fontes, tudo em um só lugar.