O que é um Data Warehouse? Tipos
David Carter
⚡ Resumo Inteligente
Um Data Warehouse define um repositório centralizado que consolida informações de diversas fontes para análise, geração de relatórios e suporte à decisão. Este tutorial explica a história, o modelo de funcionamento, os tipos, as etapas, os componentes, os passos de implementação, as vantagens, as desvantagens e as principais ferramentas que fazem do Data Warehouse a base da Inteligência de Negócios moderna.
O que é Data Warehousing?
Armazenamento de dados (DW) É o processo de coletar e gerenciar dados de diversas fontes para fornecer insights de negócios relevantes. Um Data Warehouse é normalmente usado para conectar e analisar dados de negócios de fontes heterogêneas, sendo o núcleo de qualquer sistema de Business Intelligence (BI) desenvolvido para análise e geração de relatórios de dados.
O Data Warehouse é uma combinação de tecnologias e componentes que suporta o uso estratégico de dados. Trata-se do armazenamento eletrônico de grandes quantidades de informações empresariais, projetado para consulta e análise, em vez de processamento de transações. O Data Warehouse transforma dados brutos em informações utilizáveis e as entrega aos usuários a tempo de tomarem decisões importantes.
Um banco de dados de apoio à decisão (o Data Warehouse) é mantido separadamente do banco de dados operacional de uma organização. O Data Warehouse não é um produto, mas sim um ambiente — uma construção arquitetônica de um sistema de informação que fornece aos usuários informações de apoio à decisão, tanto atuais quanto históricas, que são de difícil acesso ou apresentação em um repositório de dados operacional tradicional.
Você provavelmente sabe que um banco de dados projetado em 3FN para um sistema de estoque normalmente possui muitas tabelas inter-relacionadas. Por exemplo, um relatório sobre o estoque atual pode exigir mais de 12 condições de junção, o que torna as consultas e os relatórios mais lentos. Um Data Warehouse oferece um design desnormalizado que reduz o tempo de resposta e melhora o desempenho para geração de relatórios e análises.
O sistema Data Warehouse também é conhecido pelos seguintes nomes:
- Sistema de Apoio à Decisão (DSS)
- Sistema de Informação Executiva
- Sistema de Informação Gerencial
- Solução de inteligência de negócios
- Aplicação Analítica
- Armazém de dados
História do Data Warehouse
O Data Warehouse ajuda os usuários a entender e melhorar o desempenho de suas organizações. A necessidade de armazenar dados surgiu à medida que os sistemas de computador se tornaram mais complexos e processaram volumes de informação cada vez maiores. Data Warehousing não é um conceito novo — tem uma longa história evolutiva.
A seguir, alguns dos principais eventos na evolução do Data Warehouse:
- 1960 — Dartmouth e General Mills, em um projeto de pesquisa conjunto, desenvolvem os termos “dimensões” e “fatos”.
- 1970 — AC Nielsen e IRI apresentam data marts dimensionais para vendas no varejo.
- 1983 — A Teradata Corporation apresenta um sistema de gerenciamento de banco de dados projetado especificamente para suporte à tomada de decisões.
- 1980s atrasados - IBM Os pesquisadores Paul Murphy e Barry Devlin desenvolvem o conceito de Business Data Warehouse.
- A visão moderna de Data Warehouse é atribuída a Bill Inmon, frequentemente chamado de “pai do Data Warehouse”. Ele escreveu obras fundamentais sobre a construção, utilização e manutenção do data warehouse e da Fábrica de Informação Corporativa.
Como funciona um Data Warehouse?
Um Data Warehouse funciona como um repositório central onde as informações chegam de uma ou mais fontes de dados. Os dados fluem para o data warehouse a partir de sistemas transacionais e outros bancos de dados relacionais.
Os dados recebidos podem ser:
- Estruturado
- Semi-estruturado
- Não estruturado
Os dados são processados, transformados e inseridos para que os usuários possam acessar o conjunto de dados selecionado por meio de ferramentas de Business Intelligence, clientes SQL e planilhas. Um Data Warehouse consolida informações de diferentes fontes em um banco de dados abrangente.
Ao consolidar todas essas informações em um só lugar, uma organização pode analisar seus clientes de forma holística e confirmar que considerou todos os dados disponíveis. O Data Warehousing torna o Data Mining possível — o Data Mining busca padrões nos dados que levam a maiores vendas, custos mais baixos e melhores previsões.
Tipos de data warehouse
Os três principais tipos de Data Warehouses (DWH) são:
1. Armazém de dados corporativos (EDW):
Um Data Warehouse Corporativo é um repositório centralizado que fornece serviços de apoio à decisão para toda a organização. Ele oferece uma abordagem unificada para organizar e representar dados, permitindo classificá-los por assunto e conceder acesso de acordo com essas divisões.
2. OperaRepositório de Dados Nacional (ODS):
An OperaUm Data Store Organizacional (ODS) é um repositório de dados utilizado quando nem um Data Warehouse nem sistemas OLTP conseguem atender às necessidades de geração de relatórios da organização. Em um ODS, os dados são atualizados em tempo real, o que o torna ideal para atividades rotineiras, como o armazenamento de registros de funcionários.
3. Datamart:
A Datamart Um Data Mart é um subconjunto do Data Warehouse projetado para uma linha de negócios específica, como vendas, finanças ou marketing. Em um Data Mart independente, os dados podem ser coletados diretamente dos sistemas de origem.
Etapas gerais de um data warehouse
Inicialmente, as organizações adotaram usos relativamente simples de Data Warehousing. Com o tempo, padrões mais sofisticados surgiram. A seguir, são apresentadas as etapas gerais de utilização de um Data Warehouse (DWH):
Desconectado OperaBanco de dados nacional:
Os dados são copiados de um sistema operacional para outro servidor. O carregamento, o processamento e a geração de relatórios com base na cópia não afetam o desempenho do sistema operacional.
Armazém de dados off-line:
Os dados no Data Warehouse são atualizados regularmente a partir do banco de dados operacional. Os dados são mapeados e transformados para atender aos objetivos do Data Warehouse.
Data Warehouse em Tempo Real:
Os Data Warehouses são atualizados sempre que ocorre uma transação no banco de dados operacional. Os sistemas de reservas de companhias aéreas e ferroviárias são exemplos clássicos.
Armazém de dados integrado:
Os Data Warehouses são atualizados continuamente quando os sistemas operacionais realizam transações. O Data Warehouse, então, gera transações que são repassadas ao sistema operacional.
Componentes de um Data Warehouse
Os quatro componentes de um Data Warehouse são:
Gerenciador de Carga: Também chamado de componente frontal, o Gerenciador de Carga lida com todas as operações associadas ao carregamento.tracProcessamento e carregamento de dados no data warehouse. Essas operações incluem as transformações que preparam os dados para entrada no data warehouse.
Gerente de armazém: O Gerente de Armazém executa operações relacionadas ao gerenciamento de dados dentro do armazém. Ele analisa os dados para garantir a consistência, cria índices e visualizações, gera desnormalizações e agregações, transforma e mescla dados de origem e arquiva ou faz backup dos dados.
Gerenciador de consultas: Também conhecido como componente de backend, o Gerenciador de Consultas lida com operações relacionadas às consultas do usuário. Ele encaminha as consultas para as tabelas apropriadas e agenda sua execução.
Ferramentas de acesso para o usuário final:
Essas ferramentas se dividem em cinco grupos: 1) Relatórios de Dados, 2) Ferramentas de Consulta, 3) Ferramentas de Desenvolvimento de Aplicativos, 4) Ferramentas EIS e 5) Ferramentas OLAP. Ferramentas de Mineração de Dados.
Quem precisa de um Data Warehouse?
Um Data Warehouse (DWH) é necessário para todos os tipos de usuários, incluindo:
- Tomadores de decisão que dependem de grandes volumes de dados.
- Usuários que executam processos personalizados e complexos para combinar informações de múltiplas fontes.
- Pessoas que desejam tecnologia simples e descomplicada para acessar dados.
- Equipes que desejam uma abordagem sistemática e repetível para a tomada de decisões.
- Usuários que precisam de alto desempenho em grandes conjuntos de dados para relatórios, painéis, tabelas ou gráficos.
- Analistas que buscam descobrir padrões ocultos em fluxos de dados e agrupamentospings.
Para que serve um data warehouse?
Abaixo estão os setores mais comuns onde os Data Warehouses são utilizados:
CIA aérea:
Na indústria da aviação comercial, os Data Warehouses dão suporte à alocação de tripulantes, à análise da rentabilidade de rotas, às promoções de programas de fidelidade e a decisões operacionais semelhantes.
Banca:
Os Data Warehouses são amplamente utilizados no setor bancário para gerenciar recursos operacionais de forma eficaz. Diversos bancos também os utilizam para pesquisa de mercado, análise de desempenho de produtos e planejamento de operações.
Saúde:
O setor de saúde utiliza Data Warehouses para elaborar estratégias e prever resultados, gerar relatórios de tratamento de pacientes e compartilhar dados com parceiros de seguros e serviços de assistência médica.
Setor público:
No setor público, os Data Warehouses apoiam a coleta de informações e ajudam as agências governamentais a manter e analisar registros fiscais e de políticas de saúde de cada indivíduo.
Investimento e Seguros:
Neste setor, os armazéns são utilizados para analisar padrões de dados, tendências de clientes e movimentos de mercado.
Redes de varejo:
As redes varejistas utilizam Data Warehouses para distribuição e marketing, para tracIdentificar os itens e os padrões de compra dos clientes, planejar promoções e determinar a política de preços.
Telecomunicações:
As empresas de telecomunicações utilizam Data Warehouses para promoções de produtos, decisões de vendas e decisões de distribuição.
Indústria da hospitalidade:
O setor de hotelaria utiliza Data Warehouses para projetar e estimar campanhas de publicidade e promoção direcionadas a clientes com base em feedback e padrões de viagem.
Etapas para implementar um Data Warehouse
A melhor maneira de gerenciar o risco empresarial associado à implementação de um Data Warehouse é seguir uma estratégia de três frentes:
- Estratégia Empresarial: Identificar a arquitetura técnica e as ferramentas atuais, além dos fatos, dimensões e atributos que o data warehouse deve suportar. Mapeamento de dados.ping e a transformação fazem parte desta etapa.
- Entrega faseada: Implemente o Data Warehouse em fases, com base em áreas temáticas. Entidades de negócio relacionadas, como reservas e faturamento, devem ser implementadas primeiro e, em seguida, integradas.
- Prototy Iterativoping: Em vez de uma implementação radical, o Data Warehouse deve ser desenvolvido, testado e aprimorado de forma iterativa.
Aqui estão os principais passos na implementação de um Data Warehouse, juntamente com seus respectivos resultados:
| Passo | tarefas | Entregas |
|---|---|---|
| 1 | Definir o escopo do projeto | Definição de escopo |
| 2 | Determinar as necessidades do negócio | Modelo Lógico de Dados |
| 3 | Definir OperaRequisitos do Data Store Nacional | OperaModelo de armazenamento de dados nacional |
| 4 | Adquirir ou desenvolver extracferramentas de ção | ExtracFerramentas e Software |
| 5 | Definir os requisitos de dados do Data Warehouse | Modelo de dados de transição |
| 6 | Documentar dados faltantes | Lista de Projetos a Fazer |
| 7 | Mapa OperaData Store nacional para Data Warehouse | Mapa de integração de dados DW |
| 8 | Desenvolver o projeto do banco de dados do Data Warehouse | Projeto de banco de dados DW |
| 9 | Extracdados t de Operaarmazenamento de dados nacional | Dados DW integrados Extracts |
| 10 | Carregar o Data Warehouse | Carregamento inicial de dados |
| 11 | Manutenção do Data Warehouse | Acesso contínuo aos dados e carregamentos subsequentes |
Melhores práticas para implementar um Data Warehouse
- Defina um plano para testar a consistência, a precisão e a integridade dos dados.
- O Data Warehouse deve ser bem integrado, bem definido e ter registro de data e hora.
- Ao projetar um Data Warehouse, utilize a ferramenta correta, siga o ciclo de vida, resolva conflitos de dados precocemente e aprenda com os erros.
- Nunca substitua os sistemas operacionais e os relatórios operacionais pelo armazém.
- Não gaste tempo excessivo com extracProcessamento, limpeza e carregamento de dados — automatize sempre que possível.
- Envolva todas as partes interessadas, incluindo as equipes de negócios, na implementação do Data Warehouse. Trate o data warehouse como um projeto conjunto para que ele continue sendo útil para os usuários finais.
- Prepare um plano de treinamento para os usuários finais.
Vantagens e desvantagens de um Data Warehouse
Vantagens de um Data Warehouse (DWH):
- Usuários corporativos podem acessar rapidamente dados críticos de diversas fontes em um único local.
- Fornece informações consistentes em atividades multifuncionais e oferece suporte a relatórios e consultas ad hoc.
- Integra múltiplas fontes de dados, o que reduz a carga nos sistemas de produção.
- Reduz o tempo total de resposta para análises e relatórios.
- A reestruturação e a integração facilitam a geração de relatórios e a análise para o usuário final.
- Economiza tempo do usuário, eliminando a necessidade de buscar dados em múltiplas fontes.
- Armazena grandes volumes de dados históricos, o que possibilita a análise de tendências e previsões futuras.
Desvantagens de um Data Warehouse:
- Não é uma opção ideal para dados não estruturados.
- A criação e a implementação consomem muito tempo.
- Os Data Warehouses podem ficar obsoletos relativamente rápido sem manutenção ativa.
- Alterar tipos de dados, intervalos, esquemas de origem, índices ou consultas é difícil.
- O Data Warehouse pode parecer simples à primeira vista, mas é complexo para o usuário médio.
- Apesar dos melhores esforços, o escopo do projeto tende a se expandir durante a implementação.
- Por vezes, diferentes unidades de negócio desenvolvem regras de negócio conflitantes.
- As organizações devem alocar recursos significativos para treinamento e implementação.
O futuro do armazenamento de dados
- Restrições regulatórias Pode limitar a capacidade de combinar fontes de dados díspares, incluindo dados não estruturados que são mais difíceis de armazenar e controlar.
- à medida que o tamanho À medida que o número de bancos de dados cresce, o que é considerado um banco de dados muito grande continua a aumentar, e construir e operar data warehouses nessa escala torna-se cada vez mais complexo.
- Dados multimídia Não pode ser manipulado tão facilmente quanto texto. O software relacional lida bem com informações textuais, mas a mídia rica continua sendo uma área ativa de pesquisa.
Ferramentas de armazenamento de dados
Existem muitas ferramentas de Data Warehousing disponíveis no mercado. Aqui estão algumas das mais importantes:
1. MarkLogic:
MarkLogic É uma solução de Data Warehousing que simplifica e acelera a integração de dados com um conjunto abrangente de recursos corporativos. Ela realiza operações de busca complexas e pode consultar documentos, relacionamentos e metadados.
2. Oracle:
Oracle É o banco de dados líder do setor. Oferece uma ampla gama de soluções de Data Warehouse para implantações locais e em nuvem e ajuda a otimizar a experiência do cliente, melhorando a eficiência operacional.
3. Amazon Desvio para o vermelho:
Amazon Redshift é um serviço de Data Warehouse simples e econômico para análise de dados com padrões. SQL e ferramentas de BI existentes. Ele executa consultas complexas em petabytes de dados estruturados usando técnicas de otimização de consultas.
Aqui está uma lista completa de úteis Ferramentas de armazenamento de dados.
