O que é Data Mart em Data Warehouse? Tipos e exemplo
David Carter
⚡ Resumo Inteligente
O design de um Data Mart fornece um subconjunto focado de informações do data warehouse para um departamento específico, abrangendo os três tipos de Data Mart, as cinco fases desde o design até o gerenciamento, e as melhores práticas que mantêm a entrega rápida, segura e econômica.
Um data mart traz o poder analítico de um data warehouse para uma única equipe. Ao focar em uma área temática específica, permite que um departamento analise seus próprios dados rapidamente, sem depender da carga de trabalho corporativa. As seções a seguir explicam o que é um data mart, por que as organizações o utilizam, os três tipos disponíveis e como implementá-lo e gerenciá-lo.
O que é DataMart?
Um data mart concentra-se em uma única área funcional de uma organização e contém um subconjunto dos dados armazenados em um data mart. Armazém de dadosÉ uma versão condensada de um data warehouse, projetada para uso por um departamento, unidade ou grupo de usuários específico — por exemplo, Marketing, Vendas, RH ou Finanças.
Por ter uma única função, um data mart geralmente é controlado por um único departamento dentro da organização. Esse foco mantém seu escopo restrito e sua responsabilidade bem definida.
Um data mart também extrai dados de apenas algumas fontes, diferentemente de um data warehouse, que integra muitas. Como resultado, os data marts são pequenos em tamanho e muito mais flexíveis do que um data warehouse completo.
Por que precisamos do Data Mart?
As organizações dependem de data marts por diversas razões práticas:
- Um data mart melhora o tempo de resposta dos usuários, reduzindo o volume de dados que eles consultam.
- Ele fornece acesso fácil aos dados solicitados com frequência.
- Um data mart é mais simples e barato de implementar do que um data warehouse corporativo.
- É ágil: quando o modelo muda, um data mart menor pode ser reconstruído rapidamente.
- Um data mart é definido por um único especialista no assunto, enquanto um data warehouse é definido por uma equipe interdisciplinar, portanto, um data mart é mais aberto a mudanças.
- Os dados são particionados, permitindo privilégios de controle de acesso muito granulares.
- Os dados podem ser segmentados e armazenados em diferentes plataformas de hardware ou software.
Resumindo, como um data mart lida com uma fatia de dados menor e bem definida, ele é mais rápido de construir, mais barato de operar e mais fácil de proteger do que um data warehouse corporativo.
No entanto, nem todos os data marts são construídos da mesma maneira. A fonte de dados da qual um data mart extrai informações determina com qual dos três tipos você está trabalhando.
Tipos de datamart
Existem três tipos principais de data mart, que se distinguem pela origem dos seus dados:
- Dependente: Os data marts dependentes extraem dados diretamente de fontes operacionais, fontes externas ou ambas.
- Independente: Um data mart independente é criado sem um data warehouse central.
- Híbrido: Um data mart híbrido pode receber dados de data warehouses ou de sistemas operacionais.
Data Mart Dependente
Um data mart dependente obtém os dados de uma organização de um único Data Warehouse, o que lhe confere a vantagem da centralização. Se você precisar construir um ou mais data marts físicos, você os configura como data marts dependentes.
Um data mart dependente pode ser construído de duas maneiras: uma em que os usuários acessam tanto o data mart quanto o data warehouse conforme a necessidade, e outra em que o acesso é limitado apenas ao data mart. A segunda abordagem não é ideal, pois pode gerar um "depósito de dados inúteis" — dados que se originam de uma fonte comum, mas são descartados e, em grande parte, não utilizados.
Datamart independente
Um data mart independente é criado sem um data warehouse central. Esse tipo de data mart é uma opção ideal para grupos menores dentro de uma organização.
Um data mart independente não tem relação com um data warehouse corporativo nem com qualquer outro data mart. Seus dados são carregados e analisados de forma independente. Essa abordagem contraria o principal objetivo da criação de um data warehouse: um repositório centralizado e consistente de dados corporativos que possa ser analisado por diversos usuários com diferentes interesses.
Data Mart Híbrido
Um data mart híbrido combina dados de fontes externas ao data warehouse. Isso é útil quando você precisa de integração ad-hoc — por exemplo, após a adição de um novo grupo ou produto à organização.
É ideal para ambientes com múltiplos bancos de dados e oferece implementação rápida com o mínimo esforço de limpeza de dados. Um data mart híbrido também suporta grandes estruturas de armazenamento e funciona bem para aplicações menores, centradas em dados.
Etapas na implementação de um datamart
Implementar um data mart é um processo gratificante, porém complexo. Ele se divide em cinco fases — projeto, construção, preenchimento, acesso e gerenciamento — cada uma descrita abaixo.
Desenho
O projeto é a primeira fase da implementação de um data mart. Abrange todas as tarefas, desde a solicitação inicial de um data mart até o levantamento de requisitos, e termina com o projeto lógico e físico do data mart.
A etapa de design envolve as seguintes tarefas:
- Reunir os requisitos comerciais e técnicos e identificar as fontes de dados.
- Selecionando o subconjunto apropriado de dados.
- Projetar a estrutura lógica e física do data mart.
Os dados podem ser particionados com base nos seguintes critérios:
- Data
- Unidade de negócios ou funcional
- Geografia
- Qualquer combinação das opções acima
Os dados podem ser particionados no nível da aplicação ou do SGBD (Sistema de Gerenciamento de Banco de Dados), embora o particionamento no nível da aplicação seja recomendado, pois permite um modelo de dados diferente a cada ano, conforme o ambiente de negócios muda. A maioria dos data marts é construída sobre um... modelo dimensional, como um esquema em estrela, para manter as consultas rápidas.
De que produtos e tecnologias você precisa?
Nesta etapa, bastará caneta e papel. Ferramentas que auxiliam na criação de diagramas UML ou de entidade-relacionamento também podem adicionar metadados aos seus projetos lógicos e físicos.
Construindo
A construção é a segunda fase da implementação. Ela envolve a criação do banco de dados físico e das estruturas lógicas.
Esta etapa envolve a seguinte tarefa:
- Implementar o banco de dados físico projetado na fase anterior — por exemplo, criar objetos de esquema como tabelas, índices e visualizações.
De que produtos e tecnologias você precisa?
Para construir um data mart, você precisa de um sistema de gerenciamento de banco de dados relacional (SGBDR). Um SGBDR oferece diversos recursos essenciais para o sucesso de um data mart:
- Gerenciamento de armazenamento: Um SGBD relacional armazena e gerencia dados, permitindo que você crie, adicione e exclua registros.
- Acesso rápido aos dados: Com uma consulta SQL, você pode facilmente recuperar dados com base em condições ou filtros específicos.
- Proteção de dados: O SGBD relacional pode se recuperar de falhas do sistema, como quedas de energia, e restaurar dados de backups caso um disco apresente falha.
- Suporte multiusuário: Oferece acesso simultâneo, permitindo que vários usuários leiam e modifiquem dados sem sobrescrever as alterações uns dos outros.
- Segurança: Ele regula quais usuários podem acessar quais objetos e quais operações eles podem realizar.
Povoando
Na terceira fase, os dados são inseridos no data mart.
A etapa de preenchimento envolve as seguintes tarefas:
- Mapaping Dados de origem para dados de destino.
- Extracanalisando os dados de origem.
- Limpando e transformando os dados.
- Carregando os dados no data mart.
- Criação e armazenamento de metadados.
De que produtos e tecnologias você precisa?
Você executa essas tarefas com um ETL (ExtracA ferramenta t, Transform, Load examina as fontes de dados e realiza o mapeamento da origem para o destino.ping, e então extracO sistema processa, transforma, limpa e carrega os dados no data mart.
Ao longo do processo, a ferramenta também cria metadados — detalhes como a origem dos dados, sua atualidade, as alterações realizadas e o nível de sumarização aplicado.
Acessando
O acesso é o quarto passo e coloca os dados em uso: consultar dados, criar relatórios e gráficos e publicá-los. Os usuários finais enviam consultas e visualizam os resultados, geralmente por meio de OLAP ferramentas.
A etapa de acesso envolve as seguintes tarefas:
- Configurar uma camada de metadados que traduza as estruturas do banco de dados e os nomes dos objetos em termos de negócios, para que usuários não técnicos possam acessar o data mart facilmente.
- Configurar e manter as estruturas do banco de dados.
- Configurar APIs e interfaces, se necessário.
De que produtos e tecnologias você precisa?
Você pode acessar o data mart usando a linha de comando ou uma interface gráfica (GUI). Geralmente, prefere-se a GUI por gerar gráficos com facilidade e por ser mais amigável ao usuário do que a linha de comando.
Gerenciando
O gerenciamento é a fase final do processo de implementação do data mart. Utilizando uma interface gráfica ou a linha de comando, as equipes lidam com tarefas contínuas de gerenciamento, tais como:
- Gerenciamento contínuo de acesso de usuários.
- Otimização e ajuste fino do sistema para melhor desempenho.
- Adicionar e gerenciar novos dados no data mart.
- Planejar cenários de recuperação para manter o sistema disponível em caso de falha.
- Recuperação de falhas de hardware e software, preservando os dados.
Melhores práticas para implementação de data marts
Siga estas boas práticas durante todo o processo de implementação do data mart:
- Estruture a origem de um data mart por departamento.
- Meça o ciclo de implementação em semanas, em vez de meses ou anos.
- Envolva todas as partes interessadas na fase de planejamento e projeto, pois a implementação de um data mart pode ser complexa.
- Elabore um orçamento preciso para os custos de hardware, software, rede e implementação do data mart.
- Mesmo quando um data mart compartilha hardware, pode ser necessário um software diferente para lidar com as consultas dos usuários; avalie o poder de processamento e o armazenamento extras necessários para respostas rápidas.
- Quando um data mart estiver localizado em um local diferente do data warehouse, assegure-se de que haja capacidade de rede suficiente para mover os volumes de dados necessários.
- Orçamento para tempo de carregamento, que aumenta conforme a complexidade das transformações cresce.
Vantagens e desvantagens de um data mart
Como qualquer escolha de arquitetura, um data mart traz benefícios claros, juntamente com algumas desvantagens.
Vantagens
- Um data mart armazena um subconjunto de dados de toda a organização que é valioso para um grupo específico de usuários.
- É uma alternativa economicamente viável a um data warehouse, que pode ser caro de construir.
- Um data mart permite acesso mais rápido aos dados.
- É fácil de usar, pois foi projetado para atender às necessidades específicas de seus usuários, o que pode acelerar os processos de negócios.
- Um data mart requer menos tempo de implementação do que um data warehouse, já que você se concentra apenas em um subconjunto dos dados.
- Contém dados históricos que ajudam os analistas a identificar tendências.
Desvantagens
- Às vezes, as empresas criam muitos data marts distintos e não relacionados, o que dificulta sua manutenção.
- Um data mart não consegue fornecer análises de dados para toda a empresa, porque seu conjunto de dados é limitado.
