Data Lakes vs. Data Warehouses: Construindo um Data Estate Moderno

27 de julho de 2021

Fonte: MCA Connect | Manufacturing Tomorrow

Os dados chegam até nós rápido e de muitas formas. Estas diferentes formas podem incluir dados estruturados, semi-estruturados e não estruturados e muitas pessoas não percebem que um data warehouse e um data lake lidam com os dados de forma diferente.

Um data estate moderno deve fornecer múltiplos métodos de ingestão e armazenamento dos vários dados que as empresas geram. Os dados chegam até nós rápido e de muitas formas. Estas diferentes formas podem incluir dados estruturados, semi-estruturados e não estruturados e muitas pessoas não percebem que um data warehouse e um data lake lidam com os dados de forma diferente. Vamos analisar mais estes diferentes tipos de dados:

1. Estruturados – bases de dados tradicionais, como a base de dados transacional do seu sistema ERP ou CRM, com definições formais de colunas e tabelas
2. Semi-estruturados – ficheiros como XML ou JSON que são auto-descritivos com tags para elementos e hierarquias
3. Não estruturados – imagens, vídeo, áudio e outros dados binários

Os designs tradicionais de data warehouse existem há muitas décadas, enquanto o conceito, ou pelo menos o termo, data lake é uma construção um pouco mais recente. Cada um tem o seu lugar no data estate da sua organização.

O Data Warehouse

Como podemos ver acima, as fontes de dados podem ser muito diversas e ter diferentes representações de dados, o que pode levar a informações divergentes. Além disso, a grande variedade de esquemas e estruturas nas fontes de dados torna difícil obter informação consolidada quando é necessário um instantâneo completo dos dados de todos os sub-sistemas de negócio. Em geral, esta é a principal razão para o surgimento de soluções de Data Warehouse.

Um data warehouse é um design formal, frequentemente baseado em diretrizes de design que implementa um processo ETL (Extract-Transform-Load) formal para consumir conjuntos de dados estruturados brutos e carregá-los num modelo desenhado para relatórios. Os data warehouses são construídos sobre bases de dados relacionais como o Azure Synapse, anteriormente Microsoft SQL Server. O Azure Synapse é desenhado para armazenar dados estruturados em tabelas com linhas e colunas tradicionais, mas tem a capacidade de armazenar dados semi-estruturados como XML e JSON.

O Data Lake

Um data lake inverte o conceito de ETL e implementa um processo ELT (Extract-Load-Transform). Ingerir dados no data lake é essencialmente atirar tudo o que pensa que pode ser valioso em algum momento para uma grande área de armazenamento, independentemente do tipo ou estrutura de dados. Os data lakes podem armazenar dados estruturados, semi-estruturados e não estruturados. Os data lakes entregues no Microsoft Azure são construídos sobre contas de armazenamento com Data Lake Storage Gen2 ativado ao criar a conta de armazenamento.

A ideia por trás de um data lake é que se quer consumir todos os dados e ordená-los mais tarde, enquanto o data warehouse requer identificar o valor antecipadamente com investimento significativo no desenvolvimento da ingestão. Devido ao pesado investimento inicial tipicamente requerido para desenvolver um data warehouse, se mais tarde se determinar que precisa de dados que não foram trazidos inicialmente, há o risco de os dados de origem não estarem mais disponíveis e potencialmente perdidos para sempre.

Propósito: indeterminado vs em uso

O propósito de peças individuais de dados num data lake não é fixo. Dados brutos fluem para um data lake, às vezes com um uso futuro específico em mente e às vezes apenas para ter à mão. Isso significa que os data lakes têm menos organização e menos filtração de dados do que o seu contraparte.

Dados processados são dados brutos que foram postos a um uso específico. Como os data warehouses apenas alojam dados processados, todos os dados num data warehouse foram usados para um propósito específico dentro da organização. Isso significa que o espaço de armazenamento não é desperdiçado em dados que podem nunca ser usados.

Acessibilidade

Acessibilidade e facilidade de uso referem-se ao uso do repositório de dados como um todo, não aos dados dentro deles. A arquitetura de data lake não tem estrutura e é, portanto, fácil de aceder e fácil de alterar. Além disso, quaisquer alterações feitas aos dados podem ser feitas rapidamente, pois os data lakes têm muito poucas limitações.

Os data warehouses, por design, são mais estruturados. Um grande benefício da arquitetura de data warehouse é que o processamento e a estrutura dos dados tornam os próprios dados mais fáceis de decifrar, mas as limitações da estrutura tornam os data warehouses difíceis e caros de manipular.

Os Benefícios de Ambos

Data lakes são uma forma rentável de armazenar grandes quantidades de dados de muitas fontes. Permitir dados de qualquer estrutura reduz o custo porque os dados são mais flexíveis e escaláveis, pois não precisam de se ajustar a um padrão específico. No entanto, dados estruturados são mais fáceis de analisar porque são mais limpos e têm um esquema uniforme para consultar. Ao restringir dados a um esquema, os data warehouses são muito eficientes para analisar dados históricos para decisões de dados específicas. Tanto um data warehouse adequado como um data lake são críticos para o sucesso futuro da sua organização e pertencem ao seu data estate moderno.

O que é um Data Estate?

Estabelecer um data estate moderno é um passo fundamental para a transformação digital. Um data estate moderno permite insights oportunos e tomada de decisão em todos os seus dados e define a base para IA. Um data estate é todos os dados que uma organização possui. Quando migra estes dados para a nuvem ou moderniza o seu ambiente on-premises, pode obter insights importantes para alimentar a inovação.

Data Warehouse Pré-construído Microsoft Dynamics 365, DataCONNECT

Construir um data warehouse pode ser muito caro e demorado para rever adequadamente os seus sistemas de origem, desenhar um modelo de dados e criar o ETL necessário para processá-lo. A MCA Connect desenvolveu a sua solução Data Warehouse DataCONNECT para Microsoft Dynamics AX, Dynamics 365 Finance e Customer Engagement. Esta solução acelera significativamente o cronograma de entrega de uma solução abrangente de data warehouse, reduzindo custos de implementação. É também uma ótima forma de começar a construir o seu data estate abrangente.

O DataCONNECT pode alimentar organizações com informação rápida e precisa, dando-lhes a capacidade de prever, adaptar e moldar operações com precisão. Poderá rapidamente puxar dados validados para modelos de previsão, para que possa iniciar os seus ciclos de planeamento para áreas do seu negócio. Se quiser saber mais sobre como o Data Warehouse DataCONNECT ou um data lake podem ajudar a sua empresa a armazenar big data, contacte-nos. Um dos nossos especialistas terá todo o gosto em orientá-lo na direção certa.

O conteúdo e opiniões neste artigo são do autor e não representam necessariamente as opiniões da Manufacturing Tomorrow.