Arquitetura Cloud-Native Permite Análise de Dados Escalável em Qualquer Lugar

Arquitetar com Kubernetes é a peça central indispensável que torna a análise de dados excepcionalmente flexível, executando em qualquer lugar no ponto de necessidade do negócio — e fazendo isso em escala, com alta concorrência, desempenho, eficiência e disponibilidade.

Milhares de empresas em verticais que vão de serviços financeiros e seguros a manufatura e saúde estão descobrindo que precisam de nuvem pública e privada, híbrida e implantações de borda para melhor atender suas necessidades de gerenciamento e análise de dados. Não é surpresa que o conceito de nuvem distribuída faça parte da maturação da nuvem. Levar data warehouses, data lakes e análises avançadas para uma arquitetura de nuvem distribuída é para onde o mercado caminha. Estender essa arquitetura para abranger serviços de gerenciamento e análise de dados de nível superior leva naturalmente à ideia de uma nuvem de dados distribuída. Dentro de uma nuvem de dados distribuída, data warehouses empresariais não serão usados apenas para fornecer análises a alguns centenas de analistas ou cientistas de dados, mas poderão alimentar aplicações analíticas em tempo real usadas diretamente pelos clientes finais de uma empresa, que chegam a dezenas de milhares. Os dados estarão imediatamente acessíveis — e gerarão insights — em qualquer lugar.

Veja também: Tendências de Adoção de Nuvem de 2021 se Amplificam em 2022

Explorando o Destino

Cloud-native é um termo muito usado, mas tem significado real quando a arquitetura de software é projetada do zero para aproveitar os benefícios da nuvem distribuída. Um data warehouse totalmente cloud-native deve logicamente alavancar uma arquitetura de nuvem de dados distribuída. Em termos amplos, isso traz a análise para onde os dados residem (não o contrário), mitiga risco de concentração, aumenta dramaticamente a eficiência e inaugura modernização para gasto controlado e vantagem competitiva.

Para ser mais preciso, uma tecnologia de gerenciamento e análise de dados cloud-native deve exibir cinco características-chave para alinhar-se ao blueprint de nuvem de dados distribuída:

• Runtime agnóstico de plataforma permitindo provisionamento de dados e análises em qualquer lugar
• Experiência de usuário comum em qualquer lugar
• Segurança e governança comuns em qualquer alvo de implantação
• Eficiência de custo e tecnologia em qualquer lugar, minimizando recursos e permitindo forte gestão de custos (FinOps) e guardrails de gasto
• Um único plano de controle, unindo todas as implantações: nuvem pública, on-premises e na borda da rede

Implantável no ponto de necessidade em qualquer lugar, um data warehouse cloud-native totalmente realizado seguindo este padrão também abstrairá a complexidade da infraestrutura de nuvem, on-premises e borda da rede dos usuários finais. O objetivo é libertá-los dos detalhes de infraestrutura e permitir que foquem em gerar valor a partir de análises e gerenciar dados, enquanto ainda aproveitam o poder nativo da nuvem.

Escolhendo o Guia Certo

Como atingir esse destino? Kubernetes, a ferramenta open-source de orquestração de containers, fornece o caminho mais popular para operações cloud-native. Embora a ideia de particionamento de cargas de trabalho no Unix exista desde os anos 1970, foi apenas cerca de uma década atrás que containers foram amplamente implementados para tornar desenvolvimento de aplicações mais fácil, portátil e eficiente no uso de recursos. Mas implantar centenas ou milhares de aplicações em uma vasta arquitetura de microsserviços provou ser extremamente complicado. Embora outras opções existam, o projeto open-source Kubernetes do Google, agora mantido pela Cloud Native Computing Foundation, ganhou destaque para resolver orquestração de aplicações de microsserviços — permitindo que aplicações rodem em infraestrutura genérica, sejam monitoradas e gerenciadas de formas padrão e autenticadas usando padrões abertos.

Isso é bom para aplicações. Mas e o mundo de dados? A mesma orquestração fundamental de containers é necessária para data warehouses cloud-native oferecerem elasticidade e flexibilidade de implantação em nuvens públicas e privadas, borda da rede, híbrida e nuvens totalmente distribuídas.

Re-arquitetura cloud-native para aplicações web de escala é comum, mas bancos de dados foram principalmente "lift-and-shifted" para o mundo cloud-native. Colocar um banco de dados em um container permite que rode em infraestrutura moderna, mas não oferece experiência que demonstre todos os benefícios da nuvem. O software ignora em grande parte que está rodando em ambiente de container, e operações como gerenciar clusters elásticos têm que ser tratadas de fora do banco de dados manualmente usando Operators e hackeando Helm charts. Recursos como permitir que múltiplos clusters de computação elásticos sob demanda compartilhem os mesmos dados subjacentes em object storage são frequentemente indisponíveis. Usuários que buscam valor de negócio de um data warehouse elástico baseado em nuvem não querem saber sobre Helm charts, pods, nodes ou arquivos de configuração. Eles querem apenas provisionar data warehouses, gerenciar clusters elásticos e obter insights de seus dados.

Fornecer uma interface SQL sobre Kubernetes para provisionar múltiplos clusters elásticos sob demanda e esconder complexidades do Kubernetes de DBAs e usuários finais é a resposta.

Dessa forma, diferentes usuários podem ser designados para rodar cargas de trabalho em diferentes clusters de computação, e o cluster em uso pode ser alterado em tempo de execução via SQL, sujeito a permissão. Clusters podem ser configurados para suspender automaticamente após período ocioso e reiniciar sob demanda. Por exemplo, um cluster separado pode ser criado para rodar processos ETL quando necessário, um para BI ad-hoc e múltiplos clusters de ciência de dados. Clusters de computação podem ser expandidos online durante períodos de uso intenso ou desligados durante períodos calmos para economizar dinheiro. Clusters podem ser criados para rodar tarefas de relatórios em lote diárias, semanais ou mensais ativas apenas nesses períodos. Tanto o tamanho dos nodes no cluster quanto o número de nodes são controláveis neste modelo, e limites de consumo de recursos podem ser estabelecidos no nível da instância para previsibilidade. Da mesma forma, é possível configurar um sistema de réplica de baixo custo que recebe tráfego de replicação de uma instância primária de data warehouse, que pode então ser escalado sob demanda quando a réplica precisar ser usada.

Esse tipo de elasticidade é implementado não apenas integrando profundamente com Kubernetes, mas usando o próprio SQL como "interface do usuário" para criar, suspender, retomar e gerenciar clusters em vez de ferramentas de desenvolvedor. Kubernetes é a fonte autoritativa de verdade para o estado de todos os clusters. System views mostrando o estado dos clusters obtêm seus dados do Kubernetes usando suas APIs. Quando statements SQL de gerenciamento de cluster são inseridos, o data warehouse cloud-native alcança o Kubernetes para alterar o estado desejado de uma instância; o Kubernetes então implementa as mudanças necessárias. Se um node no cluster ficar unhealthy, o Kubernetes trará um substituto online.

Isso representa uma relação única, inside-out, com Kubernetes: em vez de Kubernetes ser a 'interface do usuário' para dirigir o estado do cluster, o próprio banco de dados, gerenciado pelo Kubernetes, torna-se a interface do usuário. Essa arquitetura cria uma relação simbiótica que entrega uma experiência cloud totalmente realizada. O poder e a flexibilidade multiplataforma do Kubernetes tornam-se disponíveis para um data warehouse, impulsionados inteiramente via SQL.

À medida que mais dados são gerados e mais casos de uso implantados, é fácil para empresas entrarem em um ciclo vicioso onde seu ecossistema fica cada vez mais enraizado em uma nuvem específica. Riscos sistêmicos podem surgir nessa nuvem única, apresentando muita exposição para infraestrutura de TI crítica em setores fortemente regulados como serviços financeiros e seguros. Arquitetar com Kubernetes não é o único conceito central que traz um data warehouse cloud-native totalmente realizado à vida. Não é o único componente arquitetural alinhado ao padrão de nuvem de dados distribuída. Mas é a peça central indispensável que torna a análise de dados excepcionalmente flexível, rodando em qualquer lugar no ponto de necessidade do negócio — e fazendo isso em escala, com alta concorrência, desempenho, eficiência e disponibilidade. O resultado é que milhares de usuários em qualquer empresa, em diferentes linhas de negócio e regiões geográficas, podem tomar decisões extremamente rápidas e gerar valor a partir de análises em movimento em tempo quase real.