Otimizando Dados de Arquivo para Data Lakes na Nuvem: Um Guia Prático

Uma estratégia de data lake na nuvem é uma evolução natural para organizações de TI empresariais pesadas em dados movendo-se para a nuvem, pois eleva a nuvem de um armário de armazenamento de dados barato para um lugar onde dados podem ser alavancados para novo valor e monetizados.

Se 2020 e 2021 foram os anos de aceleração rápida da nuvem, 2022 será o ano quando empresas começarão a levar a sério trazer dados de arquivo não estruturados para data lakes na nuvem. Existem algumas razões por trás desta tendência. Primeiro, organizações estão sentadas em petabytes de dados não estruturados, que compreendem pelo menos 80% dos 64 zettabytes de dados (e crescendo) em armazenamento mundial hoje. A maior parte disso é dados de arquivo — de imagens médicas a vídeo streaming, dados de sensores de carros elétricos e produtos IoT e documentos que pessoas usam em todos os setores para colaborar e fazer negócios.

Segundo, dados de arquivo estão se tornando ingerenciáveis, custosos para armazenar e CIOs sabem que estão sentados em uma potencial mina de ouro de insights se apenas puderem determinar como colocá-los nos lugares certos para análise. Finalmente, as principais plataformas de nuvem estão investindo pesadamente em ferramentas de analytics/ML/IA e tiers de armazenamento de objeto de menor custo para suportar projetos de data lake.

Veja também: Data Lakes, Dados de Séries Temporais e Analytics Industrial

O amadurecimento de data lakes para a nuvem

Habilitar data lakes é um dos principais objetivos que gerentes de TI estão priorizando, junto com segurança, gerenciamento de custo e visibilidade, de acordo com um estudo recente que realizamos. A nuvem virou estratégias tradicionais de data lake de cabeça para baixo, que começaram quando empresas queriam analisar dados semi-estruturados como CSV e arquivos de log. Em 2006, Hadoop nasceu, e ganhou adoção generalizada justamente quando conversas sobre Big Data começavam a circular. No entanto, Hadoop eventualmente provou ser mais lento e mais caro que o esperado, complicado para configurar, escalar e gerenciar e primariamente desenhado para processamento em lote. Para resolver esses problemas, Apache Spark entrou em cena, rodando até 100x mais rápido para algumas cargas de trabalho e bem adequado para análise em tempo real. Importante, o foco de empresas como Databricks era rodar Spark na nuvem, enquanto Hadoop era primariamente implementado on-premises.

Nos últimos anos, plataformas de data lake baseadas na nuvem amadureceram e agora estão prontas para prime time. Armazenamento de objeto scale-out mais barato dos provedores de nuvem entrega uma plataforma para projetos massivos de escala petabyte que simplesmente não é viável on-premises. Data lakes de próxima geração são construídos no Apache Spark para suportar armazenamento de dados S3 ou objeto, tornando possível ingerir e processar dados semi-estruturados e não estruturados. Armazenamento de arquivo também está transitando para a nuvem e precisa ser alavancado como parte de um data lake na nuvem, então nem todos os dados podem estar em armazenamento de objeto.

Uma estratégia de data lake na nuvem é uma evolução natural para organizações de TI empresariais pesadas em dados movendo-se para a nuvem, pois eleva a nuvem de um armário de armazenamento de dados barato para um lugar onde dados podem ser alavancados para novo valor e monetizados.

Como domar o data lake na nuvem

Embora ainda sejam dias iniciais para data lakes na nuvem, incluir dados de arquivo em seu data lake é imperativo, pois modelos de machine learning requerem grandes quantidades dele para gerar resultados significativos. Ainda assim, estes dados não estruturados não são padronizados entre tipos de arquivo: arquivos de vídeo, áudio, dados de sensores, logs não compartilham estrutura comum. E despejar todos estes dados de arquivo aleatoriamente na plataforma de data lake na nuvem não é uma estratégia sábia, mas uma bagunça para limpar depois. Apesar de sua promessa, há muitos riscos com data lakes, variando de altos custos de gerenciamento, lacunas de habilidades, preocupações de segurança e governança, problemas de portabilidade ao mover dados entre clouds e plataformas de armazenamento e a preocupação de longa data do data lake se tornar um pântano quando dados ficam grandes e emaranhados demais para buscar e analisar.

Aqui estão algumas considerações ao embarcar em trazer dados de arquivo para um data lake na nuvem para evitar ou minimizar o conflito.

1. Otimize o data lake. Antes que qualquer dado possa ser analisado, ele deve ser limpo, normalizado e classificado, o que pode ser um processo altamente manual contribuindo para estouros de custo e tempo lento para valor. Isso sempre foi um desafio para uma iniciativa de data warehouse e o mesmo se aplica a data lakes e data lakehouses. Data lakes são atraentes porque podem ingerir dados em seu formato nativo; requerer otimização antes de colocar dados no lago destrói esta facilidade de uso. Como você pode otimizar automaticamente dados de arquivo sem requerer mudança no comportamento do usuário? A chave para otimizar dados de arquivo são os metadados: a informação sobre tipos de arquivo, datas de criação e último acesso, donos, projetos e localização. A capacidade de indexar e etiquetar arquivos automaticamente em propriedades de metadados evitará problemas de pântano de dados e tornará mais fácil buscar e segmentar depois, em oposição a apenas deixar data lakes não gerenciados.
2. Use indexação de metadados para encontrar conjuntos de dados precisos para necessidades específicas. Ferramentas que podem indexar arquivos e buscar metadados através de armazenamento (incluindo on-premises, edge e localizações na nuvem) podem reduzir bilhões de arquivos para alguns milhares para que você esteja enviando apenas os arquivos precisos que deseja analisar para a nuvem.
3. Etiquete dados conforme avança para melhor busca e usabilidade. Uma vez que você encontra os arquivos que precisa, você pode então usar um sistema de machine learning para refinar ainda mais a busca com mais tags. Este processo deve ser contínuo e automatizado, para que ao longo do tempo estrutura adicional seja desenvolvida e busca mais fácil venha ao seu data lake junto com qualidade geral mais alta.
4. Acomode a edge. À medida que edge computing cresce devido a novos casos de uso de dados de sensores, streaming de dados da edge vai se tornar insustentável. Como você pode processar mais dados na edge e pegar apenas o que precisa em um data lake na nuvem? Pré-processamento na edge se tornará mais crítico à medida que volumes de dados da edge crescem.
5. Crie taxonomias por indústria. Não há nomenclatura de etiquetagem padrão para cada indústria. Ter algumas classificações de etiquetagem comuns por setor tornará dados mais fáceis de buscar e extrair, especialmente em ambientes colaborativos como pesquisa e ciências da vida.
6. Aborde mobilidade de dados. Para ser verdadeiramente móvel, dados devem ser capazes de residir em diferentes sistemas através de ambientes hybrid cloud enquanto também acessam nativamente os serviços naqueles ambientes. Desbloquear dados de sistemas de armazenamento proprietários dá controle de volta à TI e elimina taxas e aborrecimentos de mover dados de uma plataforma para outra. A forma como dados são usados e acessados e seu valor mudam ao longo do tempo. Ao tornar seus dados à prova de futuro, você pode se adaptar a mudanças e novos requisitos. Soluções independentes de mobilidade e gerenciamento de dados podem ajudar aqui.
7. Construa a cultura certa. Organizações de TI líderes continuam a identificar cultura — pessoas, processo, organização, gestão de mudanças — como o maior impedimento para se tornarem organizações orientadas a dados, de acordo com pesquisa de 2021 da New Vantage Partners. Uma cultura orientada a dados precisa abranger não apenas analistas e linhas de negócio mas equipes de infraestrutura de TI. Líderes de TI precisarão desempenhar papel em ajudar profissionais de armazenamento de dados, servidor e rede a reorientar suas responsabilidades e tarefas diárias para um framework de tomada de decisão centrado em dados. Ferramentas e processos devem ser cross-funcionais, permitindo uma visão holística dos ativos de dados da organização e colaboração em torno de estratégias para gerenciar esses ativos para ganho organizacional.

Data lakes na nuvem ganharam popularidade porque dados podem ser ingeridos em seu formato nativo sem o pré-processamento extensivo necessário para data warehouses. O lado negativo é que data lakes se tornaram pântanos de dados particularmente para dados de arquivo não estruturados, pois estes dados não têm estrutura comum. Analisar dados de arquivo está se tornando mais crítico com a ascensão de motores de IA/ML que dependem deles. Data lakes na nuvem podem ser otimizados para dados não estruturados sem destruir seu apelo de ingerir dados em formato nativo automatizando a indexação, busca, coleta e otimização de dados de arquivo.