Cruzando Fluxos de Dados: Do Caça-Fantasmas à Análise Avançada

Aproveitar fluxos de dados — unindo eventos em lote e em tempo real — capacita cientistas e analistas de dados a resolver problemas sofisticados.

Fluxos individuais fornecem dados relacionados a uma dimensão específica — o preço de uma ação, o pedido de um cliente, a métrica de um dispositivo. Analytics e aplicações podem ser servidos por um único fluxo de dados, mas os usos são estreitos e locais.

Cruzar fluxos revela possibilidades grandiosas, repletas de histórico, contexto e sinais relacionados. Quando nossos heróis Caça-Fantasmas (Venkman e a turma) precisaram enfrentar o desafio (e derrotar o Sr. Stay Puft), uniram forças — e fluxos! O todo foi maior que a soma das partes.

Em nossa comunidade, cientistas de dados, analistas e desenvolvedores são igualmente chamados à ação. Aproveitar fluxos de dados — unindo eventos em lote e em tempo real — capacita você a resolver problemas sofisticados. E, como com Venkman, às vezes você precisa que outros tragam seu equipamento e ajudem. Aqui estão quatro componentes vitais para tornar o cruzamento de fluxos bem-sucedido:

1) Unir dados, casos de uso e pessoas.

Acelerar inovação, maximizar eficiência e fornecer flexibilidade são prioridades estabelecidas para sistemas de dados sofisticados. Uma estrutura de software ágil e evolutiva realiza esses objetivos. Componentes centrais open-source fornecem a agilidade e interoperabilidade de longo prazo primordiais para o sucesso.

Ferramentas evoluem, e às vezes você precisa usar aquela nova armadilha para fantasmas.

2) Tornar seu stack de dados à prova de futuro com formatos open-source.

Portabilidade de dados tem sido requisito sagrado para equipes de dados empresariais. Jardins murados criam dívida futura, e vendor lock-in tem custo de longo prazo não dito, frequentemente pago em arrasto de negócios. Armazene dados usando formatos abertos.

CSV e JSON são grandes há anos, com Avro, Protobuffs, Parquet, Orc e outros ganhando popularidade recentemente. Eles têm razões respectivas para existir, mas cada um é fundamentado na entrega de dados estruturados a uma infinidade de sistemas independentes, agnósticos e alheios à ciência da computação downstream.

À medida que a magnitude dos dados escalou e o custo financeiro e de latência relacionado a mover dados se compôs, o conceito de dados abertos agora inclui formatos em memória, não apenas o tipo que persiste em disco. Agora é frequentemente inaceitável exigir que dados sejam copiados, movidos, serializados ou traduzidos de qualquer forma. Em particular, a significativa comunidade do Apache Arrow beneficia-se de sua capacidade de servir dados em memória a uma gama de bibliotecas de processamento de dados em muitas linguagens com overhead mínimo, leituras zero-copy e acesso rápido em escala.

Mas lembremos, em Caça-Fantasmas, os dados eram apenas o começo da aventura.

3) Tornar a junção de dados em tempo real e estáticos um requisito fundamental.

Um motor de dados moderno deve reunir dados de diversas fontes. O jargão de warehouse, lake e o centauro-like lakehouse são agora imagens comuns. No entanto, a popularidade crescente de fluxos de eventos é um canário não-tão-silencioso sugerindo que dados estáticos não são mais a história toda.

Dados mudam. Cargas de trabalho modernas vivem em estado de fluxo. Dados em tempo real importam.

Motores de dados e bibliotecas de processamento devem ser arquitetados para abordar e mover fluidamente entre cargas de trabalho de dados em tempo real e estáticos. "Inteligência contínua" é frase da moda para sistemas que combinam o contexto do histórico com os sinais de eventos do momento. Sistemas de dados modernos devem ser construídos para processar dados em tempo real, fluxos de eventos e outras atualizações como competência de primeira classe. Estas devem ser forças centrais, não add-ons, não reflexões tardias.

Afinal, como aprendemos em Caça-Fantasmas, Guardiões de Portais e Mestres de Chaves são muito menos poderosos até serem unidos.

4) Sempre colocar o usuário em primeiro lugar.

Usuários de dados de hoje têm variedade de habilidades, ferramentas, fluxos de trabalho e prioridades. Coalescer uma equipe em torno de uma plataforma compartilhada serve o indivíduo enquanto energiza a equipe. Sistemas de dados que maximizam a eficiência dos indivíduos e fomentam colaboração geram valor de negócio.

Software de dados abertos ilumina o caminho. A intrigante mistura de cooperação e competição em projetos abertos rende ritmo inigualável de progresso e ingenuidade. Organizados para encorajar interoperabilidade, desenvolvimento comunitário promete aprimoramentos, integrações e upgrades de experiência do usuário. Caminhos populares tornam-se estradas pavimentadas. Tais sistemas tornam usuários um exército de um enquanto suportam o trabalho codependente requerido para qualquer caso de uso mesmo moderadamente complexo.

Afinal, um pacote de prótons é poderoso, mas quatro trabalhando juntos é invencível.

Eu não tenho medo de fantasma nenhum.