Seja caçando fantasmas ou analisando dados:cruze os fluxos

O aproveitamento de fluxos de dados — juntando eventos em lote e em tempo real — capacita os cientistas e analistas de dados a resolver problemas sofisticados.

Os fluxos individuais fornecem dados relacionados a uma dimensão específica — o preço de uma ação, o pedido de um cliente, a métrica de um dispositivo. A análise e os aplicativos podem ser atendidos por um único fluxo de dados, mas os usos são restritos e locais.

Atravessar riachos revela possibilidades maiores, cheias de história, contexto e sinais relacionados. Quando nossos heróis dos Caça-Fantasmas (Venkman e sua turma) precisaram enfrentar o desafio (e derrotar o Sr. Stay Puft), eles uniram forças e fluxos! O todo era maior que a soma das partes.

Em nossa comunidade, cientistas de dados, analistas e desenvolvedores são igualmente chamados à ação. O aproveitamento de fluxos de dados — juntando eventos em lote e em tempo real — permite que você resolva problemas sofisticados. E, assim como Venkman, às vezes você precisa que outros tragam seus equipamentos e ajudem. Aqui estão quatro componentes vitais para tornar a travessia de córregos bem-sucedida:

1) Reúna dados, casos de uso e pessoas.

Acelerar a inovação, maximizar a eficiência e fornecer flexibilidade são prioridades estabelecidas para sistemas de dados sofisticados. Um backbone de software ágil e em evolução realiza esses objetivos. Os componentes principais de código aberto fornecem agilidade e interoperabilidade a longo prazo, fundamentais para o sucesso.

As ferramentas evoluem e às vezes você precisa usar essa nova armadilha de fantasmas.

2) Prepare sua pilha de dados para o futuro com formatos de código aberto.

A portabilidade de dados tem sido um requisito sagrado para as equipes de dados corporativos. Jardins murados criam dívidas futuras, e o aprisionamento de fornecedores tem um custo implícito de longo prazo, muitas vezes pago em arrasto de negócios. Armazene dados usando formatos abertos.

CSV e JSON são grandes há anos, com Avro, Protobuffs, Parquet, Orc e outros recentemente ganhando popularidade. Eles têm suas respectivas razões para existir, mas cada um tem como princípio a entrega de dados estruturados a uma infinidade de sistemas independentes, agnósticos e alheios à ciência da computação a jusante.

À medida que a magnitude dos dados aumentou e o custo financeiro e de latência relacionado à movimentação de dados aumentou, o conceito de dados abertos agora inclui formatos em memória, não apenas o tipo que persistia em disco. Agora, muitas vezes, é inaceitável exigir que os dados sejam copiados, movidos, serializados ou traduzidos de qualquer forma. Em particular, a comunidade significativa do Apache Arrow se beneficia de sua capacidade de fornecer dados na memória para uma variedade de bibliotecas de processamento de dados em vários idiomas com sobrecarga mínima, leituras sem cópia e acesso rápido em escala.

Mas vamos lembrar, em Ghostbusters, os dados foram apenas o começo da aventura.

3) Faça da junção de dados estáticos e em tempo real um requisito fundamental.

Um mecanismo de dados moderno deve reunir dados de várias fontes. O jargão de armazém, lago e a casa do lago em forma de centauro agora são imagens comuns. No entanto, a crescente popularidade dos fluxos de eventos é um canário não tão silencioso, sugerindo que dados estáticos não são mais a história toda.

Alterações de dados. As cargas de trabalho modernas vivem em um estado de fluxo. Dados em tempo real são importantes.

Os mecanismos de dados e as bibliotecas de processamento devem ser arquitetados para abordar e mover-se com fluidez entre cargas de trabalho de dados estáticos e em tempo real. “Inteligência contínua” é uma frase da moda para sistemas que combinam o contexto da história com os sinais de eventos do momento. Os sistemas de dados modernos devem ser construídos para processar dados em tempo real, fluxos de eventos e outras atualizações como uma competência de primeira classe. Estes devem ser pontos fortes, não complementos, não reflexões posteriores.

Afinal, como aprendemos em Ghostbusters, Gatekeepers e Key Masters são muito menos poderosos até serem unidos.

4) Sempre coloque o usuário em primeiro lugar.

Os usuários de dados de hoje têm uma variedade de habilidades, ferramentas, fluxos de trabalho e prioridades. A união de uma equipe em torno de uma plataforma compartilhada serve ao indivíduo enquanto energiza a equipe. Os sistemas de dados que maximizam a eficiência dos indivíduos e promovem a colaboração geram valor comercial.

O software de dados abertos ilumina o caminho. A intrigante mistura de cooperação e competição em projetos abertos produz um ritmo incomparável de progresso e engenhosidade. Organizado para incentivar a interoperabilidade, o desenvolvimento da comunidade promete melhorias, integrações e atualizações da experiência do usuário. Caminhos populares tornam-se estradas pavimentadas. Esses sistemas tornam os usuários um exército de um enquanto suportam o produto de trabalho codependente necessário para qualquer caso de uso, mesmo moderadamente complexo.

Afinal, um pacote de prótons é poderoso, mas quatro trabalhando juntos são invencíveis.

Eu não tenho medo de nenhum fantasma.