Ferramenta Ascend Previews para simplificar o gerenciamento de pipeline de dados

Os fluxos de dados consultáveis ​​reduzirão significativamente grande parte da sobrecarga manual hoje associada ao gerenciamento de DataOps.

Uma das coisas que mais conspira para tornar a TI muito menos ágil do que qualquer um deseja ou aprecia é todo o tempo e esforço investidos na construção manual de pipelines de dados. Não é apenas um desafio construir esses pipelines em primeiro lugar, decifrar como eles funcionam e como foram implementados pode levar dias e semanas.

Para simplificar a modificação de pipelines de dados existentes, a Ascendis agora fornece uma prévia técnica de uma ferramenta que permite que as equipes de TI iniciem consultas diretamente em pipelines de dados construídos usando o Autonomous Dataflow Service da empresa, que simplifica a criação de pipelines usando ferramentas declarativas em instâncias de o framework de computação em memória Apache Spark hospedado em nuvens públicas fornecido pela Amazon Web Services (AWS), Microsoft ou Google.

Veja também: DataOps:o antídoto para pipelines de dados congestionados

Apelidado de Queryable Dataflows, esse novo recurso reduzirá significativamente grande parte da sobrecarga manual hoje associada ao gerenciamento de DataOps, diz o CEO da Ascend, Sean Knapp.

Os fluxos de dados consultáveis ​​permitem que as equipes de DataOps explorem e criem perfis de grandes conjuntos de dados brutos de forma incremental à medida que são criados. Esse recurso não apenas simplifica a construção de novos pipelines mais rapidamente, como também pode ser empregado para garantir que os resultados sejam precisos antes de expor os dados aos aplicativos downstream.

Os pipelines agora são capazes de lidar com a preparação e a exploração de uma maneira que descarrega essas atividades do data warehouse. Além disso, as consultas interativas podem ser movidas imediatamente para a produção como estágios no AutonomousDataflow Service para eliminar a recodificação e o reprocessamento.

Os fluxos de dados que podem ser consultados também ajudam a otimizar análises operacionais e relatórios. Os analistas de dados e cientistas também podem se conectar diretamente aos estágios do pipeline sem precisar primeiro carregar os dados em um warehouse, o que significa que eles podem empregar suas ferramentas preferidas para acessar os dados.

Gerações anteriores de ferramentas para gerenciamento de pipelinetools de dados são, em comparação, pouco mais do que agendadores de tarefas glorificados, diz Knapp.

O DataOps como uma disciplina de TI está sob pressão crescente porque a taxa de mudança que ocorre nos ambientes de TI acelerou. Graças em parte ao aumento dos processos e microsserviços de DevOps, a taxa na qual os pipelines de dados precisam ser otimizados ou atualizados aumentou exponencialmente. Atualizações manuais para pipelines de dados criarão alguns pontos de atrito muito previsíveis entre DataOps e DevOps, diz Knapp.

“DataOps e DevOps precisam ser harmonizados”, diz Knapp.

Na verdade, essa falta de harmonia é o que leva os desenvolvedores a tentarem acabar com a equipe interna de TI empregando um banco de dados de código aberto para criar um aplicativo apenas para descobrir com o tempo que o banco de dados não é dimensionado para atender às demandas do aplicativo. Em seguida, eles acabam tendo que se reengajar com as equipes internas de TI para mover esse aplicativo para uma plataforma como ApacheSpark ou algum outro banco de dados.

Não está claro até que ponto DataOps e DevOps podem convergir um dia. Por enquanto, ambas as áreas provavelmente permanecerão domínios sobre si mesmas. No entanto, também está bastante claro que os processos de DataOps precisam melhorar até o ponto em que a construção de pipelines de dados não seja mais um grande gargalo que impede a modernização da TI.