Perguntas e Respostas:Equipe de Robôs Mapeia Composição de um Ambiente

Dr. David Lary, da Universidade do Texas em Dallas, está liderando um grupo de pesquisa que desenvolveu uma equipe de dispositivos robóticos autônomos que podem ser usados ​​em locais perigosos ou de difícil acesso para fazer pesquisas e coletar dados - fornecendo insights mais rápidos do que os seres humanos são capazes de oferecer.

Resumos técnicos: O que inspirou você a usar vários dispositivos autônomos para coletar conjuntos holísticos de dados ambientais?

Dra. David Lary: Bem, há duas partes nessa jornada. A primeira é a paixão que me move. Desejo profundamente ter uma percepção holística abrangente para manter as pessoas fora de perigo, de modo que possa haver os insights acionáveis ​​apropriados para tomar decisões oportunas. Essa é a minha motivação, mas a jornada real para mim até aqui começou há alguns anos – bem, quase 30 anos atrás.

Quando fiz meu doutorado em Cambridge, a pessoa que estava muito perto, que descobriu o buraco na camada de ozônio, era um cara chamado Joe Farman. Então, para meu doutorado, desenvolvi o primeiro modelo global tridimensional para a destruição do ozônio. Era um módulo químico que era um plug-in para o modelo global usado pelo Centro Europeu de Previsão do Tempo de Médio Prazo. Com meu plug-in eu poderia fazer simulações globais para química relacionada ao ozônio. E então, a pergunta óbvia que eu queria fazer era:quão bom é esse modelo? Para verificar isso, tive que reunir o máximo de fontes de dados possível:satélites, aeronaves, sensores terrestres e balões. Um dos

coisas perniciosas que eu enfrentei foi o viés entre instrumentos. Então, eu estava procurando uma maneira de ajudar a lidar com esses preconceitos. Embora isso tenha acontecido há 30 anos, por acaso, me deparei com o aprendizado de máquina. Isso foi antes de atingir a grande adoção que tem hoje, e achei que fez um trabalho muito bom. Isso me fez olhar para o que mais poderíamos fazer com isso. Ao longo do caminho, fomos os primeiros a desenvolver a assimilação de dados químicos, que agora é usado por agências de todo o mundo como parte de seus sistemas de previsão da qualidade do ar.

Uma das coisas que fazemos na assimilação de dados é prestar muita atenção às incertezas. Parte do meu trabalho na NASA era criar produtos globais de dados de sensoriamento remoto. A maneira como isso funciona é usar as informações de sensoriamento remoto para criar um produto de dados, digamos, sobre a composição da atmosfera ou a superfície da terra ou a composição submarina, digamos, para os oceanos globais. Você obtém os dados de sensoriamento remoto do satélite e os compara com a verdade terrestre in-situ. Normalmente, coletar os dados de treinamento para fazer isso pode levar até uma década ou mais. É uma tarefa e tanto, porque você quer ser capaz de experimentar tantas condições e contextos diferentes quantos você provavelmente encontrará globalmente.

Nossa equipe robótica autônoma, em cerca de 15 minutos, coletou o mesmo volume de dados normalmente usado para criar esses produtos de dados de sensoriamento remoto baseados em satélite, embora para um local. Então, ele poderia entrar em um novo ambiente, um que nunca foi visto antes e rapidamente fazer observações coordenadas com precisão. Neste caso, a equipe era um barco e um veículo aéreo. Escolhemos o barco porque é um pouco mais desafiador do que uma medição terrestre devido aos problemas de acesso.

Este tipo de paradigma é útil não só para ajudar a criar rapidamente novos produtos, mas também para a calibração e validação de observações de satélite, também é útil para ajudar a manter as pessoas fora de perigo. Se você tem um ambiente muito contaminado, ou um ambiente no qual existem ameaças aos humanos que nele entram, a equipe do robô pode ir até lá e de forma coordenada coletar os dados apropriados.

O estudo em nosso artigo usou um veículo aéreo com um imager hiperespectral que coleta um grande volume de dados muito rapidamente. Portanto, mesmo nossos canais de dados mais rápidos no momento, talvez a comunicação celular 5G, não são rápidos o suficiente para lidar com a largura de banda necessária para transmitir imagens hiperespectrais. Resolvemos esse problema com o processamento integrado que nos permite criar esses produtos de dados em tempo real, usando aprendizado de máquina integrado e, em seguida, transmiti-los. Os produtos de dados finais, como a abundância de um contaminante, são uma quantidade muito menor de dados que podemos transmitir facilmente em tempo real.



Então, é realmente a capacidade de coletar rapidamente dados abrangentes que podem ser usados ​​para manter as pessoas fora de perigo, caracterizar ecossistemas, fazer parte de uma atividade de resposta a emergências, digamos, após um furacão que causou inundação de um bairro perto de uma fábrica de produtos químicos , ou qualquer número de tais aplicações:proliferação de algas nocivas, derramamentos de óleo ou várias aplicações agrícolas.

Ele foi projetado para ser um conjunto flexível de componentes. Assim como agora, estamos acostumados a ter uma loja de aplicativos em nosso telefone ou carros Tesla com atualizações sem fio - esses são sensores definidos por software com sua própria loja de aplicativos que podem ser atualizadas para melhorar seus recursos com o tempo.

Resumos técnicos: Você tem sensores voadores e sensores terrestres e envia as informações de volta para onde? Como tudo isso é processado? Onde é processado?

Dra. Lary: Pense nisso como um conjunto de sensores inteligentes. Há um conjunto de coisas:primeiro, há um sensor definido por software. O sensor definido por software seria um pacote de detecção inteligente, que combina o sistema de detecção física, digamos, uma câmera, uma câmera hiperespectral, uma câmera térmica ou um espectrômetro de massa. Pode ser qualquer dispositivo sensor com algum software/aprendizagem de máquina em volta dele, o que fornece a facilidade de fornecer alguns produtos de dados calibrados e/ou derivados. A maioria dos sensores precisará de algum tipo de calibração.

Ao acoplar o sensor com um wrapper de software/machine learning, podemos fazer uma calibração complicada que nos permite ter um sistema muito mais flexível. Portanto, esse sensor definido por software também pode ter uma loja de aplicativos própria. Um ou mais desses sensores definidos por software podem estar em uma plataforma que fornece ao sensor marcações de energia e hora e localização para todos os dados que ele produz, e também conectividade de comunicação e, talvez, quando relevante, mobilidade.

Resumos técnicos: Então, esta é uma plataforma física?

Dra. Lary: Sim — neste exemplo, tínhamos duas plataformas. Tínhamos o veículo aéreo robótico com a câmera hiperespectral e a câmera térmica e alguns outros sensores a bordo. E então a segunda plataforma era o barco robótico, que tinha todo um conjunto de sensores na água embaixo dele, incluindo sonar e vários sensores de composição e, no topo, uma estação meteorológica ultrassônica.

O sensor definido por software mais a plataforma formam uma sentinela. Essa sentinela é algo que normalmente pode se movimentar, fazer medições, processar dados e/ou transmiti-los.

Vários sentinelas trabalhando juntos podem formar uma equipe de robôs que pode cooperar entre si para fornecer mais recursos do que qualquer um deles pode fazer sozinho. Nesse caso, o robô aéreo com seus sensores está cooperando com o robô aquático – o barco robótico e seus sensores. Como estão na mesma rede, os robôs aéreos, por design, deslizam pelo mesmo caminho que o barco. O barco mede o que está na água, enquanto o robô aéreo está olhando para a água de cima com sua câmera hiperespectral remota e, usando aprendizado de máquina, aprende o mapeamento do que nossa câmera hiperespectral vê para a composição da água. Uma vez que tenha aprendido esse mapeamento, ele agora pode voar rapidamente sobre uma área muito mais ampla e nos fornecer, digamos, um mapa de composição de área ampla da concentração de óleo, a abundância de clorofila, carbono orgânico dissolvido ou qualquer componente da água que tenhamos. está interessado em.

Podemos fazer isso, nunca tendo visto esse ambiente antes – a equipe do robô coopera para coletar esses dados de treinamento. Os dados de treinamento são usados ​​pelo aprendizado de máquina para criar novos produtos de dados, como o mapa de composição de área ampla. Uma vez treinado esse modelo, o sensoriamento hiperespectral pode ser feito apenas a partir das medições aéreas, pode ser processado a bordo do veículo aéreo e os resultados transmitidos em tempo real. Normalmente, esse é um volume tão grande de dados que pode levar um tempo substancial para fazer o processamento de números. Como você não pode transmiti-lo em tempo real porque é muito grande, poder processá-lo na borda e depois transmiti-lo não apenas oferece uma nova capacidade, mas também reduz a latência, o atraso em poder até mesmo fazer tal tarefa.

Resumos técnicos: É como eles falam com sensores para processamento de borda para reduzir a quantidade de dados que você precisa enviar.

Dra. Lary: Exatamente.

Resumos técnicos: Você consideraria o trabalho que acabou de fazer como protótipo?

Dra. Lary: Sim, temos que começar em algum lugar, então este é o nosso primeiro passo.

Resumos técnicos: Como você prevê que ele seja usado na prática? Digamos que há um desastre e as autoridades querem usar seu sistema, o que eles fariam?

Dra. Lary: Este protótipo é apenas um exemplo de uma visão muito mais abrangente, é a implementação mínima do que poderia ser uma equipe multi-robô. Aqui tínhamos apenas dois robôs, o aéreo e o barco robótico. Escolhemos esses dois porque, ser capaz de sentir a água tem desafios de acesso. Mas essa equipe poderia facilmente ter muito mais membros, digamos, um robô andando no solo ou um veículo anfíbio que poderia transportar toda a equipe de robôs para um ambiente potencialmente perigoso para ser implantado remotamente.

Ele poderia responder a um derramamento de óleo como o Deepwater Horizon, onde vimos as imagens dos impactos na vida selvagem, a pesca sendo impactada e assim por diante – e derramamentos de óleo estão acontecendo o tempo todo. Ou pode haver derramamentos químicos. Por exemplo, quando o furacão Harvey atingiu Houston, com seu grande número de plantas de processamento, houve uma forte inundação dessas instalações e alguns bairros próximos foram cercados por três lados por água contaminada. Compostos orgânicos voláteis na água acabaram liberando gases, o que causou graves problemas respiratórios – as pessoas não sabiam o que estavam respirando, mas sabiam que isso as estava afetando. Os trabalhadores que iam limpar também estavam sendo afetados pela água contaminada.

Com nosso sistema de sensoriamento, você saberia exatamente com o que está lidando para poder adaptar sua resposta adequadamente. Mas também pode se aplicar a outros casos, como a proliferação de algas nocivas. Ou mesmo que não haja desastre, esse tipo de recurso pode ser usado para caracterizar ecossistemas e fazer levantamentos de infraestrutura. Digamos, estradas, ferrovias e pontes, onde os robôs autônomos com seus sensores podem rapidamente fazer medições detalhadas.

Agora imagine um cenário diferente. Digamos que você tenha os robôs aéreos como tivemos neste exemplo. Com o radar de abertura hiperespectral, térmico e, digamos, sintético, olhando para a textura de uma superfície, ele pode ser acoplado a um robô terrestre que possui um radar de penetração no solo à procura de vazios ou outras falhas. Seja um túnel ou uma estrada, as cavidades são formadas com o uso e o desgaste. Há também muitos cenários diferentes que você pode usar para a agricultura. Ele foi projetado para ser um sensor abrangente, que, como blocos de Lego, você pode usar juntos, como plug and play. Você seria capaz de usá-los rapidamente para uma grande variedade de casos de uso da vida real, onde decisões baseadas em dados em tempo real levam a mais transparência, mantendo as pessoas fora de perigo.

Resumos técnicos: Se alguém quiser usar este sistema, precisaria ter robôs e drones personalizados ou você teria um pacote que pudesse ser montado em um dispositivo existente? Como você imagina que isso se torne prático?

Dra. Lary: Eu tive que lutar por muitos anos para fazer as coisas funcionarem juntas. Uma coisa é comprar o equipamento, outra é os componentes trabalharem juntos. Tudo o que comprávamos estava na prateleira, porque nosso esforço foi para, na falta de uma palavra melhor, a inteligência, como a integração de software.

Dito isto, um passo fundamental para esses sensores projetados por software para os quais estamos usando o aprendizado de máquina é calibrar em relação a uma referência ou aprender em tempo real. Estamos usando o mesmo tipo de ideia para a qualidade do ar e distribuindo sensores de baixo custo pelas cidades que foram calibrados contra sensores de referência realmente caros. Podemos implantar sensores em uma escala de bairro, que anteriormente teria um custo proibitivo.

Ao ser capaz de calibrar os sensores de baixo custo contra uma referência da mesma forma que nesta equipe de robôs, calibramos as medições hiperespectrais feitas pela capacidade de sensoriamento remoto contra a composição in-situ, neste caso da água, e você pode conseguir coisas que de outra forma seriam muito, muito desafiadoras.

É realmente a rede de sensores, a rede de sentinelas autônomas trabalhando cooperativamente usando aprendizado de máquina, que permite fazer muito mais do que qualquer um desses componentes poderia fazer por conta própria.

Resumos técnicos: Você prevê que isso seja comercializado, construído por empresas privadas ou você vê o governo se envolvendo com isso? O que você vê daqui para frente?

Dra. Lary: Meu sonho daqui para frente é ter uma loja onde indivíduos, municípios ou empresas possam ter acesso imediato a esses tipos de recursos, e não apenas obter os sensores, mas também os serviços de back-end. Então, quando você conecta e toca essas coisas juntas, simplesmente funciona, e você não precisa passar por um longo desenvolvimento. A National Science Foundation categoriza isso como um sistema ciber-físico. Os sistemas ciberfísicos são basicamente sistemas de detecção acoplados a algoritmos para ajudá-lo a tomar decisões melhores e oportunas.

Então, meu sonho para tudo isso, e para o que vários de nós estamos trabalhando – e damos as boas-vindas a parceiros de todos os tipos – é ter um observatório social ciber-físico. Teria que ser uma instalação nacional como um observatório astronômico com um telescópio gigante, porque ninguém mais pode se dar ao luxo de fazer algo nessa escala.

Imagine agora que você tem um conjunto de recursos de detecção com vários componentes, que em nosso projeto são robôs aéreos e um barco robótico. Mas nosso sistema na verdade tem nove tipos de sentinela para vários tipos de situações. Podemos usar o sensoriamento remoto de satélites e radares meteorológicos. Além de veículos aéreos, temos sensores de nível de rua, transmitindo 24 horas por dia, 7 dias por semana, qualidade do ar, intensidade da luz, radiação ionizante e assim por diante. Temos robôs ambulantes, veículos terrestres elétricos e barcos robóticos, mas também temos sensores vestíveis.

Também queremos ser capazes de ter sensoriamento multiescala a partir do panorama global, a partir de um satélite. Então, digamos que agora voltemos ao exemplo do furacão Harvey. Muito antes de o furacão Harvey atingir a terra firme, podíamos vê-lo com os satélites e, à medida que se aproximava da terra, caía, com o radar meteorológico. Mas então, no minuto em que chega à terra firme, os detalhes do microambiente se tornam críticos. A altura exata de determinados riachos pode fazer uma grande diferença no ambiente local. Então, queremos ter informações tanto na escala global em grande escala quanto na escala hiperlocal, porque você e eu vivemos nessa escala muito localizada. Para ser capaz de detectar simultaneamente a grande escala e a escala local, realmente precisamos de várias sentinelas.

Mas a detecção vestível também é muito importante. Por exemplo, em alguns dos trabalhos paralelos que estamos fazendo, você vê manchetes que dizem que a má qualidade do ar deixa você “burro”. Mas quão burro é burro? Que poluentes podem nos tornar mais burros do que o resto? Então, em um de nossos estudos, estamos usando sensores biométricos abrangentes e medindo mais de 16.000 parâmetros por segundo, juntamente com sensores ambientais abrangentes de cerca de 2.000 parâmetros ambientais para ver como o estado ambiental afeta nossa resposta autonômica.

Tudo isso foi projetado para ser o sentido holístico para manter as pessoas fora de perigo, mas também para encontrar aquele elefante invisível na sala que pode estar afetando nossa saúde. Uma vez que percebemos o que é isso e podemos quantificá-lo, normalmente há um caminho óbvio de decisões baseadas em dados para melhorar as coisas e, em seguida, tomar as próximas etapas apropriadas para monitorar nosso progresso.

Esse é realmente o meu sonho – ser um catalisador para essa percepção holística para manter as pessoas fora de perigo:sentir a serviço da sociedade. Temos muitos protótipos que estamos tentando trazer ao ponto de serem utilizáveis. Portanto, sempre aceitamos parcerias para ajudar a acelerar isso – de governos, indivíduos, municípios locais, grupos comunitários, empresas. Estamos trabalhando com todos esses tipos de entidades.

Resumos técnicos: Parece que você está inventando um tipo totalmente novo de infraestrutura.

Dra. Lary: Estamos tentando – é basicamente impulsionado por necessidades. As informações holísticas podem fazer uma grande diferença, fornecendo-nos informações para tomarmos as decisões apropriadas. Não seria trivial fazer isso sem a infraestrutura apropriada.

Resumos técnicos: Parece maravilhoso, só espero que possa ser implementado algum dia.

Dra. Lary: Eu também eu também. Nós percorremos um longo caminho. Acho que estamos dando o primeiro passo.

A outra parte está fora do físico, que eu não consegui, é que você pode ter coisas como absenteísmo escolar, o que leva a resultados de aprendizado ruins. Mas muitas vezes acontece que o absenteísmo pode ser devido a coisas como asma. A asma é devido ao alto pólen ou poluição do ar, e na verdade é uma cascata de efeitos – o social está interagindo com o ambiental. Não queremos que isso seja apenas uma coisa de mão única. Queremos que os gatilhos para as observações sejam o que vemos diretamente do sensoriamento, mas também de questões sociais como grupos de resultados de saúde ou proliferação de algas, que podem acabar com a pesca ou um derramamento de óleo – é uma interação bidirecional.

Ter uma plataforma de dados que possa reunir todas essas camadas de parâmetros ambientais com as camadas sociais, como tendências de mortalidade, absenteísmo, incidência de câncer, etc., pode ajudar a tornar o processo de tomada de decisão para ajudar os indivíduos muito mais transparente e eficaz.

Resumos técnicos: No que você está trabalhando agora? Qual é o seu próximo passo?

Dra. Lary: O próximo passo para essa equipe de robôs em particular com os barcos e o veículo aéreo seria aprimorar vários aspectos dessa equipe autônoma. E então queremos estendê-lo para ter mais membros da equipe. Por exemplo, ter um veículo terrestre anfíbio que possa transportar tanto o barco quanto o veículo aéreo para um ambiente contaminado e, em seguida, implantá-los, ao mesmo tempo em que faz medições por conta própria. Além disso, fazer com que os robôs façam parte da correção.

São os diferentes componentes trabalhando juntos. O mesmo tipo de equipe também pode ser usado para observar a manutenção da infraestrutura, sejam estradas, ferrovias ou pontes, e também para outros aspectos da qualidade ambiental – qualidade do ar, qualidade da água. Então, realmente, essa prova de conceito foi apenas um protótipo para mostrar:“Ei, isso pode ser feito e agora gostaríamos de escalá-lo em tantas aplicações diferentes”.

Além disso, estes podem ser protótipos para missões de satélite. Você pode imaginar um oleoduto onde você tem uma prova de conceito em um veículo aéreo. Então poderia fazer a transição para outras plataformas como um CubeSat, por exemplo. Isso também pode fazer parte do processo de validação, coleta de dados para missões de satélite, bem como coleta de dados para qualquer um dos diferentes propósitos que mencionei.

Uma versão editada desta entrevista foi publicada na edição de junho de 2021 do Tech Briefs.