Como um Enxame de Robôs Mapeia Ambientes: Perguntas e Respostas com Dr. David Lary

Dr. David Lary da Universidade do Texas em Dallas lidera um grupo de pesquisa que desenvolveu uma equipe de dispositivos robóticos autônomos que podem ser usados em locais perigosos ou de difícil acesso para fazer levantamentos e coletar dados — fornecendo insights mais numerosos e rápidos do que seres humanos são capazes de fornecer.

Tech Briefs: O que o inspirou a usar múltiplos dispositivos autônomos para coletar conjuntos holísticos de dados ambientais?

Dr. David Lary: Bem, há duas partes nessa jornada. A primeira é a paixão que me impulsiona. Eu desejo profundamente ter sensoriamento holístico abrangente para manter as pessoas fora de perigo, de modo que possa haver insights acionáveis apropriados para tomar decisões oportunas. Essa é minha motivação, mas a jornada real para mim até este ponto começou alguns anos atrás — bem, quase 30 anos atrás.

Quando fiz meu doutorado em Cambridge, a pessoa que estava realmente por perto, que descobriu o buraco na camada de ozônio, era um cara chamado Joe Farman. Então, para meu doutorado, desenvolvi o primeiro modelo global 3-dimensional para depleção de ozônio. Era um módulo químico que era um plug-in para o modelo global usado pelo Centro Europeu de Previsão Meteorológica de Médio Alcance. Com meu plug-in, eu podia fazer simulações globais para química relacionada ao ozônio. E assim, a pergunta óbvia que eu queria fazer era: quão bom é este modelo? Para verificá-lo, tive que reunir o máximo de fontes de dados que pude: satélites, aeronaves, sensores baseados em solo e balões. Uma das

coisas perniciosas que enfrentei foi viés inter-instrumental. Então, eu estava procurando uma maneira de ajudar a lidar com esses vieses. Embora isso fosse 30 anos atrás, eu, por acaso, me deparei com aprendizado de máquina. Isso foi antes de atingir a grande adoção que tem hoje, e descobri que fazia um trabalho realmente bom. Isso me fez começar a olhar o que mais poderíamos fazer com isso. Ao longo do caminho, fomos as primeiras pessoas a desenvolver assimilação de dados químicos, que agora é usada por agências ao redor do mundo como parte de seus sistemas de previsão de qualidade do ar.

Uma das coisas que fazemos na assimilação de dados é prestar muita atenção às incertezas. Parte do meu trabalho na NASA foi criar produtos de dados de sensoriamento remoto globais. A forma como isso funciona é: você usa a informação de sensoriamento remoto para criar um produto de dados, digamos, sobre a composição da atmosfera ou da superfície terrestre ou composição subaquática, digamos, para oceanos globais. Você obtém os dados de sensoriamento remoto do satélite e os compara com a verdade de campo in-situ. Tipicamente, coletar os dados de treinamento para fazer isso pode levar até uma década ou mais. É uma tarefa considerável porque você quer ser capaz de amostrar tantas condições e contextos diferentes quanto provavelmente encontrará globalmente.

Nossa equipe robótica autônoma, em cerca de 15 minutos, coletou o mesmo volume de dados que é tipicamente usado para criar aqueles produtos de dados de sensoriamento remoto baseados em satélite, embora para um local. Então, poderia entrar em um novo ambiente, que nunca viu antes, e fazer observações precisamente coordenadas rapidamente. Neste caso, a equipe era um barco e um veículo aéreo. Escolhemos o barco porque isso é um pouco mais desafiador do que uma medição baseada em solo por causa das questões de acesso.

Este tipo de paradigma é útil não apenas para ajudar a criar rapidamente novos produtos, mas também para a calibração e validação de observações de satélite, também é útil para ajudar a manter as pessoas fora de perigo. Se você tem um ambiente muito contaminado, ou um ambiente no qual há ameaças para humanos que entram nele, a equipe robótica pode ir lá e de forma coordenada coletar os dados apropriados.

O estudo em nosso artigo usou um veículo aéreo com um imageador hiperspectral que coleta um enorme volume de dados muito rapidamente. Então, mesmo nossos canos de dados mais rápidos agora, talvez comunicação celular 5G, não são rápidos o suficiente para lidar com a largura de banda necessária para streaming de imagens hiperspectrais. Abordamos esse problema com processamento a bordo que nos permite criar esses produtos de dados na hora, usando aprendizado de máquina a bordo, e então transmiti-los. Os produtos de dados finais, digamos a abundância de um contaminante, é uma quantidade muito menor de dados que podemos facilmente transmitir em tempo real.

Então, é realmente a capacidade de coletar rapidamente dados abrangentes que poderiam ser usados para manter as pessoas fora de perigo, caracterizar ecossistemas, fazer parte de uma atividade de resposta a emergência, digamos após um furacão que causou inundação de um bairro perto de uma fábrica química, ou qualquer número de tais aplicações: florações algais nocivas, derramamentos de óleo, ou várias aplicações agrícolas.

É projetado para ser um conjunto flexível de componentes. Assim como agora estamos acostumados a ter uma loja de aplicativos em nosso telefone, ou carros Tesla tendo atualizações over-the-air — estes são sensores definidos por software com sua própria loja de aplicativos que podem ser atualizados para melhorar suas capacidades com o tempo.

Tech Briefs: Você tem sensores voadores e sensores de solo e envia a informação de volta para onde? Como tudo isso é processado? Onde é processado?

Dr. Lary: Pense nisso como um conjunto de sensores inteligentes. Há um conjunto de coisas: primeiro há um sensor definido por software. O sensor definido por software seria um pacote de sensoriamento inteligente, que combina o sistema de sensoriamento físico, digamos uma câmera, uma câmera hiperspectral, câmera térmica, ou um espectrômetro de massa. Poderia ser qualquer dispositivo de sensoriamento com algum software/aprendizado de máquina envolvido, que então fornece a facilidade de fornecer alguns produtos de dados calibrados e/ou derivados. A maioria dos sensores precisará de calibração de algum tipo.

Ao acoplar o sensor com um wrapper de software/aprendizado de máquina, podemos fazer uma calibração complicada que nos permite ter um sistema muito mais flexível. Então, esse sensor definido por software também pode ter sua própria loja de aplicativos. Um ou mais desses sensores definidos por software podem estar em uma plataforma que fornece ao sensor energia e carimbos de tempo e localização para todos os dados que produz, e também conectividade de comunicação, e talvez, onde relevante, mobilidade.

Tech Briefs: Então, esta é uma plataforma física?

Dr. Lary: Sim — neste exemplo tínhamos duas plataformas. Tínhamos o veículo aéreo robótico com a câmera hiperspectral e a câmera térmica e alguns outros sensores a bordo. E então a segunda plataforma era o barco robótico, que tinha um conjunto completo de sensores na água debaixo dele, incluindo sonar e vários sensores de composição e no topo dele, uma estação meteorológica ultrassônica.

O sensor definido por software mais a plataforma forma uma sentinela. Esta sentinela é algo que pode tipicamente se mover, fazer medições, processar dados e/ou transmiti-los.

Múltiplas sentinelas trabalhando juntas podem formar uma equipe de robôs que podem cooperar entre si para fornecer mais capacidades do que qualquer uma delas pode fazer sozinha. Neste caso, o robô aéreo com seus sensores está cooperando com o robô aquático — o barco robótico e seus sensores. Como estão na mesma rede, os robôs aéreos, por design, planar sobre o mesmo caminho que o barco. O barco mede o que está na água, enquanto o robô aéreo olha para baixo na água de cima com sua câmera hiperspectral remota e, usando aprendizado de máquina, aprende o mapeamento do que nossa câmera hiperspectral vê para a composição da água. Uma vez que aprendeu esse mapeamento, agora pode voar rapidamente sobre uma área muito mais ampla e nos fornecer, digamos, um mapa de composição de área ampla da concentração de óleo, abundância de clorofila, carbono orgânico dissolvido, ou qualquer componente da água em que estivermos interessados.

Podemos fazer isso, sem nunca ter visto aquele ambiente antes — a equipe robótica coopera para reunir esses dados de treinamento. Os dados de treinamento são usados pelo aprendizado de máquina para criar novos produtos de dados como o mapa de composição de área ampla. Uma vez que esse modelo foi treinado, o sensoriamento hiperspectral pode ser feito apenas a partir das medições aéreas, pode ser processado a bordo do veículo aéreo e então os resultados transmitidos em tempo real. Normalmente, esse é um volume de dados tão grande que pode levar um tempo substancial para fazer o processamento. Como você não pode transmiti-lo em tempo real porque é tão grande, ser capaz de processá-lo na borda a bordo e então transmiti-lo, não apenas lhe dá uma nova capacidade, mas também reduz a latência, o atraso em ser capaz de até fazer tal tarefa.

Tech Briefs: É como o que eles falam sobre sensores para processamento de borda para reduzir a quantidade de dados que você tem que enviar.

Dr. Lary: Exatamente.

Tech Briefs: Você consideraria o trabalho que você acabou de fazer como prototipagem?

Dr. Lary: Sim, temos que começar em algum lugar, então este é nosso primeiro passo.

Tech Briefs: Como você prevê que seria usado na prática — digamos que há um desastre e as autoridades querem usar seu sistema, o que fariam?

Dr. Lary: Este protótipo é apenas uma instância de uma visão muito mais abrangente, é a implementação mínima do que poderia ser uma equipe multi-robô. Aqui tínhamos apenas dois robôs, o aéreo e o barco robótico. Escolhemos aqueles dois porque, ser capaz de detectar água tem desafios de acesso. Mas esta equipe poderia facilmente ter muitos mais membros, digamos um robô andante no solo, ou um veículo anfíbio que poderia carregar toda a equipe robótica para um ambiente potencialmente perigoso para ser implantado remotamente.

Poderia responder a um derramamento de óleo como Deepwater Horizon, onde vimos as fotos dos impactos na vida selvagem, pescas sendo impactadas, e assim por diante — e derramamentos de óleo acontecem o tempo todo. Ou poderia haver derramamentos químicos. Por exemplo, quando o Furacão Harvey atingiu Houston, com seu grande número de plantas de processamento, houve uma forte inundação daquelas instalações e alguns bairros próximos foram cercados em três lados por água contaminada. Compostos orgânicos voláteis na água acabaram liberando gases, o que causou problemas respiratórios severos — as pessoas não sabiam o que estavam respirando, mas sabiam que estava afetando elas. Trabalhadores entrando para limpar também estavam sendo afetados pela água contaminada.

Com nosso sistema de sensoriamento, você saberia exatamente com o que está lidando para que pudesse adaptar sua resposta apropriadamente. Mas poderia se aplicar igualmente a outros casos como florações algais nocivas. Ou mesmo se não há desastre, este tipo de capacidade pode ser usado para caracterizar ecossistemas e fazer levantamentos de infraestrutura. Digamos, estradas, ferrovias e pontes, onde os robôs autônomos com seu sensoriamento podem rapidamente fazer medições detalhadas.

Agora imagine um cenário diferente. Digamos que você tenha os robôs aéreos muito como tínhamos neste exemplo. Com o hiperspectral, térmico, e digamos radar de abertura sintética, olhando a textura de uma superfície, poderia ser acoplado com um robô de solo que tem radar de penetração no solo procurando vazios ou outras falhas. Seja um túnel ou uma estrada, cavidades são formadas com uso e intemperismo. Também há muitos cenários diferentes que você poderia usar para agricultura. É projetado para ser sensoriamento abrangente, que como blocos de Lego você pode usar juntos, como plug-and-play. Você seria rapidamente capaz de usá-los para uma variedade inteira de casos de uso da vida real, onde decisões baseadas em dados em tempo real levam a mais transparência, mantendo as pessoas fora de perigo.

Tech Briefs: Se alguém quiser usar este sistema, precisaria ter robôs e drones personalizados, ou você teria um pacote que poderia montar em um dispositivo existente? Como você vê isso se tornando prático?

Dr. Lary: Tive que lutar por muitos anos para fazer as coisas funcionarem juntas. É uma coisa comprar o equipamento, é outra que os componentes funcionem juntos. Tudo que compramos foi off-the-shelf, porque nosso esforço foi no, por falta de palavra melhor, o "inteligente", como a integração de software.

Dito isso, um passo-chave para esses sensores projetados por software para os quais estamos usando o aprendizado de máquina, é calibrar contra uma referência ou aprender na hora. Estamos usando o mesmo tipo de ideia para qualidade do ar e distribuindo sensores de baixo custo por cidades que foram calibrados contra sensores de referência realmente caros. Podemos implantar sensores em escala de bairro, o que anteriormente seria proibitivo em custo.

Ao ser capaz de calibrar os sensores de baixo custo contra uma referência da mesma forma que nesta equipe robótica, calibramos as medições hiperspectrais feitas pela capacidade de sensoriamento remoto contra a composição in-situ, neste caso da água, e você pode alcançar coisas que de outra forma seriam muito, muito desafiadoras.

É realmente a rede de sensores, a rede de sentinelas autônomas trabalhando juntas cooperativamente usando aprendizado de máquina, que permite fazer muito mais do que qualquer um daqueles componentes poderia fazer sozinho.

Tech Briefs: Você prevê isso sendo comercializado, construído por empresas privadas ou vê o governo se envolvendo? O que você vê daqui para frente?

Dr. Lary: Meu sonho daqui para frente é ter uma loja onde indivíduos, municípios ou empresas, possam ter acesso pronto a esses tipos de capacidades, e não apenas obter os sensores, mas também os serviços de back-end. Para que quando você conectar e usar essas coisas, simplesmente funcione, e você não tenha que passar por um longo desenvolvimento. A National Science Foundation categoriza isso como um sistema ciber-físico. Sistemas ciber-físicos são basicamente sistemas de sensoriamento acoplados com algoritmos para ajudar você a tomar decisões melhores e oportunas.

Então, meu sonho para tudo isso, e no que vários de nós estamos trabalhando — e recebemos parceiros de todos os tipos — é ter um observatório ciber-físico-social. Teria que ser uma instalação nacional assim como um observatório astronômico com um telescópio gigante, porque ninguém mais pode pagar para fazer algo nessa escala.

Imagine agora que você tem um conjunto de capacidades de sensoriamento com múltiplos componentes, que em nosso projeto, são robôs aéreos e um barco robótico. Mas nosso sistema na verdade tem nove tipos de sentinelas para vários tipos de situações. Podemos usar sensoriamento remoto de satélites e radares meteorológicos. Além de veículos aéreos, temos sensores de nível de rua, transmitindo 24/7 qualidade do ar, intensidade de luz, radiação ionizante e assim por diante. Temos robôs andantes, temos veículos terrestres elétricos e barcos robóticos, mas também temos sensores vestíveis.

Também queremos ser capazes de ter sensoriamento multi-escala do panorama global, de um satélite. Então, digamos que agora voltemos ao exemplo do Furacão Harvey. Muito antes do Furacão Harvey tocar terra, poderíamos vê-lo com satélites e então, à medida que se aproximava da terra, com radar meteorológico. Mas no minuto em que toca terra, os detalhes do micro-ambiente tornam-se críticos. A altura exata de correntes particulares poderia fazer uma diferença realmente grande para o ambiente local. Então, queremos ter informação tanto na escala global grande quanto na hiper-local porque você e eu vivemos nessa escala muito localizada. Para ser capaz de sentir simultaneamente tanto grande escala quanto local, realmente precisamos de múltiplas sentinelas.

Mas o sensoriamento vestível também é realmente importante. Por exemplo, em alguns dos trabalhos paralelos que estamos fazendo, você vê manchetes que dizem que má qualidade do ar te torna "burro". Mas quão burro é burro? Quais poluentes podem nos tornar mais burros que o resto? Então, em um de nossos estudos, estamos usando sensoriamento biométrico abrangente e medindo mais de 16.000 parâmetros por segundo, junto com sensoriamento ambiental abrangente de cerca de 2.000 parâmetros ambientais para ver como o estado ambiental afeta nossa resposta autonômica.

Tudo isso é projetado para ser o sensoriamento holístico para manter as pessoas fora de perigo, mas também para encontrar aquele elefante invisível na sala que pode estar impactando nossa saúde. Uma vez que percebemos o que é e podemos quantificá-lo, normalmente há um caminho óbvio de decisões baseadas em dados para melhorar as coisas e então dar os próximos passos apropriados para monitorar nosso progresso.

Esse é realmente meu sonho — ser um catalisador para este sensoriamento holístico para manter as pessoas fora de perigo: sensoriamento a serviço da sociedade. Temos muitos protótipos que estamos tentando levar ao ponto que possam ser usáveis. Então, sempre recebemos parcerias para ajudar a acelerar isso — de governos, de indivíduos, municípios locais, grupos comunitários, empresas. Estamos trabalhando com todos esses tipos de entidades.

Tech Briefs: Parece que você está inventando um tipo totalmente novo de infraestrutura.

Dr. Lary: Estamos tentando — é basicamente impulsionado por necessidades. Informação holística pode fazer uma grande diferença nos dando informação para tomar decisões apropriadas. Seria não trivial fazer isso sem a infraestrutura apropriada.

Tech Briefs: Soa maravilhoso, só espero que possa ser implementado algum dia.

Dr. Lary: Eu também, eu também. Chegamos longe. Acho que estamos dando o primeiro passo.

O outro bit é fora do físico, que eu não cheguei, é que você pode ter coisas como absenteísmo escolar, que então leva a maus resultados de aprendizagem. Mas muitas vezes descobre-se que o absenteísmo pode ser devido a coisas como asma. A asma é devida a alto pólen ou poluição do ar, e é na verdade uma cascata de efeitos — o social está interagindo com o ambiental. Não queremos que isso seja apenas uma coisa de mão única. Queremos que os gatilhos para as observações sejam tanto o que vemos do sensoriamento diretamente, mas também de questões sociais como clusters de resultados de saúde ou florações algais, que podem acabar com pescas, ou um derramamento de óleo — é uma interação de duas vias.

Ter uma plataforma de dados que possa reunir todas essas camadas de parâmetros ambientais com as camadas sociais como tendências de mortalidade, absenteísmo, incidência de câncer, etc. pode ajudar a tornar o processo de tomada de decisão para ajudar indivíduos, muito mais transparente e eficaz.

Tech Briefs: No que você está trabalhando agora? Qual é seu próximo passo?

Dr. Lary: O próximo passo para esta equipe robótica específica com os barcos mais o veículo aéreo seria melhorar vários aspectos daquela equipe autônoma. E então queremos estendê-la para ter mais membros da equipe. Por exemplo, ter um veículo terrestre anfíbio que possa talvez carregar tanto o barco quanto o veículo aéreo para um ambiente contaminado, e então implantá-los, enquanto também faz medições por conta própria. Também, fazer os robôs fazerem parte da remediação.

São os diferentes componentes trabalhando juntos. O mesmo tipo de equipe também pode ser usado para olhar manutenção de infraestrutura, seja estradas ou trilhos ou pontes, e também para outros aspectos da qualidade ambiental — qualidade do ar, qualidade da água. Então, realmente, esta prova de conceito foi apenas um protótipo para mostrar: "Ei, realmente isso pode ser feito e agora gostaríamos de escalar em tantas aplicações diferentes."

Também, estes podem ser protótipos para missões de satélite. Você pode imaginar um pipeline onde você tem uma prova de conceito em um veículo aéreo. Então poderia transicionar para outras plataformas como um CubeSat, por exemplo. Isso também pode ser parte do processo de validação, coletando dados para missões de satélite, assim como coletando dados para qualquer um dos diferentes propósitos que mencionei.

Uma versão editada desta entrevista apareceu na edição de junho de 2021 da Tech Briefs.