Dando aos AVs uma melhor percepção da audição

Se os motoristas podem ouvir uma sirene, por que os veículos autônomos não conseguem o mesmo?
Em situações de emergência, como acidentes de trânsito graves, cada segundo conta e uma faixa de resgate suficientemente larga pode fazer a diferença entre a vida e a morte. Se os motoristas podem ouvir uma sirene, por que os veículos autônomos não podem fazer o mesmo? A Avelabs, sediada no Cairo, no Egito, desenvolveu uma solução de sensor que dá aos veículos a sensação de audição para complementar a visão e melhorar os sistemas de direção autônoma.

“Visão é o nosso sentido mais importante ao avaliar o meio ambiente”, disse Amr Abdelsabour, diretor de Gerenciamento de Produtos da Avelabs, em uma sessão de painel no AutoSens Bruxelas deste ano. “No entanto, como motoristas humanos, não dependemos apenas da visão. Quando estamos dirigindo, também dependemos de nossa audição. Há muitas informações que podemos ouvir, mas não vemos como uma sirene vindo de trás. Ou, se estivermos dirigindo em um cruzamento sem saída e um carro estiver chegando, não podemos realmente ver, mas podemos ouvir. ”

No AutoSens, a Avelabs apresentou o AutoHears, um sistema de detecção acústica que detecta, classifica e localiza sons para ajudar a entender o ambiente complexo do veículo. AutoHears, que inclui o hardware, o invólucro mecânico e o software que executa os recursos de detecção, visa executar a detecção de veículos de emergência, campos obscurecidos, desastres naturais (por exemplo, deslizamentos de rochas) e eventos de segurança (por exemplo, colisões próximas, tiros, explosões) como autodiagnóstico de veículos e reconhecimento de fala.

Em uma discussão de acompanhamento com EE Times Europe , Abdelsabour explicou o que é necessário para dar aos veículos a sensação de audição, como o software e o hardware dependem um do outro, onde e como o processo de fusão de dados é realizado e quando podemos esperar que o AutoHears pegue a estrada?

EE Times Europe:Você poderia descrever os tipos de sons que o AutoHears pode ou não detectar?

Amr Abdelsabour: Começamos com sons de veículos em execução (por exemplo, pneus, motor, freios e sons aerodinâmicos), bem como buzinas e sirenes de diferentes padrões em todo o mundo. Essas classes foram testadas e demonstradas até agora. No momento, estamos trabalhando para adicionar novas classes, como desastres naturais e detecção de colisão, mas eles ainda estão na fase de desenvolvimento de recursos. Um roteiro para o desenvolvimento de recursos está em construção.

EE Times Europe:AutoHears detecta sons de todos os ângulos. Existem limitações físicas?

Abdelsabour: AutoHears pode detectar sons de todos os ângulos, e não só isso, mas também sons vindos de trás de paredes e outras obstruções. Claro que existem limitações físicas. A medição do som é um processo de detecção relativo, onde o som é detectado em relação ao seu ambiente. Isso significa que, se o ambiente fosse silencioso, o AutoHears seria capaz de detectar sons fracos e fracos, como bicicletas e até mesmo passos. No entanto, se o ambiente fosse barulhento, o AutoHears só seria capaz de detectar os sons mais significativos. Assim, por exemplo, se uma sirene alta estivesse ativa nas proximidades, não seríamos capazes de detectar os sons do motor de outros veículos, pois o som alto cobriria o som baixo. No entanto, estamos trabalhando para descobrir nossa limitação física exata em números objetivos para sermos capazes de fornecer limitações confiáveis ​​aos nossos clientes.

EE Times Europe:E sobre a classificação dos sons?

Abdelsabour: A classificação de sons é um processo complexo, principalmente quando se trata de sons não padronizados. Se estamos falando de sons padronizados, como sirenes, o processo de classificação se torna fácil e bastante direto e pode ser feito usando algoritmos baseados em modelos. No entanto, a detecção de veículo em execução é um processo mais complexo, porque é uma combinação não padronizada de sons compostos por diferentes componentes físicos criando os sons finais que nossos ouvidos ou sensores ouvem. É aqui que entram em ação vários métodos de inteligência artificial, para poder classificar sons com base no aprendizado de máquina por meio de dados que foram coletados e detectar e classificar os sons de acordo com o que aprenderam. Temos o orgulho de dizer que, no AutoHears, implantamos uma combinação de algoritmos baseados em modelos e aprendizado de máquina para classificar os sons, dependendo dos sons alvo a serem detectados.

EE Times Europe:Como os dados de áudio se fundem com os dados de imagem de câmeras ou outros sensores embutidos no carro?

Abdelsabour: Como no caso dos motoristas humanos, o som complementa a visão. É assim que vemos o AutoHears e o desenvolvemos de acordo. Como estamos preocupados principalmente com a parte de sensoriamento acústico, estamos entregando as informações de sensoriamento acústico brutas que podem ser fundidas com outros sensores, como câmeras e radares, para classificar e localizar objetos, de modo a usar os pontos fortes de cada sensor separado e superar suas fraquezas . Assim, por exemplo, combinar um radar, uma câmera e AutoHears pode levar à seguinte detecção de um veículo em nosso ponto cego:O radar pode detectar o obstáculo e estimar com precisão sua distância (já que os radares são altamente confiáveis ​​desse aspecto), o a câmera classificaria aquele objeto (se houver uma câmera olhando para a direção onde o veículo alvo reside), AutoHears confirmaria a detecção com sua própria classificação e localização deste veículo, bem como adicionaria as informações se aquele veículo estiver fazendo algum som como como tocar uma buzina ou emitir uma sirene. A combinação de todos os sensores juntos torna a fusão do sensor uma reconstrução altamente conclusiva do ambiente circundante da melhor maneira possível.

EE Times Europe:Por que você decidiu construir um sistema completo? Por que foi essencial lidar com todos os aspectos de software e hardware?

Amr Abdelsabour, Avelabs
Abdelsabour: O AutoHears como sistema de detecção é um dos primeiros sistemas de detecção desse tipo, ou seja, um sistema de detecção acústica. Como a Avelabs é uma empresa de software, inicialmente queríamos que nosso foco principal fosse apenas detectar os recursos de uma perspectiva de software e não focar nas peças de hardware. No entanto, sem hardware de detecção, não pode haver recursos de detecção. O hardware de detecção é o principal habilitador dos recursos de detecção, uma vez que o sensor não é tão simples quanto colocar um microfone no veículo para permitir a detecção, mas sim o hardware deve ser projetado com cuidado para permitir a localização precisa dos arredores. Para localizar um objeto, os algoritmos de localização contam com fatores físicos, como a diferença de tempo de chegada do som, que só pode ser detectada quando o hardware é projetado de forma a permitir a detecção. Existem vários fatores de hardware envolvidos, como o número de microfones, a distância entre eles e sua colocação no veículo. Todos esses requisitos de hardware nos forçaram a projetar e construir nós mesmos o hardware para habilitar os recursos de detecção acústica que oferecemos. Simplesmente falando, não existe nenhuma empresa que ofereça hardware de detecção acústica externa para veículos, por isso tivemos que desenvolvê-lo nós mesmos.

EE Times Europe:Você pode me dar alguns detalhes sobre o sensor acústico em si? E na CPU onde o algoritmo está sendo executado?

Abdelsabour: Decidimos por uma arquitetura centralizada no que diz respeito ao sistema de sensor e processador. A decisão é seguir a tendência que todas as empresas automotivas estão tomando atualmente, que é contar com sensores que detectam os dados brutos (câmeras, radares, ...). Os dados brutos são então enviados para um controlador de domínio centralizado onde ocorre a fusão do sensor. É por isso que construímos o sensor acústico para ser um sensor de dados brutos, detectando todas as informações acústicas e enviando-as para o controlador de domínio centralizado onde os algoritmos de detecção são executados. Como você sabe, nós mesmos projetamos o sensor acústico, mas usamos controladores de domínio automotivos prontos para uso, como o Xilinx FPGA e o TI ADAS TDA SoC como a CPU que executa nossos algoritmos. No entanto, como cada cliente usa seu próprio controlador de domínio, estamos usando esses processadores apenas como hardware de referência. Como podemos simplesmente ser implantados em qualquer tipo de controlador de domínio, dadas as personalizações necessárias.

EE Times Europe:Por que você diz que AutoHears é “dependente do hardware”?

Abdelsabour: O AutoHears como um sensor e como algoritmos de detecção tem componentes genéricos e componentes específicos de hardware, dependendo dos recursos desejados pelo cliente e do controlador de processamento que o cliente usa. Assim, por exemplo, se o cliente deseja apenas a direção do evento sonoro (sem a distância do objeto emissor do som), é necessário utilizar apenas um sensor. Mas se o cliente também deseja detectar a distância do objeto, é necessário usar vários sensores para triangular a distância do objeto. Este é um recurso dependente do hardware, por exemplo.

O outro lado em relação à dependência de hardware é o controlador de domínio usado para processar os recursos de detecção. O desempenho de nossos recursos depende dos processadores que os executam e de seus recursos. Existe uma compensação entre o desempenho e os requisitos de processamento do hardware. Portanto, por exemplo, se quisermos que o AutoHears detecte com uma resolução de um grau, isso exigirá mais recursos de processamento. Se diminuirmos nosso desempenho desejado, os requisitos de processamento também diminuirão. Além disso, cada novo hardware virá com algumas personalizações específicas de hardware para a camada de abstração do microcontrolador, como os drivers do sensor AutoHears que seriam implementados no ambiente de software básico do cliente.

EE Times Europe:Onde você está em termos de desenvolvimento? Quando você planeja testar o AutoHears em vias públicas? Quando você espera que o AutoHears esteja em produção?

Abdelsabour: AutoHears pode ser considerado na fase de desenvolvimento do produto. Já provamos o conceito do ponto de vista técnico e financeiro, realizamos demonstrações e testes para comprovar a viabilidade e atualmente estamos trabalhando na “produção” do desenvolvimento. Isso inclui a validação de vias públicas, bem como a aquisição de certificações automotivas. Essas são as duas etapas necessárias para irmos do desenvolvimento do produto à comercialização. Essas são etapas necessárias antes de estar pronto para a produção.

EE Times Europe:Você tem primeiros clientes testando a solução?

Abdelsabour: Embora tenhamos começado a anunciar o produto na AutoSens em setembro, já estamos discutindo com os clientes a respeito dos testes da solução. Como estamos tentando lançar um novo produto no mercado automotivo, esperamos contar com nossos clientes e parceiros para aprender mais sobre as expectativas e requisitos do mercado, bem como para integrar nossos sensores em frotas de veículos de coleta de dados para coletar mais dados para treinamento e para fins de validação.

---

Conteúdos Relacionados:

• O processamento acústico em tempo real bem-sucedido requer um planejamento cuidadoso
• Combinando hardware e software para um áudio melhor
• Dispositivos de baixo consumo de energia podem ouvir com uma cóclea de silício
• As soluções ANC adaptáveis ​​trazem recursos aprimorados de áudio

Para obter mais informações sobre o Embedded, assine o boletim informativo semanal da Embedded por e-mail.