Visualizando valor na velocidade da luz

A indústria global de inspeção de alimentos precisa de ferramentas mais novas e mais precisas para atender às rigorosas regulamentações governamentais. De culturas especiais a frutos do mar, carnes e aves, só o mercado de testes de segurança alimentar está avaliado em impressionantes US$ 19,5 bilhões em 2021 e deve chegar a US$ 28,6 bilhões até 2026 ¹ . Este é um exemplo em que o Hyperspectral Imaging (HSI) representa uma ferramenta que pode aliviar tarefas tediosas e trabalhosas, além de trazer um novo nível de consistência para algumas aplicações de classificação historicamente subjetivas.

Desenvolvido originalmente para aplicações de sensoriamento remoto envolvendo imagens de aeronaves e satélites, o HSI tornou-se uma técnica comercialmente viável para aplicações avançadas de visão de máquina. Os sensores HSI agem como milhares ou milhões de espectrômetros fornecendo as assinaturas químicas da luz refletida em cada pixel de uma imagem. Os sensores do Headwall podem ser ajustados para faixas de comprimento de onda além da capacidade do olho humano de discernir, desde as faixas de comprimento de onda ultravioleta e visível (UV e VIS) até as faixas de comprimento de onda do infravermelho próximo (VNIR, NIR e SWIR).

Os sensores de imagem hiperespectrais podem distinguir características espectrais que escapam ao olho humano e imagens coloridas convencionais. Esses recursos podem detectar materiais estranhos potencialmente nocivos e fornecer um meio de classificar e classificar materiais, como produtos alimentícios, cujo valor geralmente está vinculado a características que geralmente são melhor e mais consistentemente medidas por um sistema HSI do que um humano sujeito à fadiga ou à efeitos de algo tão simples como quantidades variadas de café a cada dia 2.

Os sistemas que utilizam HSI enfrentaram obstáculos significativos na implantação industrial devido à necessidade de lidar com quantidades comparativamente vastas de dados brutos e abordar a relativa complexidade do desenvolvimento do modelo de classificação espectral. No entanto, as plataformas HSI mais recentes, como o sistema de imagem Hyperspec® MV.X da Headwall, combinam um espectrômetro de imagem de alto desempenho com poderosa computação e software incorporados para criar rapidamente modelos de classificação espectral para extrair resultados acionáveis ​​em tempo real e enviar instruções pela rede local para agir ou coletar dados de monitoramento e controle.

Uma maneira diferente de ver as coisas

O olho humano, por mais capaz que seja, só consegue detectar imagens que se enquadram no espectro de luz visível entre 400 nm e 700 nm. Existem apenas três cores dentro dessa faixa que se enquadram em amplas regiões RGB (vermelho, verde ou azul), e a sensibilidade e a percepção de cores de cada pessoa variam muito. No entanto, a indústria de inspeção de alimentos dependeu de humanos e sensores RGB para detectar problemas e classificar produtos por séculos. Isso inclui objetos estranhos perdidos no início do processo de colheita e até condições de doenças difíceis de detectar que podem ser amplamente invisíveis para qualquer um desses métodos tradicionais. As apostas são altas:a preferência do consumidor, a capacidade de atender às novas regulamentações governamentais e o valor do acionista corporativo podem depender da precisão e eficácia de como a inspeção é implementada em todas as facetas da indústria de alimentos.

Os sensores de “imagem espectral” podem ser subdivididos em duas categorias. Os sensores multiespectrais compreendem um punhado de bandas espectrais, de quatro a dezenas, enquanto os sensores hiperespectrais fornecem uma aparência muito mais granular (ou seja, alta resolução espectral), pois podem capturar literalmente centenas de bandas espectrais por vez. Ambos fornecem uma imagem muito mais completa dos alimentos sob inspeção porque vão muito além do simples paradigma RGB tão comum e tradicionalmente usado.

Os humanos veem as cores como combinações de vermelho (1), verde (2) e azul (3) em uma região muito pequena do espectro eletromagnético. A adição das bandas 4 e 5 representam um exemplo multiespectral, onde mais de 3 áreas do espectro são capturadas e analisadas. A imagem hiperespectral utiliza centenas de bandas do espectro em vez de apenas algumas. Isso permite o alto desempenho de um espectrômetro de medição pontual, mas em cada pixel de uma imagem que pode consistir em milhões de pixels.

Um sistema de visão de máquina "avançado" para os fins desta discussão pode consistir em um ou mais sensores de imagem espectrais, uma fonte de iluminação adequada e um computador que coleta os dados da imagem enquanto se comunica com a robótica a jusante. O sensor apresenta dados de imagem para o computador em tempo real, e esses dados de imagem são então enviados para o sistema robótico. O sistema robótico interpreta a imagem e entende imediatamente o que fazer com base em algoritmos e instruções. Em alguns casos, ele pode simplesmente pegar e excluir um pedaço de material estranho (aprovado/reprovado). Em outros casos, direcionaria certas colorações de um produto para outra linha para processamento posterior (classificação do produto). Para aplicações de reciclagem, ele pode classificar diferentes tipos de plásticos de aparência semelhante ao longo de linhas de alta velocidade.

O sensor hiperespectral não é um dispositivo autônomo, mas sim uma parte importante e muito precisa de todo um sistema avançado de visão de máquina. Por uma estimativa ³ , a visão de máquina foi empregada em menos de 20% das aplicações para as quais é potencialmente útil. Portanto, é sensato discutir maneiras pelas quais essa poderosa tecnologia de imagem pode tornar os processos de inspeção melhores e economicamente mais eficientes.

O sensor HSI pode ser pensado como um “novo par de olhos” que atua como sentinela de guarda nas linhas de inspeção, independentemente da duração do ciclo de produção típico. Sua capacidade de “conversar” com outros elementos do sistema é uma razão crucial pela qual a detecção hiperespectral é favorecida como uma nova ferramenta para a indústria com capacidade de superar em muito as unidades RGB.

Um sensor hiperespectral “pushbroom” captura imagens digitalizando linha por linha através de uma fenda (esquerda), cada linha contendo pixels que salvam as características espectrais do assunto (centro). À medida que o sensor se move em relação à área ou objeto que está sendo digitalizado, um conjunto de dados é criado (à direita). O conjunto de dados resultante pode ser pensado como uma pilha onde cada camada representa uma “banda” específica (uma pequena faixa de comprimentos de onda). Os pixels são unidos para formar uma imagem em que cada pixel contém não apenas valores RGB convencionais, mas centenas de valores ao longo da faixa de comprimento de onda do sensor.

A função básica de um sensor hiperespectral é capturar fatias individuais de uma cena de entrada através de uma fenda física no caso de um design de 'pushbroom' e quebrar cada fatia em componentes de comprimento de onda discretos que são então apresentados a uma matriz de plano focal (FPA) . Uma grade de difração gerencia a tarefa de dispersar as fatias da imagem em componentes discretos de comprimento de onda. A grade é projetada com um perfil de ranhura preciso para manter a coerência espacial em uma dimensão (o comprimento da fenda da imagem) e fazer com que as informações espaciais (a largura da fenda, em mícrons) sejam difratadas. Este processo de difração (dispersão) permite que o conteúdo espectral atravesse os canais de comprimento de onda conhecidos no sensor.

A tecnologia de varredura de linha espectral de vassoura totalmente reflexiva usada pelo Headwall captura uma linha espectral (espacial X e espectral Z) em cada 'quadro'. Quadros sequenciais constroem a dimensão espacial Y. O design da vassoura é preferido por sua capacidade de fornecer baixa distorção em resolução espacial e espectral muito alta. Alto rendimento significa uma alta relação sinal-ruído e luz difusa muito baixa. Por ser um design totalmente refletivo, os problemas de dispersão cromática são eliminados.

Quando visto através da fenda do sensor hiperespectral, tudo o que vemos é a faixa espacial que a fenda deixa passar. Isso seria equivalente a uma coluna de pixels. Você ainda pode ver os detalhes espaciais na imagem, mas apenas uma faixa de cada vez. Em cada fenda, há muitas cores. O sistema HSI separa a luz em cada pixel espacial nas diferentes cores desse pixel. Cada vez que a câmera tira uma foto da fenda, ela obtém um quadro completo de dados espectrais para cada pixel. Empilhando cada imagem espectral da fenda à medida que atravessamos a cena, construímos o cubo de dados hiperespectrais. À medida que o sensor se move da esquerda para a direita sobre a cena, o software avançado de processamento hiperespectral pode tirar um conjunto de fotos e juntá-las para adquirir um "cubo de dados" completo.

Uma característica da imagem espectral que a torna perfeita para aplicações avançadas de visão de máquina é o movimento. Como os sensores capturam os dados da imagem quadro a quadro, eles naturalmente dependem do movimento para ocorrer. O sensor precisa se mover sobre o campo de visão (como faria se conectado a um drone ou aeronave em aplicativos de sensoriamento remoto), ou o campo de visão precisa se mover abaixo do sensor (como faria em uma implantação avançada de visão de máquina ).

A comunidade de agricultura de precisão adotou sensores hiperespectrais e multiespectrais como cargas úteis para drones e aeronaves que voam sobre campos de cultivo. Uma grande quantidade de dados agrícolas vitais é capturada por esses sensores, com relação a índices como NDVI, PRI, WBI, Red Edge Ratio e muitos mais. A vitalidade das culturas, a eficácia da fertilização e da irrigação e os primeiros sinais de espécies invasoras e doenças podem ser vistos dentro das centenas de bandas de um sensor Visible-Near-Infrared (VNIR) que “vê” entre 400 nm e 1000 nm.

Sensores hiperespectrais podem ser colocados ao longo da linha de produção e conectados a robôs que executam as ações apropriadas com base em análises em tempo real realizadas nos processadores embutidos nos próprios sistemas de sensores.

Ao longo de um transportador de alta velocidade, o mesmo nível de dados significativos pode ser coletado para impactar positivamente o processo de inspeção. As características de taxa de quadros e campo de visão são tais que os sensores são mais do que capazes de monitorar linhas amplas operando em altas velocidades. O alto nível de discriminação proporcionado pelo HSI significa que mesmo anomalias difíceis de distinguir são vistas e gerenciadas. Um mirtilo em um campo de morangos é fácil de detectar, mas e as diferenças de cores ou químicas minúsculas dentro da mesma colheita ou em materiais reciclados de aparência semelhante? Apenas hiperespectral pode distinguir essas diferenças impossíveis de ver.

Projeto do Sensor HSI

Os raios de luz que entram na fenda de um sensor hiperespectral de vassoura são separados em um espectro de cores como em um arco-íris, neste caso por uma grade holográfica de sulcos muito finos. O espectro cai em um fotossensor 2D. O software converte o nível de sinal em cada pixel fotossensível em uma curva espectral em cada pixel da imagem à medida que o sensor se move em relação ao objeto que está sendo digitalizado.

Embora os sensores HSI às vezes sejam chamados de “câmeras”, eles são na verdade um casamento de espectrômetros e câmeras. Os sensores do Headwall são baseados em um design totalmente refletivo, sem partes móveis ou ópticas transmissivas potencialmente ofensivas. Isso é feito usando grades de difração holográficas que gerenciam a luz de entrada que passa pela fenda da imagem. As grades não são apenas excepcionalmente precisas, mas são pequenas e leves. Isso permite que os próprios instrumentos sejam pequenos e leves para fácil implantação em qualquer lugar.

A Headwall é o único fabricante de sensores espectral que também fabrica suas próprias grades de difração. Cada grade é 'qualidade mestre', o que significa perfis de ranhura idênticos de um para o outro para uma determinada aplicação. Como o desempenho óptico fundamental do sensor é uma função da grade, essa capacidade representa uma verdadeira diferenciação. Os sensores hiperespectrais são projetados e 'ajustados' para faixas espectrais específicas. Dentro de cada faixa, literalmente centenas de bandas espectrais são coletadas, dando uma visão muito precisa e altamente resolvida de tudo que se move ao longo da linha de inspeção... tanto espectral quanto espacialmente.

A faixa de infravermelho próximo visível (VNIR) abrange de 400 nm a 1000 nm e a faixa VNIR estendida abrange de 550 nm a 1700 nm. A faixa de infravermelho próximo (NIR) coleta dados de imagem de 900 nm a 1700 nm, enquanto a faixa de infravermelho de ondas curtas (SWIR) cobre de 900 nm a 2500 nm. Como o material “reflete a luz” em certos pontos dentro desses intervalos, é importante primeiro definir as próprias assinaturas. Então, por meio de algoritmos, o sensor pode caracterizar o material ou detectar qualquer coisa que não seja precisamente definida como 'boa', não apenas com relação a material estranho, mas também diferenças de 'classificação' difíceis de distinguir de uma baga para outra ou de uma noz para outra. outro. Essa é uma característica muito valiosa da imagem hiperespectral, pois possui um nível de especificidade que vai muito além dos sensores RGB mais tradicionais.

Questões leves

Como os sensores HSI medem e analisam a luz refletida, a iluminação é uma consideração importante. O objetivo geral é fornecer ao campo de visão do sensor uma forma de iluminação extremamente uniforme e consistente, ao mesmo tempo robusta e econômica.

Para a faixa espectral VNIR, o Quartz Tungsten Halogen (QTH) representa uma dessas tecnologias de iluminação, enquanto as fontes de luz LED mais recentes podem ser vistas como outra alternativa, embora menos madura. A fibra óptica agrupada também apresenta uma fonte de luz uniforme. Muito do que interessa à indústria de inspeção de alimentos “reflete” em faixas além do visível, que corta em torno de 700 nm. Portanto, ter uma fonte de luz cobrindo ambos os lados desse ponto é vital.

Além de ser o mais fria possível, robusta e uniforme, a fonte de luz precisa atravessar totalmente a largura da linha de inspeção. Essa capacidade de ponta a ponta aproveita o amplo campo de visão do sensor, permitindo que o produto inspecionado seja visto não apenas diretamente abaixo do próprio sensor, mas também nas bordas. Não há regulamentação em uma linha de inspeção de alimentos de alta velocidade porque o produto pode estar em todos os lugares... ao longo das bordas ou agrupado na esteira transportadora. A longevidade da fonte de luz também é importante, pois muitas linhas de inspeção de alimentos funcionam 24 horas por dia.

Como o sensor está construindo um ‘cubo’ de dados de imagem uma fatia de cada vez e a iluminação em si é uma faixa muito fina, a região de interesse (a ‘imagem da fenda’) é o que precisa ser iluminado. Um alvo de refletância branca é usado para calibrar o sensor antes da operação real. Este é um passo crucial porque o sensor está coletando dados de imagem que um sistema robótico a jusante (por exemplo, vácuo, facas de ar, garras) usará para separar 'bom' de 'ruim'. O objetivo é sempre apresentar o tipo certo de luz na intensidade certa, exatamente onde é necessário. Além disso, é importante que exista documentação que forneça comprimentos de onda e intensidade de luz em todo o campo de projeção, uniformidade da luz e degradação em distâncias padrão. Desta forma, o posicionamento exato do sensor em relação à linha pode ser determinado caso seja necessário algum ajuste na arquitetura da linha.

Robótica

Os subsistemas robóticos são um elemento natural de muitas aplicações avançadas de linha de processamento de visão de máquina. A capacidade de discriminar e eliminar depende da capacidade do sensor e do sistema robótico de se comunicar de forma rápida e fiel, em tempo real. Os sensores Hyperspec® podem executar centenas de quadros por segundo, o que significa que são adequados tanto do ponto de vista operacional quanto econômico para trabalhar com linhas de alta velocidade e os sistemas robóticos incorporados nelas.

A indústria de visão de máquina entende que os recursos para integrar uma ampla gama de subsistemas em uma linha contínua e contínua exige que os protocolos de comunicação sejam rápidos e padrão da indústria. O Gigabit Ethernet é frequentemente usado para unir tudo do ponto de vista do fluxo de dados. Todos os sistemas e computadores HSI que gerenciam os dados recebidos funcionam com Gigabit Ethernet, mas também outros links de comunicação muito rápidos, como o CameraLink.

Coleta e processamento de dados

A inspeção de culturas especiais, como nozes e frutas vermelhas, envolve a observação de itens de aparência muito semelhante com pequenos graus de variabilidade. Portanto, dividir o sinal ou imagem em centenas de “canais” hiperespectrais é um benefício para a indústria.

Como a facilidade de uso é primordial e curvas de aprendizado íngremes, mas rápidas, são necessárias, o software da Headwall é intuitivo e contém funções que permitem aos usuários modificar e adaptar seus processos de inspeção com base no que os sensores veem. O processo baseado em algoritmo identifica as características espectrais que os usuários podem encontrar. Por exemplo, amêndoas com danos causados ​​por insetos são quase indistinguíveis de amêndoas “boas” sob análise RGB. Mas a mesma cena classificada usando HSI chamará a atenção para as danificadas, que podem ser eliminadas pelo sistema robótico a jusante.

A combinação de sensores, software e fluxo de trabalho inovadores permite que um número crescente de usuários acesse a HSI com soluções reais que usam dados espectrais não apenas para detectar contaminação, mas também "classificar" produtos para que menos seja desperdiçado e mais seja convertido em receita. A imagem hiperespectral desbloqueia essa possibilidade na indústria de visão de máquina.

Recursos

1. “Mercado de testes de segurança alimentar por alvo testado (patógenos, pesticidas, OGMs, micotoxinas e alérgenos), tecnologia (tradicional e rápida), testado em alimentos (carne, aves, frutos do mar, laticínios, alimentos processados ​​e frutas e Legumes) e Região - Previsão para 2026 ”, Markets and Markets, Food Safety Testing Market, publicado em maio de 2021
2. “O efeito da cafeína na função de discriminação de cores da retina em voluntários ”, Ovanesov KB. Vliianie. Eksp Klin Farmakol. 1998 Nov-Dez; 61 (6):17-9. PMID:9929810
3. “Imagens multiespectrais x hiperespectrais explicadas ”, GISGeography, 16 de fevereiro de 2018
4. “Manual de Visão de Máquina ”, Alexander Hornberg, Wiley-VCH. pág. 694, 2006. ISBN 978-3-527-40584-8

Este artigo foi escrito por Christian Felsheim, Diretor Headwall Photonics EMEA, e Dr. Will Rock, Engenheiro de Aplicação Sênior, Headwall Photonics (Bolton, MA). Para mais informações, visite aqui .