Revolucionando Segurança Alimentar: Visualização Rápida e Precisa de Valor com Imageamento Hiperspectral

A indústria global de inspeção de alimentos precisa de ferramentas mais novas e precisas para atender regulamentações governamentais rigorosas. De culturas especiais a frutos do mar, carne e aves, o mercado de testes de segurança alimentar sozinho é avaliado em $19,5 bilhões USD em 2021 e projeta-se alcançar $28,6 bilhões até 2026¹. Este é um exemplo onde Imageamento Hiperspectral (HSI) representa uma ferramenta que pode aliviar tarefas tediosas e intensivas em mão de obra, bem como trazer novo nível de consistência a algumas aplicações de classificação historicamente subjetivas.

Da Sensoriamento Remoto à Visão de Máquina Avançada

Desenvolvido originalmente para aplicações de sensoriamento remoto envolvendo imagens de aeronaves e satélites, o HSI tornou-se desde então uma técnica comercialmente viável para aplicações avançadas de visão de máquina. Sensores HSI agem como milhares ou milhões de espectrômetros fornecendo assinaturas químicas da luz refletida em cada pixel de uma imagem. Sensores da Headwall podem ser ajustados para faixas de comprimento de onda além da capacidade do olho humano de discernir, do ultravioleta e visível (UV e VIS) até o infravermelho próximo (VNIR, NIR e SWIR).

Sensores de imageamento hiperspectral podem distinguir características espectrais que escapam ao olho humano e imageamento colorido convencional. Estas características podem detectar matéria estranha potencialmente prejudicial e fornecer meio para classificar e gradear material como produtos alimentícios cujo valor muitas vezes está ligado a características que são melhor e mais consistentemente medidas por um sistema HSI do que por um humano sujeito a fadiga ou efeitos de algo tão simples como quantidades variáveis de café por dia².

Plataformas HSI Modernas: Processamento Embarcado em Tempo Real

Sistemas utilizando HSI enfrentaram obstáculos significativos na implantação industrial devido à necessidade de lidar com quantidades comparativamente vastas de dados brutos e lidar com a complexidade relativa do desenvolvimento de modelos de classificação espectral. No entanto, plataformas HSI mais recentes como o sistema de imageamento Hyperspec® MV.X da Headwall combinam um espectrômetro de imageamento de alto desempenho com computação embarcada poderosa e software para criar rapidamente modelos de classificação espectral para extrair resultados acionáveis em tempo real e enviar instruções via rede local para agir ou coletar dados de monitoramento e controle.

Uma Maneira Diferente de Olhar as Coisas

O olho humano, por mais capaz que seja, só pode detectar imagens que caem no espectro de luz visível entre 400 nm e 700 nm. Existem apenas três cores dentro desta faixa que caem sob amplas regiões RGB (vermelho, verde ou azul), e a sensibilidade e percepção de cor de cada pessoa varia amplamente. No entanto, a indústria de inspeção de alimentos dependeu de humanos e sensores RGB para detectar problemas e classificar produtos por séculos. Estes incluem objetos estranhos perdidos anteriormente no processo de colheita, e até condições de doenças difíceis de detectar que podem ser largamente invisíveis a qualquer um destes métodos tradicionais. As apostas são altas: preferência do consumidor, capacidade de atender novas regulamentações governamentais e valor para acionistas corporativos podem depender da precisão e eficácia de como a inspeção é implementada em todas as facetas da indústria alimentícia.

Sensores de 'imageamento espectral' podem ser subdivididos em duas categorias. Sensores multiespectrais compreendem um punhado de bandas espectrais, de quatro a dezenas, enquanto sensores hiperspectrais fornecem uma visão muito mais granular (ou seja, alta resolução espectral), pois podem capturar literalmente centenas de bandas espectrais de uma vez. Ambos fornecem uma imagem muito mais completa de alimentos sob inspeção porque vão muito além do paradigma RGB simples tão comumente e tradicionalmente usado.

Humanos veem cor como combinações de vermelho (1), verde (2) e azul (3) em região muito pequena do espectro eletromagnético. A adição de bandas 4 e 5 representa exemplo multiespectral, onde mais de 3 áreas do espectro são capturadas e analisadas. Imageamento hiperspectral utiliza centenas de bandas do espectro em vez de apenas algumas. Isso permite o alto desempenho de um espectrômetro de medição pontual, mas em cada pixel de uma imagem que pode consistir de milhões de pixels.

Sistemas Avançados de Visão de Máquina

Um sistema avançado de visão de máquina para propósitos desta discussão pode consistir de um ou mais sensores de imageamento espectral, fonte de iluminação adequada, e um computador que coleta dados de imagem enquanto comunica com robótica downstream. O sensor apresenta dados de imagem ao computador em tempo real, e esses dados são então enviados à robótica. O sistema robótico interpreta a imagem e entende imediatamente o que fazer baseado em algoritmos e instruções. Em alguns casos, pode simplesmente agarrar e remover peça de material estranho (aprova/reprova). Em outros, direcionaria certas colorações de produto para outra linha para processamento adicional (classificação de produto). Para aplicações de reciclagem, pode classificar diferentes tipos de plásticos semelhantes em linhas de alta velocidade.

O sensor hiperspectral não é dispositivo autônomo, mas parte importante e muito precisa de um sistema avançado de visão de máquina completo. Por uma estimativa³, visão de máquina foi empregada em menos de 20% das aplicações para as quais é potencialmente útil. Portanto, faz sentido discutir maneiras pelas quais esta poderosa tecnologia de imageamento pode tornar processos de inspeção melhores e economicamente mais eficientes.

Funcionamento do Sensor Pushbroom

Um sensor hiperspectral "pushbroom" captura imagens escaneando linha por linha através de uma fenda (esquerda), cada linha contendo pixels que salvam características espectrais do assunto (centro). À medida que o sensor se move relativo à área ou objeto escaneado, um conjunto de dados é construído (direita). O conjunto de dados resultante pode ser pensado como uma pilha onde cada camada representa uma "banda" particular (pequena faixa de comprimentos de onda). Pixels são costurados para formar imagem onde cada pixel contém não apenas valores RGB convencionais, mas centenas de valores ao longo da faixa de comprimento de onda do sensor.

A função básica de um sensor hiperspectral é capturar fatias individuais de uma cena incoming através de uma fenda física no caso de design 'pushbroom' e separar cada fatia em componentes discretos de comprimento de onda que são então apresentados a um array de plano focal (FPA). Uma grade de difração gerencia a tarefa de dispersar as fatias de imagem em componentes discretos de comprimento de onda. A grade é engenheirada com perfil de sulco preciso para manter coerência espacial em uma dimensão (comprimento da fenda de imagem) e causar a informação espacial (largura da fenda, em mícrons) a difratar. Este processo de difração (dispersão) permite o conteúdo espectral transversal a canais de comprimento de onda conhecidos no sensor.

Toda a tecnologia pushbroom de varredura de linha espectral reflexiva usada pela Headwall captura uma linha espectral (X espacial e Z espectral) em cada 'frame'. Frames sequenciais constroem a dimensão espacial Y. O design pushbroom é preferido por sua capacidade de fornecer baixa distorção em resolução espacial e espectral muito alta. Alta taxa de transferência significa alta razão sinal-ruído e luz dispersa muito baixa. Por ser design todo reflexivo, problemas de dispersão cromática são eliminados.

Construção do Cubo de Dados Hiperspectral

Quando visto através da fenda do sensor hiperspectral, tudo que vemos é a faixa espacial que a fenda deixa passar. Isso seria equivalente a uma coluna de pixels. Você ainda pode ver detalhe espacial na imagem, mas apenas uma faixa por vez. Em cada fenda, há muitas cores. O sistema HSI separa a luz em cada pixel espacial nas diferentes cores naquele pixel. Cada vez que a câmera tira uma foto da fenda, obtém um frame completo de dados espectrais para cada pixel. Empilhando cada imagem espectral da fenda à medida que cruzamos a cena, construímos o cubo de dados hiperspectral. À medida que o sensor se move da esquerda para a direita sobre a cena, software avançado de processamento hiperspectral pode tirar um conjunto de fotos e costurá-las para adquirir um 'cubo de dados' completo.

Movimento: Essencial para Imageamento Espectral

Uma característica do imageamento espectral que o torna perfeito para aplicações avançadas de visão de máquina é movimento. Como sensores capturam dados de imagem frame a frame, eles dependem naturalmente de movimento. O sensor precisa mover-se sobre o campo de visão (como faria se anexado a drone ou aeronave em aplicações de sensoriamento remoto), ou o campo de visão precisa mover-se sob o sensor (como em implantação avançada de visão de máquina).

A comunidade de agricultura de precisão adotou sensores hiperspectrais e multiespectrais como cargas úteis para drones e aeronaves que voam sobre campos de cultivo. Riqueza de dados agrícolas vitais é capturada por esses sensores, com relação a índices como NDVI, PRI, WBI, Red Edge Ratio e muitos mais. Vitalidade da cultura, eficácia de fertilização e irrigação, e sinais iniciais de espécies invasoras e doenças podem ser vistos dentro das centenas de bandas de um sensor Visível-Infravermelho Próximo (VNIR) que 'vê' entre 400 nm e 1000 nm.

Sensores hiperspectrais podem ser colocados ao longo da linha de produção e conectados a robôs que tomam ação apropriada baseada em análise em tempo real realizada nos processadores embarcados nos próprios sistemas de sensores.

Ao longo de uma esteira de alta velocidade, o mesmo nível de dados significativos pode ser coletado para impactar positivamente o processo de inspeção. Características de taxa de frames e campo de visão são tais que sensores são mais que capazes de monitorar linhas largas operando em altas velocidades. O alto nível de discriminação proporcionado pelo HSI significa que anomalias difíceis de distinguir são vistas e gerenciadas. Um mirtilo em campo de morangos é fácil de detectar, mas e diferenças minucias de cor ou químicas dentro da mesma cultura ou dentro de materiais reciclados de aparência similar? Apenas o hiperspectral pode distinguir estas diferenças impossíveis de ver.

Design do Sensor HSI

Raio de luz que entram na fenda de um sensor hiperspectral pushbroom são separados em espectro de cores como em arco-íris, neste caso por grade holográfica de sulcos muito finos. O espectro cai sobre um fotossensor 2D. Software converte nível de sinal em cada pixel fotossensível em curva espectral em cada pixel da imagem à medida que o sensor se move relativo ao objeto escaneado.

Embora sensores HSI sejam às vezes referidos como 'câmeras', eles são na verdade um casamento de espectrômetros e câmeras. Sensores da Headwall baseiam-se em design todo reflexivo sem partes móveis ou ópticas transmissivas potencialmente ofensivas. Isso é accomplished usando grades de difração holográficas que gerenciam luz incoming passando pela fenda de imagem. As grades não são apenas excepcionalmente precisas, mas são pequenas e leves. Isso permite que os instrumentos sejam pequenos e leves para fácil implantação em qualquer lugar.

Headwall é o único fabricante de sensores espectrais que também fabrica suas próprias grades de difração. Cada grade é 'qualidade master', o que significa perfis de sulco idênticos de uma para a próxima para uma dada aplicação. Como o desempenho óptico fundamental do sensor é função da grade, esta capacidade representa verdadeira diferenciação. Sensores hiperspectrais são projetados e 'ajustados' para faixas espectrais específicas. Dentro de cada faixa, literalmente centenas de bandas espectrais são coletadas, dando visão muito precisa e altamente resolvida de tudo movendo-se ao longo da linha de inspeção... tanto espectral quanto espacialmente.

A Luz Importa

Como sensores HSI medem e analisam luz refletida, iluminação é consideração importante. O objetivo geral é fornecer ao campo de visão do sensor uma forma de iluminação extremamente uniforme, consistente, simultaneamente robusta e econômica.

Para faixa espectral VNIR, Quartzo Tungstênio Halogênio (QTH) representa uma tecnologia de iluminação, enquanto fontes de luz LED mais novas podem ser vistas como outra alternativa, embora menos madura. Fibra óptica agrupada também apresenta fonte de luz uniforme. Muita do que interessa à indústria de inspeção de alimentos 'reflete' em faixas além do visível, que corta em torno de 700 nm. Então ter fonte de luz cobrindo ambos os lados deste ponto é vital.

Além de ser o mais frio possível, robusto e uniforme, a fonte de luz precisa atravessar totalmente a largura da linha de inspeção. Esta capacidade borda-a-borda aproveita o amplo campo de visão do sensor, permitindo produto inspecionado ser visto não apenas diretamente sob o sensor mas nas bordas. Não há regimentação em linha de inspeção de alimentos de alta velocidade porque produto pode estar em todo lugar... nas bordas ou agrupado na esteira. Longevidade da fonte de luz também é importante já que muitas linhas de inspeção de alimentos funcionam 24/7.

Como o sensor constrói um 'cubo' de dados de imagem uma fatia por vez e a iluminação em si é uma faixa muito fina, a região de interesse (a 'imagem da fenda') é o que precisa ser iluminado. Alvo de refletância branco é usado para calibrar sensor antes da operação real. Este é passo crucial porque o sensor coleta dados de imagem que sistema robótico downstream (ex: vácuo, facas de ar, garra de pegar) usará para separar 'bom' de 'ruim'. O objetivo é sempre apresentar o tipo certo de luz na intensidade certa, exatamente onde é necessário. Também é importante que documentação exista fornecendo comprimentos de onda e intensidade de luz através do campo de projeção, uniformidade da luz, e degradação através de distâncias padrão. Assim, o posicionamento exato do sensor relativo à linha pode ser determinado caso algum ajuste na arquitetura da linha seja necessário.

Robótica

Subsistemas robóticos são elemento natural de muitas aplicações avançadas de linha de processamento de visão de máquina. A capacidade de discriminar e eliminar depende da capacidade do sensor e sistema robótico de comunicar rápida e fielmente, em tempo real. Sensores Hyperspec® podem rodar centenas de frames por segundo, significando que são bem adequados do ponto de vista operacional e econômico para trabalhar com linhas de alta velocidade e sistemas robóticos embarcados nelas.

A indústria de visão de máquina entende que a capacidade de integrar ampla gama de subsistemas em linha contínua e perfeita exige que protocolos de comunicação sejam padrão da indústria e rápidos. Gigabit Ethernet é frequentemente usado para unir tudo do ponto de vista de fluxo de dados. Sistemas HSI e computadores que gerenciam dados incoming trabalham com Gigabit Ethernet, mas também outros links de comunicação muito rápidos como CameraLink.

Coleta e Processamento de Dados

Inspecionar culturas especiais como nozes e frutas envolve olhar itens vastamente similares com pequenos graus de variabilidade. Portanto, dividir o sinal ou imagem em centenas de 'canais' hiperspectrais é benefício para a indústria.

Como facilidade de uso é primordial e curvas de aprendizado íngremes porém rápidas são necessárias, software da Headwall é intuitivo e contém funções que permitem usuários modificar e adaptar seus processos de inspeção baseados no que sensores veem. Processo baseado em algoritmo pinça características espectrais que usuários podem encontrar. Por exemplo, amêndoas com danos de insetos são quase indistinguíveis de amêndoas 'boas' sob análise RGB. Mas a mesma cena classificada usando HSI chamará atenção para as danificadas, que podem ser eliminadas pelo sistema robótico downstream.

A combinação de sensores inovadores, software e fluxo de trabalho permite número crescente de usuários acesso a HSI com verdadeiras soluções que usam dados espectrais para não apenas detectar contaminação, mas também 'classificar' produtos para que menos seja desperdiçado e mais convertido em receita. Imageamento hiperspectral desbloqueia essa possibilidade dentro da indústria de visão de máquina.