Rede de Previsão Baseada em Aprendizado Profundo para Projeto de Metamateriais com Ressonadores de Anel Dividido
Resumo
A introdução de "metamateriais" teve impacto profundo em vários campos, incluindo eletromagnetismo. Projetar estrutura de metamaterial sob demanda, no entanto, ainda é processo extremamente demorado. Como método eficiente de aprendizado de máquina, aprendizado profundo tem sido amplamente usado para classificação de dados e regressão nos últimos anos e de fato mostrou bom desempenho de generalização. Construímos uma rede neural profunda para projeto sob demanda. Com a refletância requerida como entrada, os parâmetros da estrutura são calculados automaticamente e então emitidos para atingir propósito de projeto sob demanda. Nossa rede alcançou baixos erros quadráticos médios (MSE), com MSE de 0,005 em ambos conjuntos de treinamento e teste. Os resultados indicam que usando aprendizado profundo para treinar os dados, o modelo treinado pode guiar mais precisamente o projeto da estrutura, acelerando assim o processo de projeto. Comparado com processo de projeto tradicional, usar aprendizado profundo para guiar projeto de metamateriais pode alcançar propósitos mais rápidos, mais precisos e mais convenientes.
Introdução
Nano-ótica é assunto interdisciplinar de nanotecnologia e óptica. Nos últimos anos, ao projetar constantemente estruturas com diferentes tamanhos sub-comprimento de onda para alcançar interações especiais com luz incidente, cientistas conseguiram manipular certas características de transmissão da luz. Desde que metamateriais foram propostos, atraíram atenção de muitos estudiosos neste campo, e concurrentemente seus estudos teóricos, de processo e aplicados estão todos avançando na mesma velocidade. Muitas funções peculiares foram realizadas, incluindo imagem holográfica, absorção perfeita e lentes planas. Devido ao rápido desenvolvimento de tecnologia terahertz e suas características únicas, também se tornou tópico popular de pesquisa no campo de metamateriais nos últimos anos.
Embora aplicação de metamateriais seja muito ampla, método de projeto tradicional requer que o projetista realize repetidamente cálculos numéricos complexos na estrutura sendo projetada. Este processo consome enorme tempo e recursos computacionais. Portanto, é urgente encontrar novas maneiras de simplificar ou até substituir métodos de projeto tradicionais.
Como campo interdisciplinar, aprendizado de máquina cobre muitas disciplinas incluindo ciências da vida, ciências da computação e psicologia, tem trabalhado para usar computadores para imitar e implementar processos de aprendizado humano para adquirir novo conhecimento ou habilidades. O princípio básico de aprendizado de máquina pode ser descrito simplesmente como uso de algoritmos de computador para obter correlação entre grande quantidade de dados ou prever regras entre dados similares e finalmente atingir propósito de classificação ou regressão. Até agora, muitos algoritmos de aprendizado de máquina foram aplicados à designação de metamateriais e alcançaram resultados significativos, incluindo algoritmos genéticos, algoritmos de regressão linear e redes neurais rasas. À medida que a estrutura torna-se mais complexa e as mudanças na estrutura tornam-se mais diversas, problemas requererão mais tempo para resolver. Ao mesmo tempo, a natureza altamente não linear dos problemas torna difícil para algoritmos simples de aprendizado de máquina obter previsões precisas. Além disso, para projetar estrutura de metamaterial correspondente para efeito eletromagnético específico requer que projetistas tentem e realizem cálculos numéricos complexos na estrutura. Estes processos consumirão tremenda quantidade de tempo e recursos computacionais.
Como um dos algoritmos mais destacados no campo de aprendizado de máquina, aprendizado profundo fez conquistas mundialmente renomadas em vários campos relacionados como visão computacional, extração de características e processamento de linguagem natural. Ao mesmo tempo, sucessos em outros campos não relacionados a computação são numerosos, incluindo muitas disciplinas básicas como ciências da vida, química e física. Portanto, aplicar aprendizado profundo ao projeto de metamateriais também é direção de pesquisa quente atual, e muitos trabalhos notáveis apareceram.
Inspirado por aprendizado profundo, este artigo relata estudo usando algoritmo de aprendizado de máquina baseado em rede neural profunda para prever estrutura do ressonador de anel dividido (SRR) para atingir propósito de projeto sob demanda. Além disso, a rede direta e a rede reversa são treinadas separadamente de forma inovadora, o que não apenas pode melhorar precisão da rede, mas também pode alcançar diferentes funções através de combinação flexível. Os resultados mostram que o método pode alcançar MSE de 0,0058 e 0,0055 no conjunto de treinamento e validação, respectivamente, e exibe boa robustez e generalização. Com modelo treinado guiando projeto de estruturas de metamateriais, o ciclo de projeto pode ser encurtado para dias ou até horas, e a melhoria na eficiência é óbvia. Além disso, este método também tem boa escalabilidade e só precisa alterar dados do conjunto de treinamento para projetar diferentes entradas ou diferentes estruturas sob demanda.
Teoria e Método
Construção do Modelo COMSOL
Para mostrar que aprendizado profundo pode ser aplicado ao projeto reverso de estruturas de metamateriais, modelamos estrutura SRR de três camadas consistindo de anel de ouro, base de sílica e base de ouro para observar sua resposta eletromagnética sob ação de luz incidente. Como mostrado na Fig. 1, o ângulo de abertura θ do anel de ouro, o raio interno r do anel, e a largura de linha d do anel são selecionados como variáveis independentes desta estrutura. Quando feixe de luz linearmente polarizada entra nos metamateriais normalmente, curvas de comprimento de onda-refletância sob diferentes estruturas são obtidas alterando variáveis estruturais. A espessura do anel Au é 30 nm, da base de SiO2 é 100 nm, e da base de Au é 50 nm, e o tamanho dos meta-átomos é 200 nm por 200 nm.
Use COMSOL Multiphysics 5.4 para modelagem, escolha dimensão espacial tridimensional, escolha óptica ≥ óptica de ondas ≥ domínio de frequência de onda eletromagnética (ewfd) para campo físico e selecione domínio de comprimento de onda para pesquisa. Crie o modelo acima em geometria. O material de cada parte e seu índice de refração são definidos em ordem no material, e portas e condições periódicas são adicionadas no domínio de frequência de onda eletromagnética.
Construção de Modelo de Rede Neural de Aprendizado Profundo
Construímos uma rede reversa e uma rede direta para estrutura de metamaterial. A rede reversa pode prever parâmetros estruturais do SRR a partir de dois conjuntos de curvas de comprimento de onda-refletância dados com diferentes direções de polarização. A rede direta pode prever curvas de comprimento de onda-refletância em duas direções de polarização pelos parâmetros estruturais dados. A função da rede reversa é o corpo principal da função de previsão. O papel da rede direta é verificar os resultados de previsão da rede reversa para observar se os resultados de previsão atendem à resposta eletromagnética requerida.
Use eclipse 2019 como plataforma de desenvolvimento, python3.7 como linguagem de programação, e TensorFlow 1.12.0 como framework de desenvolvimento.
As duas redes são treinadas separadamente para manter resultados de treinamento de cada rede de serem afetados pelo erro da outra rede, garantindo assim a respectiva precisão das duas redes.
Como mostrado na Fig. 2, outra vantagem de treinar as duas redes separadamente é que elas podem ser usadas para diferentes propósitos através de diferentes sequências de conexão: (a) rede reversa + rede direta, que pode usar curva de comprimento de onda-refletância dada para calcular parâmetros da estrutura, fazer previsões e verificar se os resultados de previsão atendem às necessidades, e (b) usar rede direta sozinha pode simplificar processo de cálculo do método de cálculo numérico e reduzir tempo de cálculo.
Vale notar que o processo de entrada e obtenção de resultados do modelo treinado usando método de aprendizado profundo leva tempo extremamente curto. E sempre que novos dados são obtidos através de simulação ou experimento, o modelo pode ser usado para treinamento adicional. Estudos mostraram que com aumento contínuo de dados de treinamento, a precisão do modelo se tornará cada vez maior, e o desempenho de generalização melhor e melhor.
Os parâmetros da estrutura são múltiplos conjuntos de autovalores contínuos, que pertencem ao problema de regressão. Nos últimos anos, redes totalmente conectadas têm sido foco de redes de aprendizado profundo em questões de regressão e mostrado características de alta confiabilidade, grande throughput de dados e baixa latência. Fazer alguns ajustes em rede totalmente conectada permitirá que a rede preveja melhor a estrutura.
Como mostrado na Fig. 3b, a rede direta é uma rede totalmente conectada na qual todos os nós de duas camadas adjacentes estão conectados entre si. Os dados de entrada são o parâmetro estrutural, e a saída é a curva de comprimento de onda-refletância das duas direções de polarização. Como mostrado na Fig. 3a, a rede reversa consiste em uma camada de extração de características (camada FE) e uma camada totalmente conectada (camada FC). A camada FE inclui dois conjuntos de redes totalmente conectadas que não estão conectadas entre si e processam as curvas de comprimento de onda-refletância da luz linearmente polarizada nas duas direções para extrair algumas características dos dados de entrada. A camada FC aprenderá as características extraídas e emitirá os parâmetros estruturais. Devido às características de alta coesão e baixo acoplamento entre curvas de comprimento de onda-refletância em diferentes estados de polarização, separar as entradas de dois conjuntos de dados de luz polarizada em direções diferentes pode impedir que a rede seja perturbada pela padronização de dados durante processo de extração de dados. A rede direta não envolve múltiplos conjuntos de entradas e não precisa considerar interferência mútua entre dados, então não tem camada de extração de características.
Para determinar estrutura de rede ótima, redes em diferentes estruturas são treinadas usando mesmo conjunto de dados. Como mostrado na Fig. 4, após os dados terem experimentado 50 épocas (quando todos os dados passaram por treinamento completo, é chamada uma época), o MSE alcançado pela rede direta de diferentes estruturas. Como pode ser visto na figura esquerda da Fig. 4, quando a rede direta contém 5 camadas ocultas, cada camada contendo 100 nós, o menor MSE alcançado é cerca de 0,0174, então a rede direta desta estrutura será selecionada.
Similarmente, diferentes redes de redes reversas foram treinadas, e o volume de treinamento ainda foi definido para 50 épocas. O resultado é mostrado na figura direita da Fig. 4. Quando o número de camadas FC é 7 e o número de camadas FE é 3, a rede atinge o menor MSE, que é cerca de 0,1756.
Descobrimos que maior número de camadas de rede produzirá fenômeno de explosão de gradiente, que fará a rede falhar em convergir, e a perda é infinita, então não está listada na figura.
Pré-processamento de Dados
Para treinar rede direta mais confiável, os dados de refletância são re-divididos, e costurados com a refratibilidade de Au e SiO2 correspondente a cada frequência. Os dados organizados são então normalizados e inseridos na rede direta, o que pode melhorar grandemente a precisão da rede direta.
Para garantir que dados com valores maiores não tenham impacto maior na rede que dados com valores menores, os dados de entrada precisam ser normalizados para fazer cada coluna de dados conformar com distribuição normal padrão (valor médio é 0, variância é 1), e então os dados processados x podem ser expressos como: x = (x0 - μ) / σ, onde x0 é dado original da amostra, μ é média da amostra, e σ é desvio padrão da amostra. Se os dados de entrada não forem re-divididos, a refletância será distorcida após normalização, reduzindo precisão da rede. Os dados re-divididos não afetarão sua distribuição devido à normalização.
Método de Rede Neural
O princípio da rede neural é construir muitos neurônios (nós) imitando a forma como o cérebro humano funciona e aprende. Neurônios são conectados entre si, e a saída é ajustada ajustando peso de conexão. A saída do j-ésimo nó de uma camada pode ser expressa como: yj = Σi=1n f(wixi + bj) / n, onde f é função de ativação, wi é peso de conexão do i-ésimo nó da camada anterior conectado ao j-ésimo nó, xi é saída do i-ésimo nó da camada anterior, bj é termo de viés deste nó, e n é número de nós na camada anterior conectados ao j-ésimo nó.
Escolha de Função de Ativação
Para atender à alta não linearidade do problema inverso, a função ELU [28] é usada como função de ativação de cada camada de neurônios. A saída f(x) da função ELU pode ser expressa como forma por partes: f(x) = x (se x ≥ 0), α(ex - 1) (se x < 0), onde x é entrada original, e valor do parâmetro α varia de 0 a 1.
A razão para usar função de ativação é que ela muda capacidade de expressão não linear de cada camada da rede, melhorando assim capacidade geral de ajuste não linear da rede. Como mostrado na Fig. 5, a função ELU combina vantagens das funções de ativação Sigmoid e unidade linear retificada (ReLU). Quando x < 0, tem melhor saturação suave, tornando rede mais robusta a mudanças de entrada e ruído. Quando x > 0, não há saturação, o que ajuda a aliviar desaparecimento do gradiente da rede. A característica de que valor médio de ELU está próximo a 1 pode tornar rede mais fácil de ajustar. O resultado prova que usar ELU como função de ativação do aprendizado profundo, rede neural melhora significativamente a robustez da rede.
Esquema de Inicialização de Pesos
O método de inicialização do peso da rede de cada camada determina velocidade de ajuste da rede e até determina se a rede pode ajustar ou não. Inicialização de escala de variância é baseada na quantidade de dados de entrada em cada camada e extrai pesos de distribuição normal truncada centrada em 0, para que a variância possa ser reduzida a certa faixa, então os dados podem ser espalhados mais profundamente através da rede. Nesta estrutura de rede, usar inicialização de escala de variância pode tornar velocidade de convergência da rede significativamente mais rápida.
Solução de Overfitting
Devido a dados insuficientes, a rede produzirá algum overfitting. Com overfitting reduzido, a rede pode ter bom desempenho de generalização em dados fora do conjunto de treinamento. Regularização L2 (também chamada weight-decay em problemas de regressão) é usada para processar peso w. A saída regularizada L pode ser expressa como: L = L0 + (λ / 2n) Σ w2, onde L0 representa função de perda original, e termo de regularização (λ / 2n) Σ w2 é adicionado nesta base, onde λ representa coeficiente de regularização, n throughput de dados, e w peso. Após termo de regularização ser adicionado, valor do peso w tende a diminuir geral, e ocorrência de valores excessivos pode ser evitada, então w também é chamado atenuação de peso. Regularização L2 pode reduzir peso para evitar grande inclinação da curva ajustada, aliviando efetivamente fenômeno de overfitting da rede e ajudando a convergir.
Nesta base, o método dropout também é usado. Este método pode ser visualmente considerado como "esconder" certa escala de nós da rede para cada treinamento, e esconder nós diferentes durante cada treinamento, para atingir objetivo de treinar múltiplas "redes parciais". E através do treinamento, a maioria das "redes parciais" pode representar accuradamente os alvos, e resultados de todas as "redes parciais" podem ser ordenados para obter solução dos alvos.
Usar métodos de regularização L2 e dropout mencionados acima pode não apenas aliviar efetivamente baixa generalização causada por dados insuficientes, mas também reduzir impacto de pequena quantidade de dados errôneos no conjunto de dados nos resultados de treinamento. Nesta estrutura de rede e conjunto de dados, com dropout = 0,2 e coeficiente de regularização L2 λ = 0,0001, a rede pode obter precisão similar no conjunto de treinamento e teste, alcançando assim alto desempenho de generalização.
Resultado e Discussão
Após treinamento, nossa rede direta pode alcançar alto grau de ajuste, com MSE de 0,0015, que mostra que a saída é muito similar aos resultados de simulação, como mostrado na Fig. 6. Isto também garante que quando treinando a rede reversa, os resultados da rede reversa podem ser verificados confiavelmente.
Finalmente, geraremos dois modelos da rede aprendida e conectaremos os dois modelos para atingir função de previsão.
A função de previsão pode escolher combinação mostrada na Fig. 2a. A rede reversa prevê estrutura correspondente de acordo com curva de comprimento de onda-refletância requerida, e a rede direta verifica resposta óptica da estrutura. Como mostrado na Fig. 7, comparando refletância verificada à refletância de entrada, as características de refletância da luz incidente nas duas direções de polarização são basicamente consistentes. Embora pequeno desajuste de refletância seja observável para certos valores de comprimento de onda, a tendência geral de correspondência é claramente irrefutável, já que os erros estão bem dentro de faixa aceitável.
Conclusão
Neste artigo, apresentamos nossa rede de aprendizado profundo projetada, capaz de criar vários efeitos através de emprego de combinações flexíveis de configurações de rede. Nossa rede reversa projetada pode prever estrutura requerida usando curva de comprimento de onda-refrativa de entrada, que pode reduzir grandemente tempo requerido na resolução do problema reverso e atender diferentes necessidades através de utilização de combinações flexíveis. Os resultados indicam que a rede alcançou maior precisão em previsões, o que implica ainda que projeto sob demanda pode ser resolvido através de nosso método. Usar aprendizado profundo para guiar projeto de metamateriais pode obter automaticamente estruturas de metamateriais mais precisas, resultado inalcançável por métodos de projeto tradicionais.
Disponibilidade de Dados e Materiais
A data do manuscrito vem de nossa rede de simulação, e não podemos compartilhá-la por razões pessoais.
Abreviações
- ELU:
- Unidades lineares exponenciais
- Camada FC:
- Camada totalmente conectada
- Camada FE:
- Camada de extração de características
- FNN:
- Rede neural direta
- MSE:
- Erros quadráticos médios
- ReLU:
- Unidade linear retificada
- RNN:
- Rede neural reversa
- SRR:
- Ressonador de anel dividido
Nanomateriais
- Acelerando Deep Learning com FPGAs: Velocidade, Flexibilidade e Eficiência Energética
- TI Revela Primeiro SoC Automotivo com Acelerador de IA Dedicado
- Construa um Reconhecedor de Dígitos no Raspberry Pi com TensorFlow e OpenCV
- Robô Móvel Evita-Obstáculos Baseado em Visão no Raspberry Pi
- Eleve a Confiabilidade de Ativos: Aproveite Machine Learning para Desempenho Proativo de Ativos
- Neurônios Artificiais de Mudança de Fase da IBM Imitam Picos Cerebrais para Computação Ultra-Densa e Baixo Consumo
- Wireless Network Devices e Sigfox Firmam Parceria para Implantar Rede IoT Nacional no Reino Unido
- Dominando Método split() do Java: Guia Prático com Exemplos de Código
- Aumento Sinérgico da Condutividade Elétrica em Compósitos Epóxi com Nanotubos de Carbono e Nanoplateletes de Grafite
- Previsão Precisa de Vida Útil de Baterias com IA – Estudo do DOE Argonne