Combinação de dois modelos de aprendizado profundo

O aprendizado profundo é uma ferramenta inestimável no arsenal de analistas de dados com novas aplicações em diferentes esferas, incluindo aplicações industriais. O princípio básico de trabalho do aprendizado profundo é usar grandes volumes de dados para construir um modelo que pode fazer previsões precisas.

Vamos considerar um pequeno exemplo de onde os engenheiros de automação industrial podem encontrar a necessidade de combinar dois modelos de aprendizado profundo. Uma empresa de smartphones emprega uma linha de produção que fabrica vários modelos de smartphones. Visão computadorizada empregando algoritmos de aprendizagem profunda realiza o controle de qualidade da linha de produção.

Atualmente, a linha de produção constrói dois smartphones:Phone A e Phone B. Os modelos A e B realizam o controle de qualidade para os telefones A e B, respectivamente. A empresa apresenta um novo smartphone, o telefone C. A unidade de produção pode precisar de um novo modelo para realizar o controle de qualidade do terceiro telefone, denominado Modelo C. A construção de um novo modelo requer uma enorme quantidade de dados e tempo.

Figura 1. Vídeo usado cortesia de Matt Chan

Outra alternativa é combinar os aprendizados dos Modelos A e B para construir o Modelo C. O modelo combinado pode realizar o controle de qualidade com pequenos ajustes nos pesos.

Outro cenário em que os modelos precisam ser combinados é quando um novo modelo precisa realizar duas tarefas simultaneamente. Dois modelos de aprendizado profundo podem realizar essas tarefas. Um modelo que precisa classificar um conjunto de dados e fazer previsões em cada categoria pode ser criado combinando dois modelos:um que pode classificar grandes conjuntos de dados e outro que pode fazer previsões.

Ensemble Learning

Combinar vários modelos de aprendizado profundo é um aprendizado conjunto. Isso é feito para fazer melhores previsões, classificações ou outras funções de um modelo de aprendizado profundo. A aprendizagem ensemble também pode criar um novo modelo com as funcionalidades combinadas de diferentes modelos de aprendizagem profunda.

Criar um novo modelo tem muitos benefícios em comparação com treinar um novo modelo completamente do zero.

• Requer muito poucos dados para treinar o modelo combinado porque a maior parte do aprendizado é derivado dos modelos combinados.
• Leva menos tempo para construir um modelo combinado em comparação com a construção de um novo modelo.
• Requer menos recursos de computação quando os modelos são combinados.
• Novos modelos combinados têm maior precisão e recursos mais altos do que aqueles combinados para obter o novo modelo.

Devido às diferentes vantagens da aprendizagem em conjunto, muitas vezes é realizada para criar um novo modelo. Os respectivos algoritmos, pacotes e modelos treinados de aprendizado profundo devem combinar diferentes modelos, e a maioria dos algoritmos de aprendizado profundo avançados são escritos com Python.

Figura 2. Um conjunto de empilhamento para redes neurais de aprendizado profundo em Python. Imagem usada cortesia de Domínio do aprendizado de máquina

Conhecer Python e as respectivas ferramentas de aprendizado profundo utilizadas são pré-requisitos para combinar diferentes modelos. Uma vez que todos eles estão no lugar, diferentes técnicas são implementadas para combinar diferentes algoritmos de aprendizado profundo. Eles são explicados nas seções a seguir.

Método da média (ponderada)

Neste método, a média dos dois modelos é usada como o novo modelo. É o método mais direto de combinar dois modelos de aprendizado profundo. O modelo criado tomando a média simples de dois modelos tem mais precisão do que os dois modelos combinados.

Para melhorar ainda mais a precisão e o resultado do modelo combinado, a média ponderada é uma opção viável. Os pesos dados aos diferentes modelos podem ser baseados no desempenho dos modelos ou na quantidade de treinamento que cada modelo foi submetido. Neste método, dois modelos diferentes são combinados para formar um novo modelo.

Método de ensacamento

O mesmo modelo de aprendizado profundo pode ter várias iterações. As diferentes iterações seriam treinadas com diferentes conjuntos de dados e teriam diferentes níveis de melhoria. Combinar as diferentes versões do mesmo modelo de aprendizado profundo é o método de ensacamento.

A metodologia permanece a mesma do método de média. Versões diferentes do mesmo modelo de aprendizado profundo são combinadas em uma média simples ou média ponderada. Este método ajuda a criar um novo modelo que não tem o viés de confirmação construído com um único modelo, tornando o modelo mais preciso e de alto desempenho.

Método de reforço

O método de reforço é semelhante ao uso de um loop de feedback para modelos. O desempenho de um modelo é usado para ajustar os modelos subsequentes. Isso cria um ciclo de feedback positivo que acumula todos os fatores que contribuem para o sucesso do modelo.

Figura 3. Método de reforço para aprendizagem em conjunto. Imagem usada cortesia de Ashish Patel

O método de reforço reduz o viés e a variância experimentados pelos modelos. Isso é possível, pois os lados negativos são filtrados nas iterações subsequentes. O reforço pode ser feito de duas maneiras distintas:reforço com base no peso e reforço com base no resíduo.

Método de concatenação

Este método é usado quando diferentes fontes de dados devem ser mescladas no mesmo modelo. Essa técnica de combinação pega diferentes entradas e as concatena no mesmo modelo. O conjunto de dados resultante terá mais dimensões do que o conjunto de dados original.

Quando feito várias vezes sequencialmente, as dimensões dos dados crescerão para um número muito grande, o que pode levar ao sobreajuste e perda de informações críticas, reduzindo assim o desempenho do modelo combinado.

Método de empilhamento

O método de empilhamento para conjuntos de modelos de aprendizado profundo integra os diferentes métodos para desenvolver modelos de aprendizado profundo usando o desempenho de iterações anteriores para impulsionar os modelos anteriores. Adicionar um elemento de obtenção de uma média ponderada a este modelo empilhado melhora as contribuições positivas para os submodelos.

Da mesma forma, técnicas de bagging e técnicas de concatenação podem ser adicionadas aos modelos. O método de combinar diferentes técnicas para combinar modelos pode melhorar o desempenho do modelo combinado.

As metodologias, técnicas e algoritmos que podem ser usados ​​para combinar modelos de aprendizado profundo são inúmeros e estão sempre em evolução. Haverá novas técnicas para realizar a mesma tarefa proporcionando melhores resultados. As idéias-chave que você deve saber sobre a combinação de modelos são fornecidas a seguir.

• Combinar modelos de aprendizado profundo também é chamado de aprendizado por conjunto.
• A combinação de diferentes modelos é feita para melhorar o desempenho dos modelos de aprendizado profundo.
• Construir um novo modelo por combinação requer menos tempo, dados e recursos computacionais.
• O método mais comum para combinar modelos é fazer a média de vários modelos, em que tirar uma média ponderada melhora a precisão.
• Bagging, boosting e concatenação são outros métodos usados ​​para combinar modelos de aprendizado profundo.
• O aprendizado de conjunto empilhado usa diferentes técnicas de combinação para construir um modelo.