ARUS OLAN NEFS
3. SIFIR NOKTASINI GEÇİŞ
A extensão da rede ELM, proposta a seguir, envolve a ideia já estabelecida para a rede NARX-MISO, discutida no Capítulo 5. A arquitetura sugerida utiliza os mesmos três passos enumerados para o treinamento da rede ELM original. A única diferença é a forma com que a entrada da rede ELM é construída.
6.4.1.1 Rede NARX-ELM
A rede NARX-ELM é baseada na arquitetura analisada no Capítulo 5, sendo que em vez da utilização do algoritmo backpropagation ela é obtida a partir da rede ELM. A rede NARX- ELM é construída através da redefinição da camada de entrada, que passa a ser dividida em duas partes. A primeira parte, corresponde ao vetor de entrada, definido conforme a Equação (6.12), que segue o Teorema de Takens. A segunda parte é formada pelo contexto definido pelo regressor de saída da rede NARX. Como discutido no Capítulo 5, esta rede pode ser treinada com o modo-SP, que pode ser escrito de acordo com:
ysp(n) = [x(n) x(n − 1) ··· x(n − dy+ 1)]T (6.20)
= [xc1(n) xc2(n) ··· xcdY(n)]T,
em que ysp(n) ∈ Rdy é chamado de regressor de saída.
Assim, para uma rede NARX-ELM com q neurônios ocultos, as saídas destes neurônios são dadas por
vi(n) = φ [ui(n)], i= 1, . . . , q, (6.21)
em que uidenota a ativação do i-ésimo neurônio oculto, definida como
ui(n) = dE
∑
j=1 wi j(n)xj(n) + dy∑
l=1 wcil(n)xcl(n) − θi(n), (6.22)em que wi j é o peso que conecta a j-ésima unidade de entrada ao i-ésimo neurônio oculto, wcil é
o peso que conecta a l-ésima unidade de contexto ao i-ésimo neurônio oculto e θi(n) é o limiar
do i-ésimo neurônio oculto.
Vetorialmente, as Equações (6.21) e (6.22) podem ser escritas como v(n) = φ(u(n)) = φ(W1x(n) + Wcy
sp(n)), (6.23)
com v(n) e u(n) denotando, respectivamente, os vetores contendo as saídas e as ativações dos neurônios ocultos. A matriz de pesos W1conecta as unidades de entrada aos neurônios ocultos, enquanto a matriz de pesos Wcconecta as unidades de contexto aos neurônios ocultos.
Note que o regressor de saída para o modo-SP mostrado na Equação (6.20) contém dy valores passados da série temporal observada. Desta forma, a rede ELM com esta estrutura
não possui recorrência na fase de treinamento, pois as duas partes que formam a unidade de entrada da rede são oriundas da própria série observada.
Por fim, o acúmulo das saídas dos neurônios ocultos e o cálculo dos pesos dos neurônios de saída seguem as mesmas considerações matemáticas definidas para a rede ELM original (Seção 6.4), descritos nas Equações (6.16) e (6.19), respectivamente.
A Figura 35 ilustra uma rede NARX-ELM com a entrada x(n) definida de acordo com o teorema de Takens, um contexto definido como regressores de saída conforme utilizado na rede NARX, as matrizes W1 e Wc representando os pesos da camada não-linear que são
definidos aleatoriamente durante o treinamento e o vetor m representando os pesos ajustáveis do único neurônio de saída.
Takens Realimentação x(n) m ySP(n - 1) v(n) . . . W1 Wc u(n) y(n) = x(n+1)^ 1ª camada 2ª camada
6.4.1.2 Trabalho Correlato
Em poucas palavras, pode-se dizer que a rede NARX-ELM é uma implementa- ção da rede NARX usando o algoritmo de treinamento da rede ELM, em vez do algoritmo backpropagationsimples, tal como proposto em Menezes-Júnior e Barreto (2008a).
Em Bouchachia (2009) uma ideia semelhante é proposta em que a rede NARX é implementada por meio da rede RBF, dando origem ao modelo NARX-RRBFN. O autor aplica a arquitetura NARX-RRBFN em problemas de predição múltiplos-passos-adiante utilizando duas séries temporais caóticas.
6.5 Conclusão
Este capítulo apresentou as arquiteturas de redes neurais baseadas em projeções aleatórias. A primeira arquitetura introduzida foi a rede ESN, que tem uma estrutura recorrente. A segunda arquitetura foi a rede ELM, que é apenas uma rede neural feedforward. Nestas redes os pesos das unidades de entrada para a camada oculta permanecem fixos em valores definidos a priori, enquanto os pesos da camada de saída são ajustáveis.
São propostas também variantes tanto para a rede ESN como para a rede ELM. Na rede ESN são feitos estudos dos laços de alimentação e realimentação da arquitetura, como também nos parâmetros de treinamento da rede. Já para a rede ELM é proposta uma modificação baseada na rede NARX-MISO. Em suma, este capítulo visa enumerar variantes das arquiteturas baseadas em projeções aleatórias.
O próximo capítulo traz as exposições das extensões da rede de Elman para tarefa de predição de múltiplos-passos-adiante de séries temporais univariadas.
7 EXTENSÕES DA REDE DE ELMAN
7.1 Introdução
A rede de Elman tem sido utilizada recentemente com resultados promissores, por exemplo, em Ardalani-Farsa e Zolfaghari (2010), onde os autores utilizam a rede de Elman para fazer predições de séries caóticas. Com o fim do treinamento, a rede de Elman é novamente utilizada para fazer predições dos resíduos, caso estes possuam comportamento caótico. Por fim, a rede NARX é utilizada para fazer predição utilizando os valores observados da série temporal e dos resíduos preditos pela rede de Elman.
Tampelini et al. (2011) utilizam a rede de Elman para fazer modelagem e predição de séries temporais de precipitação de chuva e assim fazer predição da vazão de uma bacia hidrográfica com base somente nos dados de precipitação. Wang e Gao (2011) aplicam a rede de Elman para analisar o nível de fósforo, nitrogênio e oxigênio e assim fazer predições da qualidade da água de um lago.
Neste capítulo são propostas extensões da rede de Elman a fim de melhorar o desempenho da rede de Elman clássica na tarefa de predição múltiplos-passos-adiante. Dentre as modificações propostas estão o uso de duas camadas ocultas, a realimentação ou da ativação ou da derivada da ativação de uma das camadas ocultas, e a implementação da rede de Elman usando o algoritmo de treinamento da rede ELM.