O problema de predição não-linear de séries temporais é geralmente colocado na forma de um problema de aproximação de funções. Assim, o interesse em usar a rede MLP para predição está fundamentado justamente na capacidade de aproximação universal desta arquitetura neural. Além disto, para ter bom desempenho em tarefas de predição de séries temporais, a rede MLP deve também ser capaz de representar a dinâmica temporal (relações de causa-e-efeito) do processo não-linear que gerou a série temporal e que está implicitamente representada nesta.
Uma rede neural capaz de modelar a dinâmica de um processo, a partir de uma série temporal, é chamada de rede neural dinâmica, caso contrário, a rede é dita estática. Uma rede neural pode ser concebida como dinâmica ou ser tornada dinâmica a partir de uma rede estática. As arquiteturas de redes neurais dinâmicas são, em sua grande maioria, extensões da rede MLP, que, por sua vez, é originalmente uma rede estática, ou seja, voltada para o processamento de dados estáticos provenientes de sistemas sem memória.
A rede MLP e suas variantes dinâmicas são tornadas sensíveis à estrutura temporal dos sinais portadores de informações através da inclusão de mecanismos de memória de curta duração (short-term memory, STM). Estes mecanismos são responsáveis por manter a informação temporal disponível por vários instantes de tempo, a fim de que a rede MLP possa manipulá-la e armazená-la adequadamente em seus pesos sinápticos. Uma forma simples de inserir memória de curta duração dá-se através de atrasadores (time delays) ou laços de realimentação (feedback loops), que podem ser inseridos tanto interna quanto externamente à rede.
A Figura 9 ilustra a arquitetura geral de uma rede neural estática com memória de curta duração externa. O uso de atrasadores como mecanismos de memória de curta duração da rede MLP dá origem às chamadas redes dinâmicas não-recorrentes, enquanto que o uso de laços de realimentação dá origem às redes dinâmicas recorrentes. Dentre as principais redes
dinâmicas não-recorrentes, pode-se destacar a FTDNN (Focused Time Delay Neural Network) e a FIR-MLP (Finite Impulse Response Multilayer Perceptron) (WAN, 1990).
Figura 9 – Arquitetura genérica de uma rede neural dinâmica construída a partir de uma rede neural estática por meio de mecanismos externos de memória de curta duração.
3.4.1 Rede MLP com Atrasadores na Entrada
A Figura 10 ilustra como um número finito de atrasadores pode ser colocado na entrada de uma rede neural a fim de torná-la dinâmica.
Rede Neural Janela de Tempo Série Temporal Tempo 0 N p
Figura 10 – Exemplo de atrasadores formando uma janela de tempo de comprimento na entrada de uma rede neural.
A janela de tempo formada pelos atrasadores percorre toda a extensão da série temporal, a fim de converter o sinal unidimensional {x(n)}N
t=1em N − p−1 vetores de dimensão
p+ 1, sendo estes vetores apresentados na entrada da rede neural. Uma pergunta importante é como selecionar o comprimento p da janela, de modo a capturar adequadamente as propriedades de uma série temporal. Neste trabalho, a janela de tempo é construída de acordo com o teorema de imersão de Takens, discutido na Secção 2.7.
não-lineares, onde a relação da predição em relação ao estado atual x(n) e o próximo valor da série temporal é dada pela seguinte equação:
x(n + 1) = f [x(n)] (3.18)
Uma vez que a dimensão de imersão dE e o atraso τ tenham sido escolhidos, a tarefa
restante é aproximar uma função de mapeamento f (·). Tem sido demonstrado que uma rede neural feedforward com neurônios suficientes é capaz de aproximar qualquer função não-linear para um grau de precisão arbitrária. Assim, pode-se fornecer uma boa aproximação para a função
f(·) implementando o seguinte mapeamento: b
x(n + 1) = bf[x(n)] (3.19)
onde bx(n + 1) é uma estimativa de x(n + 1) e bf(·) é a aproximação correspondente de f (·). O erro de estimação, e(n+1) = x(n+1)− bx(n+1), é comumente utilizado para avaliar a qualidade da aproximação.
A janela de tempo, desta forma, é construída de acordo com a Equação (2.17), repetida abaixo para facilitar o entendimento
x(n) = [x(n) x(n − τ) ··· x(n − (dE− 1)τ)]T, (3.20)
em que x(n) é um vetor que contém dE elementos da série, contados a partir do elemento atual
x(n), espaçados um do outro de τ unidades de tempo. O parâmetro dE é a dimensão de imersão
e o parâmetro τ é o atraso de imersão.
A rede neural dinâmica formada pela introdução de atrasadores na entrada de uma rede MLP estática é conhecida pela sigla FTDNN (Focused Time Delay Neural Network) (PRIN- CIPE; EULIANO; LEFEBVRE, 2000), sendo aqui chamada simplesmente de Rede MLP com Atrasadores na Entrada. Assim, como a rede MLP, que lhe dá origem, a FTDNN é uma rede feedforward multicamadas cujos pesos sinápticos e limiares são ajustados de acordo com o algoritmo backpropagation.
A arquitetura de uma rede FTDNN com uma camada oculta está mostrada na Figura 11. Nesta figura, o vetor de entrada é definido de acordo com a Equação (3.20), sendo os parâmetros da rede FTDNN modificados a fim de minimizar o erro quadrático médio entre a saída da rede, y(n) = bx(n + 1) e a resposta desejada x(n + 1).
Para o tipo de problema de predição de séries temporais que se está interessado neste trabalho, utiliza-se apenas um neurônio na saída da rede. Matematicamente, isto equivale a fazer
m= 1 na Equação (3.11). Assim, uma vez treinada a rede FTDNN, sua saída no instante n é calculada pela seguinte expressão:
y1(n) = ˆx(n + 1) = φ " q
∑
i=1 m1ivi(n) # , = φ " q∑
i=1 m1iφ dE−1∑
j=0 wi jx(n − jτ) − θi ! − θ1 # . (3.21)É comum encontrar, na literatura, variantes dinâmicas da rede MLP que possuem não só atrasadores externos, como na rede FTDNN, mas também atrasadores internos, ou seja, inseridos dentro da arquitetura da rede. Tais atrasadores internos são colocados nas saídas dos neurônios das camadas ocultas. Este tipo de rede é denotada genericamente pela sigla TDNN (PRINCIPE; EULIANO; LEFEBVRE, 2000; HAYKIN, 1999), sendo proposta inicialmente em Waibel et al. (1989). Deve-se frisar, portanto, que a rede FTDNN é um caso particular da rede TDNN em que não há atrasadores internos, apenas atrasadores externos. Daí a razão do termo focused na sigla FTDNN, para indicar que a memória de curta duração está “concentrada” na entrada.
Figura 11 – Arquitetura genérica de uma rede FTDNN de uma camada oculta.
A partir da próxima seção serão apresentadas arquiteturas de redes neurais dinâmi- cas recorrentes. Tais redes diferem das redes dinâmicas citadas até o presente momento por apresentarem laços de realimentação internos ou externos, também chamados laços locais ou globais, respectivamente.