Ao mesmo tempo, a saída desejada d(n) = y(n+1) é armazenada na matriz D(nmax−nmin+1)×L. Lembrando que, como o problema de interesse é predição de séries temporais univariadas, usa-se
L= 1. Logo a matriz D reduz-se a um vetor, ou seja
D = d(nmin+ 1) d(nmin+ 2) ... d(nmax) ∈ Rnmax−nmin+1. (6.4)
(iv) Cálculo dos Pesos dos Neurônios de Saída
O último passo de treinamento é a atualização dos pesos ajustáveis da rede, re- presentados pela matriz Wout. Desta forma, pode-se utilizar um algoritmo não-recursivo, tal
como o método de estimação dos mínimos quadrados, também conhecido como método da pseudoinversa (PRINCIPE; EULIANO; LEFEBVRE, 2000), ou seja:
(Wout)T = MTM−1MTD. (6.5)
A formulação da Equação (6.5) assume que os neurônios de saída são lineares. Porém, a camada de saída pode possuir neurônios com função de ativação sigmoidal, em geral a tangente hiperbólica. O treinamento continua sendo por meio da Equação (6.5), exceto pelo fato de a matriz D armazenar agora, em vez da saída desejada, a inversa da função de ativação: tanh−1(d(n)).
6.3.1 Extensões da Rede ESN para Aplicação em Predição de Séries Temporais
A descrição anterior da rede ESN foi feita para uma arquitetura geral, com P unidades de entrada, L neurônios de saída. Porém, a arquitetura da rede ESN original, quando aplicada em tarefas de predição de séries temporais univariadas, tem apenas uma unidade de entrada (i.e. P= 1) e um único neurônio na camada de saída (L = 1).
Mesmo com um número menor de parâmetros quando comparada com redes recor- rentes tradicionais, a rede ESN tem algumas particularidades quanto ao uso de realimentações e parâmetros restantes. Jaeger (2001) não dá dicas claras de como projetar a rede ESN, não especificando quais laços de realimentação utilizar e nem justificando a escolha dos valores de certos parâmetros. Desta forma, são descritos a seguir algumas possíveis variações da arquitetura ESN original.
6.3.1.1 Unidade de Entrada
A unidade de entrada é essencial para a rede ESN, pois esta alimenta a rede, rece- bendo informações dos dados e inserindo conhecimento na rede. Pode-se utilizar a unidade de entrada recebendo apenas o vetor de entrada atual da série temporal em cada instante, passando pelos pesos Wine alimentando o reservatório, como também por meio de conexões diretas para
a camada de saída.
A dimensão de entrada da rede ESN original é unitária (i.e. P = 1), mas em aplicações de predição de séries temporais esta dimensão pode ser maior que 1 (P > 1). Em tarefas de predição de sinais, a dimensão do regressor de entrada é definida de acordo com o teorema de Takens, ou seja
x(n) = [x(n) x(n − τ) ··· x(n − (dE− 1)τ)]T, (6.6)
em que x(n) é um vetor que contém p = dE elementos da série, contados a partir do elemento
atual x(n), espaçados um do outro de τ unidades de tempo. Mais adiante nesta tese, a eficácia da utilização da janela de Takens como entrada da rede ESN é avaliada e seu desempenho em tarefas de predição é comparado com a proposta original da rede ESN.
Em Jaeger e Haas (2004), os autores utilizam a rede ESN para predição da série de Mackey-Glass, mas não alimentam a rede com observações atuais dos dados, mantendo como informação para a unidade de entrada apenas um valor constante. Esta configuração também é avaliada, observando o desempenho na tarefa de predição. Deve ser notado que quando isto acontece, o papel de inserir conhecimento na rede fica para a unidade de saída projetada para os neurônios do reservatório.
6.3.1.2 Unidade de Saída Projetada para os Neurônios do Reservatório
A saída da rede é realimentada para a entrada da rede, projetando a saída para os neurônios do reservatório. Os pesos destinados a esta tarefa são os representados pela matriz Wback. Jaeger (2001) não deixa claro se é essencial a utilização deste tipo de realimentação.
Apesar disso, Jaeger afirma que, durante a fase de treinamento, durante o período transitório das ativações do reservatório, este laço de realimentação é formado pelos próprios valores observados dos dados. Na fase de teste, onde a rede passa a não ser mais alimentada pelos dados observados, esta unidade é verdadeiramente formada pela saída projetada para os neurônios do reservatório. Como o interesse desta tese reside em tarefas de predição de séries temporais, um único neurônio é utilizado na camada de saída (L = 1), e assim também um único valor (escalar) é projetado por vez para as unidades internas. Se for utilizada a mesma ideia de regressor de saída empregado na rede NARX-MISO (Seção 5.2.1), a dimensão da unidade de saída projetada pode ser maior que 1. Desta forma, propõe-se aqui a utilização de um regressor de saída na rede ESN, contendo dy valores passados da série temporal, ou seja
y(n) = [x(n) x(n − 1) x(n − 2) ··· x(n − dy+ 1)]T ∈ Rdy. (6.7)
Este regressor, na fase de treino, é formado pelos valores passados da série temporal observada, enquanto que na fase de teste é formado pelos valores passados das estimativas da série temporal. A arquitetura descrita até aqui pode ser vista de forma detalhada na Figura 33, com as devidas mudanças enunciadas acima. A rede ESN mostrada nesta figura possui o vetor de entrada definido de acordo com o Teorema de Takens, um único neurônio de saída e um regressor de saída contendo dyvalores passados da série temporal, correspondendo à unidade de saída
projetada para os neurônios do reservatório.
Diante do exposto, diversas arquiteturas da rede ESN são avaliadas nesta tese, tanto com as variações possíveis da rede ESN original, como também utilizando as variações propostas aqui. Ao todo podem-se construir oito configurações de modelos diferentes com a rede ESN. Estas variantes estão listadas, de forma mais detalhada, na Tabela 4.