pH Biyosensörler

Uma RNA RBF possui arquitetura de camada oculta ´unica definida por um conjunto de fun¸c˜oes de base radial, das quais a rede deriva seu nome. O aprendizado de uma rede RBF ´e equivalente a ajustar uma superf´ıcie n˜ao-linear ao conjunto de dados, em um espa¸co multi-dimensional, de acordo com algum crit´erio estat´ıstico. O processo de generaliza¸c˜ao equivale a usar esta superf´ıcie multi-dimensional para interpolar outros pontos que n˜ao perten¸cam ao conjunto de treino, mas estejam em sua vizinhan¸ca.

Os neurˆonios da camada oculta de uma rede neural RBF s˜ao um conjunto de fun¸c˜oes que constitui uma base arbitr´aria no espa¸co por eles formado, em cujo espa¸co o conjunto de entrada pode ser expandido. Os dados representados atrav´es de redes neurais RBF s˜ao, portanto, expandidos com referˆencia a um conjunto finito de fun¸c˜oes de ativa¸c˜ao neurais, chamadas fun¸c˜oes de base radial. Cada uma destas

fun¸c˜oes ´e centrada em uma coordenada particular do espa¸co multi-dimensional dos pontos que comp˜oem o espa¸co de dados de entrada. Cada uma destas coordenadas particulares caracteriza-se por definir o centro de uma – entre varias poss´ıveis – regi˜ao de maior aglomera¸c˜ao de pontos, ou cluster [17], do espa¸co de dados de entrada.

As redes neurais RBF foram originalmente desenvolvidas para interpola¸c˜ao de dados em espa¸cos multi-dimensionais [18], o qual pode ser assim formulado: dado um conjunto de vetores ui e um conjunto de escalares ψi, busca-se uma fun¸c˜ao F (.)

tal que,

ψi = F (ui),∀i (4.5)

Desde que definida analiticamente, a fun¸c˜ao F (.) pode ser usada para mapear ve- tores u que n˜ao perten¸cam ao conjunto original, no conjunto de pontos ψ associados. Uma poss´ıvel solu¸c˜ao para o mapeamento anal´ıtico ´e escolher F (u), tal que:

F(u) =
i wiφu − ui 2 (4.6) em que φ_{u − u}i

2 _{´e uma fun¸c˜ao escalar radialmente sim´etrica tendo u}

i, como

centro no contexto de redes neurais RBF. O operador . ´e a norma Euclidiana e mede o m´odulo do vetor argumento.

Existe um conjunto de fun¸c˜oes (tanto limitadas quanto ilimitadas) que s˜ao ade- quadas para interpola¸c˜ao por resultarem em um conjunto de equa¸c˜oes lineares para as inc´ognitas wi para as quais existe uma ´unica solu¸c˜ao [19]. A Tabela 4.1 apresenta

exemplos destas fun¸c˜oes mais comumente utilizadas como fun¸c˜oes de base radial, entre as quais a fun¸c˜ao Gaussiana merece destaque em aplica¸c˜oes pr´aticas.

Tabela 4.1: Fun¸c˜oes de Base Radial Spline Fina φ(ζ) = _σζ2 log

ζ σ Multi-Quadr´atica φ(ζ) =ζ2_{+ σ}2 Multi-Quadr´atica Inversa φ(ζ) = √ 1 ζ2 +σ2 Gaussiana φ(ζ) = exp− ζ2 2σ2 

39

O parˆametro σ corresponde ao desvio-padr˜ao da fun¸c˜ao Gaussiana, e define a distˆancia Euclidiana m´edia (raio m´edio) que mede o espalhamento dos dados repre- sentados pela fun¸c˜ao de base radial em torno de seu centro. Os raios de cada uma das fun¸c˜oes de base radial de uma mesma rede RBF podem assumir diferentes va- lores, no entanto, para redes RBF reais, o mesmo raio utilizado para cada neurˆonio n˜ao-linear j´a permite que a rede uniformemente aproxime qualquer fun¸c˜ao cont´ınua, desde que haja n´umero suficiente de fun¸c˜oes de base radial. Na pr´atica, o valor do raio das fun¸c˜oes de base radial afeta as propriedades num´ericas dos algoritmos de aprendizado, mas n˜ao afeta a capacidade geral de aproxima¸c˜ao das redes RBF.

Originalmente, nas primeiras tentativas de aproxima¸c˜ao de fun¸c˜oes com redes RBF eram utilizadas tantas fun¸c˜oes de base radial quantos fossem os padr˜oes do conjunto de dados representativo da fun¸c˜ao a ser aproximada [19]. Uma solu¸c˜ao para o problema de interpola¸c˜ao exata – que utiliza tantas fun¸c˜oes de base radial quantos forem os padr˜oes presentes nos dados – ´e permitir que nem todos os vetores de entrada tenham uma fun¸c˜ao de base radial associada e que a escolha dos centros das fun¸c˜oes de base radial n˜ao seja restrita ao conjunto original de entrada [20]. Adotando-se esta solu¸c˜ao, o sistema de equa¸c˜oes lineares cujas inc´ognitas s˜ao os pesos wi ser´a sobre-determinado. A solu¸c˜ao de tal sistema ´e obtida a partir da

opera¸c˜ao de pseudo-invers˜ao matricial [21] aplicada `a matriz de interpola¸c˜ao Φ, uma fun¸c˜ao das fun¸c˜oes de base radial (e, portanto, dos respectivos centros e variˆancias escolhidos) e dos vetores de treino pertencente ao conjunto de dados, aplicadas `a entrada da rede. Esta abordagem resulta em uma significativa redu¸c˜ao de custo computacional e no aumento da capacidade de generaliza¸c˜ao das redes RBF, o que possibilitou a sua aplica¸c˜ao a uma vasta gama de problemas em processamento digital de sinais (por exemplo), tais como , modelamento de sistemas, rejei¸c˜ao de interferˆencia e equaliza¸c˜ao/deconvolu¸c˜ao de canal.

Analiticamente, a matriz de interpola¸c˜ao Φ[N ×K] ´e formada pelos vetores ϕ_i,

i = 1, 2, . . . , N sendo N n´umero de vetores pertencentes ao conjunto de treino da RNA. Os vetores ϕ_i resultam da aplica¸c˜ao dos vetores ui ∈ M, i = 1, 2, . . . , N `a

entrada da rede RBF. Os elementos do vetor ϕ_{i ∈ }K _{s˜ao as sa´ıdas de cada centro}

Gaussiano em resposta ao vetor ui, i = 1, 2, . . . , N aplicado `a entrada da rede (sendo,

portanto, fun¸c˜oes dos vetores de entrada ui, e dos vetores centro das fun¸c˜oes de base

para a RNA RBF). Desta forma, Φ pode ser expressa como Φ = ⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ϕT₁ ϕT₂ ϕT₃ ... ϕT N ⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ = ⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝

ϕ(u1, c1) ϕ(u1, c2) · · · ϕ(u1, cK) 1

ϕ(u₂, c₁) ϕ(u₂, c₂) _{· · · ϕ(u2}, c_K) 1 ϕ(u₃, c₁) ϕ(u₃, c₂) _{· · · ϕ(u3}, cK) 1

... ... . .. ... ...

ϕ(uN, c1) ϕ(uN, c2) · · · ϕ(uN, cK) 1

⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ (4.7)

A Figura 4.10 apresenta a arquitetura da rede neural RBF que ´e habitualmente usada em tais aplica¸c˜oes. A rede ´e composta de:

• uma camada de n´os fonte (que conectam a rede a seu ambiente externo), `a qual ´e apresentado o vetor de entrada u_{n∈ }M_.

• uma ´unica camada oculta de neurˆonios n˜ao-lineares, cada um deles compu- tando uma fun¸c˜ao distˆancia entre o vetor de entrada e o centro da fun¸c˜ao de base radial associada.

• uma camada oculta.

Figura 4.10: Rede Neural do Tipo Radial Basis Function

Na camada oculta, ocorre o mapeamento n˜ao-linear, expresso por fun¸c˜oes de ativa¸c˜ao Gaussianas, da forma

ϕk = ϕk(un, ck, σk2) = exp  − 1 σ_k2un− ck 2 (4.8)

41

em que un ∈ M, ´e o n-´esimo vetor de entrada, ck ∈ M representa o vetor centro

da k-´esima fun¸c˜ao de base radial k = 0, 1, . . . , K _{− 1, K ´e o n´umero de fun¸c˜oes de} base radial, e σ2

k ´e a variˆancia associada a cada uma das fun¸c˜oes de base radial.

A camada de sa´ıda da rede neural ´e formada por um ´unico neurˆonio linear. O neurˆonio que comp˜oe a camada de sa´ıda ´e definido como um combinador linear das fun¸c˜oes de base radial. A sa´ıda ψ da rede RBF ´e, portanto, a soma das sa´ıdas de cada Gaussiana, ponderadas pelos respectivos pesos sin´apticos ̟kdo vetor de pesos

da rede ̟ (4.9), de tal forma que a combina¸c˜ao linear ´e expressa por (4.10). ̟= ̟1 ̟2 · · · ̟K T (4.9) ψi = K−1
k=0 ̟kϕk(u, ck, σ 2 k) (4.10)

Em (4.10), o termo ϕk(u, ck, σk2) ´e a k-´esima fun¸c˜ao de base radial. Note que ϕk

calcula o quadrado da distancia Euclidiana entre um vetor de entrada u e o centro ck

da k-´esima fun¸c˜ao de base radial. O sinal de sa´ıda produzido pelo k-´esimo neurˆonio escondido ´e uma fun¸c˜ao n˜ao-linear. O fator de escala wk representa o peso que

conecta o k-´esimo neurˆonio escondido ao n´o de sa´ıda da rede.

A transforma¸c˜ao n˜ao-linear acima referida ´e definida pelo conjunto de fun¸c˜oes de base radial ϕk e a transforma¸c˜ao linear ´e definida pelo conjunto de pesos ̟k,

k = 1, 2, . . . , K. O mapeamento entrada/sa´ıda de uma rede RBF Gaussiana ´e muito semelhante `a t´ecnica estat´ıstica chamada Mistura de Modelos (Mixture Mo- dels), que s˜ao misturas de distribui¸c˜ao de probabilidades [17, 22]. Em particular, as misturas de distribui¸c˜ao de probabilidades Gaussianas tˆem sido usadas como mo- delos em uma grande variedade de aplica¸c˜oes onde os dados de interesse prov´em de duas ou mais popula¸c˜oes misturadas entre si, com parˆametros estat´ısticos distin- tos. A resposta ϕk do neurˆonio k da camada oculta de uma rede RBF representa

a densidade probabil´ıstica condicional de u dado o centro ck isto ´e, ϕk(u|ck). 0

coeficiente wk representa a probabilidade a priori de u no contexto da densidade

condicional ϕk(u|ck). Assim, o conjunto das K densidades probabil´ısticas condicio-

nais modelam a fun¸c˜ao de densidade de probabilidade representativa do mecanismo estat´ıstico subjacente que gerou os dados, sendo o modelamento definido atrav´es deK−1

k=0 wkϕk(u|ck). Neste sentido, a rede RBF ´e muitas vezes referida como um

O procedimento para a implementa¸c˜ao de uma rede neural RBF compreende a determina¸c˜ao, atrav´es de um processo de aprendizagem, dos valores adequados aos parˆametros livres da RBF, que s˜ao as variˆancias σ2

k, os centros ck, e os pe-

sos sin´apticos wk. O aprendizado ou treinamento consiste em determinar estes

parˆametros de tal forma que, dado um conjunto de est´ımulos u na entrada, as sa´ıdas ψ aproximem-se o m´aximo poss´ıvel do conjunto de valores desejado.

Diferentes algoritmos podem ser utilizados para a adapta¸c˜ao dos parˆametros livres das redes RBF. Por exemplo, o algoritmo k-means [13, 21] pode ser utili- zado para a inicializa¸c˜ao e/ou atualiza¸c˜ao dos centros das fun¸c˜oes de base radial, o algoritmo de Moore-Penrose para pseudo-invers˜ao de matrizes [21] pode ser utili- zado para a atualiza¸c˜ao dos pesos sin´apticos, enquanto que o m´etodo do Gradiente Estoc´astico [21, 23] pode ser aplicado na atualiza¸c˜ao dos pesos da rede RBF, das variˆancias e dos centros das fun¸c˜oes de base radial. A Tabela 4.2 apresenta alguns dos poss´ıveis algoritmos de aprendizado empregados para ajuste dos parˆametros livres.

Tabela 4.2: Algoritmos de Aprendizado para Ajustes dos Parˆametros Livres

Centros Pesos Sin´apticos Variˆancias dos Centros Constante: Por conhecimento Pseudo Inversa por decomposi¸c˜ao Constante: Por conhecimento pr´evio e inferˆencia a partir do em valores singulares: pr´evio e inferˆencia a partir do

conjunto de Treinamento w(n) = Φ−1_{(n)d(n) conjunto de Treinamento}

Agrupamento pelo algoritmo Gradiente Estoc´astico (LMS) σ2

k= ξk(n) max



ca(n) − cb(n)

2

k-means_{. N˜ao-supervisionado Supervisionado: usa onde ξk´e fixo} e(n) = d(n) − ψ(n)

Gradiente Estoc´astico (LMS) Gradiente Estoc´astico (LMS) Gradiente Estoc´astico (LMS) Supervisionado: usa Supervisionado: usa Supervisionado: usa

e(n) = d(n) − ψ(n) e(n) = d(n) − ψ(n) e(n) = d(n) − ψ(n)

Pode-se fazer com que diferentes modos de treinamento resultem da combina¸c˜ao dos algoritmos para atualiza¸c˜ao de centros, variˆancias e pesos sin´apticos presentes da Tabela 4.2. Por exemplo, um algoritmo n˜ao-supervisionado pode ser utilizado para estimar os centros, uma posterior estimativa da distˆancia do vetor de entrada em rela¸c˜ao a cada centro pode ser usada para especificar σ e, finalmente, j´a tendo sido definidos os centros e os desvios-padr˜ao os pesos sin´apticos podem ser calculados

43

atrav´es do algoritmo LMS (Least Mean Square) [13]. Ap´os a estimativa inicial de parˆametros da rede, um ajuste mais fino pode ser dado a esta estimativa, utilizando t´ecnicas de gradiente aplicadas a todos os parˆametros, ao inv´es de apenas aos pesos sin´apticos.

Para o prop´osito do desenvolvimento do trabalho desta tese, escolheu-se a es- trat´egia de aprendizado que aliasse simplicidade de processamento e precis˜ao / con- fiabilidade de resposta, a estrat´egia baseada em Centros Fixos Selecionados Aleatoriamente.

4.8.2

Estrat´egia de Aprendizado: Centros Fixos Seleciona-

dos Aleatoriamente

A abordagem mais simples de aprendizado das RNAs RBF ´e assumir fun¸c˜oes de base radial fixas. A localiza¸c˜ao dos centros pode ser escolhida aleatoriamente do conjunto de dados de treinamento. Para as fun¸c˜oes de base radial, empregou-se uma fun¸c˜ao gaussiana (4.8), que tem a propriedade de ser isotr´opica, e cujo desvio padr˜ao ´e fixado de acordo com o espalhamento dos centros. Especificamente, a fun¸c˜ao de base radial (normalizada) centrada em ck ´e re-definida como

ϕk = exp  −_dK₂ max un− ck 2 (4.11) em que dmax ´e a distˆancia m´axima entre os centros escolhidos. O desvio-padr˜ao – a

largura – de todas as RBFs gaussianas ´e fixo em σ= √dmax

2K (4.12)

Esta f´ormula assegura que as RBFs individuais n˜ao sejam pontiagudas demais ou planas demais, condi¸c˜oes essas que devem ser evitadas. Outra proposta, que requer experimenta¸c˜ao com os dados de treinamento, ´e usar centros escalados individual- mente com larguras maiores em ´areas de menor densidade de pontos.

A sa´ıda ψ (4.13), ´e definida como uma combina¸c˜ao linear das fun¸c˜oes de base ra- dial, a soma de cada fun¸c˜ao Gaussiana ponderada pelos respectivos pesos sin´apticos ̟k do vetor de pesos da rede mais um termo constante de polariza¸c˜ao ou bias ̟0.

ψ =

K

k=1

Na abordagem do treinamento por centros fixos selecionados aleatoriamente, os ´

unicos parˆametros que devem ser aprendidos s˜ao os pesos lineares na camada de sa´ıda da rede ̟ (4.9), cujo procedimento ´e realizado com o m´etodo da pseudo- inversa, conforme (4.14). Em que d (4.15) ´e o vetor resposta desejada do conjunto de treinamento, e Φ+ _{´e a pseudo-inversa da matriz de interpola¸c˜ao (4.7).}

̟= Φ+d (4.14)

d = d1 d2 · · · dN



(4.15) Ap´os o ajuste dos pesos, a sa´ıda da rede pode ser calculada, na forma matricial, por (4.16). Em que ψ ´e o vetor de sa´ıda (4.17).

ψ = Φ̟ + ̟0 (4.16)

ψ = ψ1 ψ2 · · · ψN

T

(4.17) O m´etodo de sele¸c˜ao aleat´oria de centros ´e recomendado para projetos de RNAs RBF que trabalhem com um grande conjunto de treinamento de tamanho fixo, situa¸c˜ao em que pode ser considerado um m´etodo de regulariza¸c˜ao [13].

O algoritmo dessa estrat´egia de aprendizagem ´e exibido abaixo:

Algoritmo de treinamento de RNA RBF por Centros Fixos Selecionados Aleatoriamente

1. Inicializa¸c˜ao aleat´oria dos pesos ̟(n).

2. Sele¸c˜ao aleat´oria dos centros c_k(n) a partir do conjunto de trei- namento u(n).

3. C´alculo da Matriz de Interpola¸c˜ao Φ(n). 4. Adapta¸c˜ao dos pesos

45