Birleşik Kas Aksiyon Potansiyeli ve Sinir İletim Hızı

2. (Crit´erio de parada formal) Se 0 ∈ ∂εf (xk), pare.

3. (Descida) Encontre uma dire¸c˜ao de ε-descida dk _{de f em x}k_.

4. (Busca linear) Encontre um tamanho de passo tk> 0 tal que

f (xk+ tkdk) < f (xk) − ε.

5. (Pr´oximo iterado) Defina xk+1= x. k+ tkdk.

6. (Loop) Tome k = k + 1 e v´a para o passo 2.

Nesse algoritmo, f (xk) → −∞ ou o algoritmo termina numa itera¸c˜ao k∗

tal que xk∗´e ε-´otimo. Esse ´e o algoritmo de ε-descida mais simples. Existem

variantes do m´etodo que permitem escolhas de ε = εk a cada itera¸c˜ao.

Por fim, note que o ε-subdiferencial tamb´em n˜ao ´e usualmente conhecido por inteiro, ou seja, o m´etodo de ε-descida que descrevemos ainda n˜ao ´e implement´avel. Nas pr´oximas se¸c˜oes, veremos outros algoritmos que tentam contornar essa quest˜ao.

3.3

M´etodo de Subgradientes

Usualmente, a obten¸c˜ao de um subdiferencial ∂f (x) por inteiro ´e excessiva ou at´e imposs´ıvel do ponto de vista computacional. Uma maneira de con- tornar esse problema ´e simplesmente requerermos menos, ou seja, pedirmos o cˆomputo de apenas um ´unico subgradiente. Tal cˆomputo est´a associado a uma caixa preta (tamb´em denominado or´aculo ), que ´e utilizada como base em diversos algoritmos para problemas n˜ao diferenci´aveis.

Dado xk ∈ Rn, a caixa preta ´e respons´avel por gerar um subgradiente vk _{∈ ∂f (x}k_{), juntamente com f (x}k_{), o valor da fun¸c˜ao objetivo}1_{. Veremos,}

no entanto, que nem sempre ser´a poss´ıvel obter dire¸c˜oes reais de descida. A performance de um algoritmo depende, portanto, da sua capacidade de gerar e reconhecer candidatos a dire¸c˜oes de descida “suficientemente bons”. Nesta se¸c˜ao, estudaremos a primeira dessas metodologias, denominada m´etodo de subgradientes.

A id´eia do m´etodo de subgradientes procede do m´etodo de Cauchy para otimiza¸c˜ao diferenci´avel, no qual se toma a dire¸c˜ao oposta ao gradiente ∇f (x). No nosso caso, tomaremos ent˜ao o vetor oposto ao subgradiente v fornecido pela caixa preta. Por´em, tal dire¸c˜ao n˜ao ser´a necessariamente de

1_{Observe que gerar uma seq¨uˆencia de iterados {x}k_{} independe da maneira na qual se}

calcula os valores f (xk_{) e v}k_{. Em outras palavras, n˜ao ´e necess´ario saber como se computa}

3.3. M´etodo de Subgradientes 29

descida. Conforme pode ser observado na figura 3.3.1, que mostra curvas de n´ıvel para fun¸c˜oes minimizadas em 0 ∈ R2, dire¸c˜oes de descida (representa- das pela parte hachurada clara) devem fazer produto escalar negativo com o subdiferencial ∂f (x) inteiro, e n˜ao apenas com um ´unico subgradiente v.

0 0 ∂f (x) ∇f (x) −v −v v

Figura 3.3.1: Dire¸c˜oes de descida: caso diferenci´avel e n˜ao diferenci´avel. A figura da direita (caso n˜ao diferenci´avel), mostra um exemplo em que a dire¸c˜ao v, fornecida pela caixa preta, ´e um vetor extremo do cone associado a ∂f (x). Em tal exemplo, a dire¸c˜ao oposta −v claramente n˜ao ´e de des- cida. Apesar desse algoritmo n˜ao assegurar necessariamente o decr´escimo da fun¸c˜ao objetivo a cada itera¸c˜ao, escolhas adequadas dos tamanhos de passo podem garantir a convergˆencia do m´etodo. Por ora, observemos a seguir o algoritmo correspondente ao m´etodo de subgradientes.

Algoritmo 3.7. M´etodo de Subgradientes 1. Tome x1 ∈ Rn _{e seja k = 1.}

2. (Caixa preta) Compute vk e f (xk).

3. (Crit´erio de parada) Se 0 ∈ ∂f (xk) [i.e., vk= 0], pare. 4. (Busca linear) Tome um passo tk> 0 adequado.

5. (Pr´oximo iterado) Defina xk+1= x. k− tkvk.

6. (Loop) Tome k = k + 1 e v´a para o passo 2.

Para compreender o passo 4 do algoritmo acima, defina primeiro X∗ como o conjunto de solu¸c˜oes ´otimas e f∗ como o valor ´otimo da fun¸c˜ao

objetivo, ou seja, f∗ = f (x∗) para todo x∗ ∈ X∗. Em nossa an´alise, necessi-

3.3. M´etodo de Subgradientes 30

Hip´otese 3.8. A seq¨uˆencia {vk_{} ´e limitada por uma constante M .}

Hip´otese 3.9. O problema (3.2) possui solu¸c˜ao ´otima, i.e., X∗ _{6= ∅.}

Com isso, veremos no teorema 3.11 algumas condi¸c˜oes para o tamanho do passo que garantem a convergˆencia do m´etodo. Para isso, o lema abaixo ´e essencial.

Lema 3.10. Considere o algoritmo 3.7. Ent˜ao para qualquer y ∈ Rn _e

itera¸c˜ao k, vale a seguinte desigualdade:

kxk+1− yk2 ≤ kxk− yk2+ t_k2kvkk2− 2tk(f (xk) − f (y)).

Demonstra¸c˜ao. Pela defini¸c˜ao de xk+1 _{dada no algoritmo, temos:}

kxk+1_{− yk}2 ₌ xk− t_kvk− y 2 = kxk_{− yk}2_{+ t}2 kkvkk2− 2tkhvk, xk− yi ≤ kxk_{− yk}2_{+ t}2 kkvkk2− 2tk(f (xk) − f (y)),

sendo que a ´ultima desigualdade vem da defini¸c˜ao de vk _{∈ ∂f (x}k_).

Teorema 3.11. Considere o algoritmo 3.7 sob as hip´oteses 3.8 e 3.9, com os tamanhos de passo escolhidos por alguma das seguintes formas:

(a) ∞ X k=1 tk= +∞ e ∞ X k=1 t2_k < +∞, (b) tk= β. k f (xk) − f∗

kvk_k2 com 0 < β ≤ βk ≤ β < 2 para todo k.

Ent˜ao, o ´unico ponto de acumula¸c˜ao de {xk_{} pertence a X}∗_.

Demonstra¸c˜ao.

(a) Utilizando o lema 3.10 para y= x. ∗∈ X∗ _{arbitr´ario,}

kxk+1− x∗k2 ≤ kxk− x∗k2+ t2_kkvkk2− 2tk f (xk) − f∗
. (3.5)

Aplicando essa desigualdade de maneira recursiva, temos: kxk+1− x∗k2 ≤ kx1− x∗k2+ k X i=1 t2_ikvik2− 2 k X i=1 ti(f (xi) − f∗). (3.6)

3.3. M´etodo de Subgradientes 31

Como f∗ ≤ f (xi) e ti > 0 para todo i, temos:

kxk+1− x∗k2 ≤ kx1− x∗k2+

k

X

i=1

t2_ikvik2.

Assim, da limita¸c˜ao de kvik para todo i e deP∞

i=1t2i < +∞, temos que {xk}

´e limitada e que kxk_{− x}∗_k2 _{converge [Pol87, se¸c˜ao 2.2].}

Defina agora ˆf_kj = min. j≤i≤kf (xi) e mostremos que para todo j, ˆfkj → f∗

quando k → ∞. Tome um j arbitr´ario. De maneira an´aloga a (3.6), obte- mos, aplicando recursivamente a desigualdade (3.5):

kxk+1− x∗k2 ≤ kxj− x∗k2+ k X i=j t2_ikvik2− 2 k X i=j ti(f (xi) − f∗).

Como kxk+1_{− x}∗_k2 _{≥ 0, podemos escrever:}

kxj_{− x}∗_k2₊Pk i=jt2ikvik2 ≥ 2 Pk i=jti(f (xi) − f∗) ≥ 2Pk i=jti  mini=j,...,k(f (xi) − f∗).

Al´em disso, como kvik ≤ M para todo i,

ˆ f_kj− f∗≤ kxj− x∗k2+Pk i=jt2ikvik2 2Pk i=jti ≤ kx j_{− x}∗_k2_{+ M}2Pk i=jt2i 2Pk i=jti . Logo, como x∗ ´e arbitr´ario, podemos escrever

ˆ f_kj − f∗≤ dist(xj, X∗) + M2Pk i=jt2i 2Pk i=jti

e com isso, temos que ˆf_kj − f∗ → 0 quando k → ∞, pois dist(xj, X∗) +

M2P∞

i=jt2i ´e limitado e

P∞

i=jti = +∞.

Finalmente, mostremos que um ponto de acumula¸c˜ao ¯x de {xk_{} pertence}

a X∗. Sabemos que para todo j, ˆ f_kj = min. j≤i≤kf (x i_{) ≥ inf} i≥jf (x i_{) ≥ f} ∗. (3.7)

Como f ´e semi-cont´ınua inferior, f (¯x) ≤ lim inf i→∞ f (x i_{) = lim} j→∞infi≥jf (x i_{) ≤ lim} j→∞ ˆ f_kj,

3.3. M´etodo de Subgradientes 32

onde a ´ultima desigualdade ´e dada por (3.7). Ademais, ˆf_kj → f∗, ent˜ao

f (¯x) ≤ f∗, ou mais precisamente, f (¯x) = f∗. Logo, qualquer ponto de acu-

mula¸c˜ao dessa seq¨uˆencia (limitada) {xk} est´a em X∗, conforme quer´ıamos. Para provar a unicidade de tal ponto de acumula¸c˜ao, suponha que existam ¯

x e ˜x distintos tais que xk → ¯x e xk → ˜x. Ent˜ao, k¯x − x∗k = k˜x − x∗k, o que ´e poss´ıvel somente se ¯x = ˜x.

(b) Utilizando o lema 3.10 para y= x. ∗∈ X∗ _{e a defini¸c˜ao de t}

k, temos: kxk+1− x∗k2 ≤ kxk_{− x}∗_k2_{+ t}2 kkvkk2− 2tk(f (xk) − f∗) = kxk_{− x}∗_k2_{− β} k(2 − βk) (f (xk) − f∗)2 kvk_k2 (3.8) Assim, como βk∈]0, 2[, kxk+1− x∗k2≤ kxk− x∗k2

e isso implica que {xk} ´e limitada. Mostremos agora que f (xk) → f∗.

Suponha, por contradi¸c˜ao, que {xk_{} → ¯x e que f (¯x) > f}

∗. Ent˜ao, existem

δ > 0 e uma seq¨uˆencia infinita de ´ındices k1 < k2 < ... tais que f (xki)−f∗> δ

para todo i = 1, 2, .... Pela hip´otese 3.8, kvkk ´e limitado. Al´em disso, como 0 < β ≤ βk≤ β < 2 para todo k, temos, por (3.8), que

kxki+1_{− x}∗_k2 _{≤ kx}ki_{− x}∗_k2_{− ε, i = 1, 2, ...}

onde ε > 0. Logo, kxki+1−x∗k2≤ kxk1_−x∗_k2_{−iε. Como kx}ki+1−x∗k2 ≥ 0,

temos kxk1 _{− x}∗_k2 _{− iε ≥ 0. Assim, tomando i → ∞, chegamos a uma}

contradi¸c˜ao. Com isso, para qualquer ponto de acumula¸c˜ao ¯x, temos ¯x ∈ X∗_.

Ademais, como {kxk− x∗_{k} ´e decrescente, ela converge para k¯x − x}∗_{k para}

todo x∗ ∈ X∗. Para verificar a unicidade do ponto de acumula¸c˜ao de {xk}, suponha que existam ¯x e ˜x distintos tais que {xk_{} → ¯x e {x}k_{} → ˜x. Ent˜ao,}

¯

x, ˜x ∈ X∗ e k¯x − x∗k = k˜x − x∗k para todo x∗ _{∈ X}∗_{. Mas isso ´e poss´ıvel}

somente se ¯x = ˜x, o que nos leva novamente a uma contradi¸c˜ao.

Naturalmente, outras condi¸c˜oes de tamanho de passo s˜ao poss´ıveis de modo a estabelecer convergˆencia do m´etodo. De fato, o caso (b) do teo- rema 3.11 pode ser generalizado da seguinte forma:

tk= β. k

f (xk) − LB

kvk_k2 , (3.9)

onde LB ´e um limitante inferior do valor ´otimo f∗. A utiliza¸c˜ao de (3.9)

3.3. M´etodo de Subgradientes 33

Referimo-nos a [Pol69] para a demonstra¸c˜ao de convergˆencia nesse caso. Por sua vez, esse limitante inferior LB pode ser atualizado a cada itera¸c˜ao k. Veremos detalhes disso na se¸c˜ao 6.3.

Vale ressaltar que embora o m´etodo de subgradientes seja considerado base para diversos algoritmos de otimiza¸c˜ao, sua teoria de convergˆencia n˜ao est´a ainda completa. Isso significa que algumas vers˜oes do algoritmo mostra- das na teoria s˜ao lentas do ponto de vista computacional, enquanto que para muitas vers˜oes implement´aveis do algoritmo n˜ao foram obtidas provas reais de convergˆencia. Finalizamos o assunto listando duas varia¸c˜oes do m´etodo de subgradientes.

Suponha primeiro que queremos resolver o problema restrito (3.1) e que o conjunto vi´avel X ´e simples, no sentido de que ´e f´acil projetar um ponto em X. Ent˜ao, o m´etodo de subgradientes projetados ´e baseado na seguinte atualiza¸c˜ao de iterados:

xk+1= P. X xk− tkvk
. (3.10)

Observe que a proje¸c˜ao PX(·) garante que, a cada passo, os iterados xk

sejam vi´aveis.

Com ou sem proje¸c˜oes, ´e poss´ıvel que ocorra zigzags no m´etodo de sub- gradientes. Para ilustrar isso, considere o seguinte exemplo:

minimizar f (x)= x. 1+ 2x2− 1

sujeito a x ∈ X=. (x1, x2)T ∈ R2: x1+ x2 = 1; x1, x2 ≥ 0 .

Nesse caso, a solu¸c˜ao ´otima ´e x∗ = (1, 0)T com f (x∗) = f∗ = 0. Suponha

que a cada passo βk = 1. Considerando x0= (0, 1). T, ter´ıamos tk= f (xk)/5,

xk= 1 − 9 10 k , 9 10 k!T e f (xk) = 9 10 k

para todo k. Assim, com essa instˆancia, o algoritmo claramente converge para a solu¸c˜ao ´otima muito lentamente. Conforme [CFM75], o m´etodo de subgradientes com desvios, caracterizado por:

xk+1= P. X xk− tkdk
onde



d1 = v. 1,

dk = v. k+ αkdk−1, (αk ≥ 0), ∀k > 1,

tenta diminuir a ocorrˆencia de tal fenˆomeno considerando uma combina¸c˜ao entre o subgradiente vke a dire¸c˜ao anterior dk−1. No cap´ıtulo 5 utilizaremos todas essas varia¸c˜oes, bem como adapta¸c˜oes das mesmas.