2. BÖLÜM: BULGULAR VE DEĞERLENDİRME
2.3. Alan Araştırması Sonuçları Ve Değerlendirmeleri
2.3.6. Kutlamalar ve Sosyal Medya İlişkisi
Nesta seção provaremos que existem algoritmos que geram sequencias cujos pontos limites satis- fazem a condição AKKT2. Como exemplos, podemos mencionar o lagrangiano aumentado proposto em (ABMS10)(ver também (AMS07)), o método regularizado SQP de Gill, Kungurtsev e Robinson (GKR13) e o método de regiões de confiança de Dennis e Vicente (DV97).
Método de lagrangiano aumentado com convergência para pontos estacionários de segunda ordem.
Mostraremos que o método de lagrangiano aumentado proposto por (ABMS10) (ver (AMS07)) gera sequências AKKT2. Antes de começar a análise do método de lagrangiano aumentado de (AMS07) para o problema (2.0.3) (que é equivalente ao método proposto em (ABMS10) quando a restrição de caixa é todo o Rn) vejamos algumas notações adicionais. Considere a seguinte função
lagrangiana aumentada Lρ(x, λ, µ) := f (x) + ρ 2 m X i=1 hi(x) + λi ρ 2 + p X j=1 max{0, gj(x) + µj ρ } 2 , (4.1.11) para todo x ∈ Rn, ρ > 0, λ∈ Rm e µ ∈ Rp
+. A função Lρpossui primeiras derivadas contínuas com
respeito à variável x, mas a segunda derivada não está definida nos pontos x tais que gj(x)+µj/ρ = 0.
Assim, para superar essa dificuldade, em (AMS07) os autores definiram: ¯ ∇2 max{0, gi(x) + µi ρ} 2 := ∇2 gi(x) + µi ρ 2 se gi(x) + µi ρ = 0; (4.1.12) ¯ ∇2 max{0, gi(x) + µi ρ} 2 := ∇2 max{0, gi(x) + µi ρ } 2 caso contrário. (4.1.13) Agora procederemos a descrever o algoritmo. Ver Algoritmo 1.
De (4.1.14) temos que qualquer ponto limite {xk} satisfaz a condição AKKT2. De fato, seja x∗
qualquer ponto limite da sequência {xk}. Pela demonstração de (AMS07, Teorema 4.1), temos que,
para k suficientemente grande, a expressão (4.1.14) é equivalente a (AMS07, Teorema 4.1) k∇L(xk, ˆλk, ˆµk)k ≤ ε
Algorithm 1 (AMS07, Algoritmo 4.1).
Sejam λmin < λmax, µmax> 0, γ > 1, τ ∈ (0, 1). Seja {εk} ⊂ R+ uma sequência tal que lim εk= 0.
Escolha λ1
i ∈ [λmin, λmax] com i ∈ {1, . . . , m}, µ1j ∈ [0, µmax] para j ∈ {1, . . . , p} e ρ1 > 0. Seja
x0 ∈ Rn um ponto inicial arbitrário. Defina V0 := g(x0)+. Inicialize com k = 1.
1. Encontre um minimizador aproximado xk de L ρk(x, λ
k, µk). As condições para xk são:
k∇Lρk(x k, λk, µk) k ≤ εk e ∇¯2Lρk(x k, λk, µk) −εkI (4.1.14) 2. Defina Vk j := max{gj(xk),−µkj/ρk} para j ∈ {1, . . . , p}. Se max{kh(xk)k
∞,kVkk∞} ≤ τ max{kh(xk−1)k∞,kVk−1k∞} coloque ρk+1 = ρk, caso con-
trário ρk+1= γρk;
3. Calcule λk+1
i ∈ [λmin, λmax] para todo i∈ {1, . . . , m} e µk+1j ∈ [0, µmax], j ∈ {1, . . . , p}. Faça
k← k + 1 e ir para o Passo 1. e ∇2L(xk, ˆλk, ˆµk) + ρk m X i=1 ∇hi(x)∇hi(x)T + ρk X j∈J(x∗) ∇gj(x)∇gj(x)T −εkI, (4.1.16) onde ˆλk
i := λki + ρkhi(xk) para todo i ∈ {1, . . . , m} e ˆµjk := max{0, µkj + ρkgj(xk)} para todo
j ∈ {1, . . . , p}. Ainda mais de (AMS07, Teorema 4.1) temos que para k suficientemente grande ˆ
µk
j = 0 para todo j /∈ J(x∗). Assim, das expressões (4.1.15) e (4.1.16) temos que a condição
AKKT2 vale em x∗.
Método SQP regularizado com convergência a pontos estacionários de segunda ordem. Os métodos de Programação Quadrática Sequencial SQP (pelas sua sigla em inglês, Sequencial Quadratic Programming) são uma classe popular de métodos para resolver problemas de progra- mação não linear. Devido às dificuldades teóricas e numéricas associadas à otimização de pro- blemas degenerados ou mal-postos, dois tipos de métodos de programação quadrática seqüencial foram projetados, o método SQP regularizado e o método SQP estabilizado, ver (GR13, IS12). Em (GKR13) Gill, Kungurtsev e Robinson apresentaram uma modificação do método SQP regularizado de (GR13) para obter convergência a pontos que satisfazem a condição WSONC sob a condição MFCQ+WCR. Para informações adicionais ver (Kun13).
Mostraremos que o método proposto em (GKR13) gera sequências que satisfazem a condição sequencial de segunda ordem AKKT2. O problema analisado em (GKR13) é o seguinte
minimizar f(x) sujeito a c(x) = 0, x ≥ 0. (4.1.17) onde c : Rn→ Rm e f : Rn→ R são funções com derivadas segundas contínuas.
Remark. Para simplificar a verificação, usaremos a mesma notação de (GKR13). Defina H(x, λ) := ∇2f (x)−Pλ
i∇2ci(x). Seja J(x)T a matriz cujas linhas são os gradientes
∇ci(x) para todo i∈ {1, . . . , m}. Perceba que se definimos as funções h(x) := −c(x) e g(x) := −x,
a matriz simétrica H(x, λ) coincide com a Hessiana da função lagrangiana L(x, λ, µ) = f(x) + P
λihi(x) +Pµjgj(x). Defina a função resíduo como r(x, λ) :=k(c(x), min(x, ∇f(x) − J(x)λ))k.
Para qualquer ponto viável x, o cone crítico fraco é CA(x) = {d : J(x)Td = 0, dj = 0 para j ∈
J(x)} e para um ponto viável fixo x∗, temos o seguinte cone ˜C(x) = {d : J(x)Td = 0, d j =
0 para j ∈ J(x∗)}. Dados γ, ε
a ∈ (0, 1), o conjunto de ε-ativo é definido como Aε(x, λ, µ) = {i :
xi ≤ ε, com ε = min(εa, max(µ, r(x, λ)γ))}. O conjunto ε-livre é definido como Fε(x, λ, µ) :=
{1, .., n} Aε(x, λ, µ). O método proposto em (GKR13) é baseado no método SQP primal-dual de
4.1 CONDIÇÃO SEQUENCIAL DE SEGUNDA ORDEM: AKKT2 59 curvatura negativa que facilita a convergência a pontos estacionários de segunda ordem. A direção de curvatura negativa está baseada nas propriedades da seguinte função lagrangiana aumentada
M (x, λ; λE, µ) = f (x)− c(x)TλE+ 1
2µkc(x)k
2+ ν
2µkc(x) + µ(λ − λ
E)k2,
onde ν ∈ R+, µ é um parâmetro de penalidade (positivo) e λE é uma estimativa do multiplicador
de Lagrange. Ao igual que (GKR13), denotamos por B(x, λ; µ) a matriz definida em (GKR13, expressão (2.1)). A matriz B(x, λ; µ) é uma aproximação da hessiana de ∇2M . A forma exata de
B(x, λ; µ) é dada por (GKR13, expressão (2.1)). A matriz ˆB(x, λ; µ) é uma matriz semi-definida positiva, igual a B(x, λ; µ) quando esta é suficientemente positiva definida, caso contrário, ela tem uma forma específica, ver (GKR13, expressão (2.3)), que depende da matriz ˆH(x, λ) de forma que
ˆ
H(x, λ) + µ−1J(x)J(x)T é positiva definida, cf. (GR13, Teorema 4.5).
No que resta da discussão, assumimos que ν é um parâmetro fixo positivo. O algoritmo gera uma sequência {vk} onde vk= (xk, λk) é a k-ésima estimativa da solução primal-dual do problema
(4.1.17). Cada iteração pode ser classificada como uma V-, O-, M- ou F- iteração dependendo de certas regras, cf. (GKR13, Algoritmo 3). Pode-se provar que existem infinitas iterações do tipo V-,O- ou M, (GKR13, Teorema 3.2). Experimentos numéricos mostram que o número de iterações do tipo M ocorre com pouca frequência relativamente ao número total de iterações. O seguinte é um resumo do algoritmo. O algoritmo completo é o algoritmo 3 de (GKR13).
Algorithm 2 (GKR13, Algoritmo: sumário).
Os cálculos associados à k-ésima iteração podem ser dispostos em cinco etapas principais. 1. Dado (xk, λk) e o parâmetro de regularização µR
k−1da iteração anterior, defina Fε(xk, λk, µRk−1)
e B(xk, λk; µR
k−1). Calcule a matriz positiva definida ˆB(xk, λk; µRk−1) junto com ǫ (1)
k ≥ 0 e o
vetor sk tal que se ǫ(1)k > 0, então (−ǫ(1)k , sk) aproxima ao par autovalor-autovetor mais
negativo de B(xk, λk; µR
k−1) (ver (GKR13, Seção 2.1)).
2. Use ǫ(1)k e r(xk, λk) para definir os valores de λkE e µR
k para a k-ésima iteração. Ver (GKR13,
Seção 2.2).
3. Defina uma direção de descida dk = (pk, qk) solução do problema convexo associado com a
hessiana B(xk, λk; µR
k−1) e o gradiente∇M(xk, λk; µRk). A parte primal de dksatisfaz xk+pk≥
0. Ver (GKR13, Seção 2.3).
4. Calcule a direção de curvatura negativa sk= (uk, wk). A parte primal de sksatisfaz xk+ pk+
uk ≥ 0. Ver (GKR13, Section 2.3).
5. Faça uma busca linear ao longo do vetor △vk = sk+ dk = (pk+ uk, qk+ wk) (ver (GKR13,
Seção 2.4)). Atualize o parâmetro de penalidade associado à busca linear.
Seguindo (GKR13), considere as seguintes hipóteses: (i) a sequência de matrizes { ˆH(xk, λk)}k∈N
é uniformente limitada e a sequência dos autovalores mínimos de ˆH(xk, λk) + (1/µR
k)J(xk)J(xk)T
é uniformente limitada inferiormente e (ii) a sequência {xk} é contida em um conjunto compacto.
Para mostrar que o método gera sequências AKKT2 examinemos a prova do Teorema 3.4 em (GKR13). Seja {vk= (xk, λk)} a sequência gerada pelo Algoritmo 3 de (GKR13) e suponha que o
algoritmo gera infinitos iterados do tipo V ou O. Seja x∗ qualquer ponto limite da sequência onde
cada iterado é do tipo V ou do tipo O. Do Algoritmo 3, temos que as quantidades positivas φmax V e
φmaxO são reduzida pela metade durante o processo, ver (GKR13, (2.10)-(2.11)), e assim temos que
maxkc(xk)k, k min(xk,∇f(xk)− J(xk)λk)k, ǫ(1) k
De (4.1.18) concluímos que x∗ é viável e de k min(xk,∇f(xk) − J(xk)λk)k → 0 deduzimos que
(4.1.1) da definição de AKKT2 é satisfeita. Agora, procederemos a mostrar que a expressão (4.1.2) da definição de AKKT2 também é satisfeita. Das expressões (GKR13, (3.25)) e (GKR13, (2.6)) temos que hv, H(xk, λk) + 1 µR k−1 JkJkT ! vi ≥ −1 θǫ (1) k kvk22 para todo v ∈ C(xk),
para algum escalar positivo θ independente de xk e de λk. De (4.1.18) temos que ǫ(1)
k → 0. Usando o Lema 4.0.7 com P = H(xk, λk) + 1 µRk−1JkJ T k + (1θǫ (1)
k +k1)I e C como C(xk), concluímos que
H(xk, λk) + 1 µR k−1 JkJkT + ( 1 θǫ (1) k + 1 k)I + X j∈J(x∗) θjk∇gj∇gTj ≻ 0,
para escalares não negativos {θk
j : j∈ J(x∗)} ou equivalentemente ∇2xL(xk, λk, µk) + 1 µR k−1 m X i=1 ∇hi(xk)∇hTi (xk) + X j∈J(x∗) θjk∇gj∇gjT ≻ −( 1 θǫ (1) k + 1 k)I.
Desde que o lado direito vá para zero quando k tende ao infinito, temos que x∗ é um ponto AKKT2.
Método de regiões de confiança com convergência para pontos estacionários de segunda ordem
Mostraremos que o método de região de confiança proposto por Dennis e Vicente (DV97) gera sequências AKKT2. O método proposto em (DV97) é uma extensão do método apresentado em (DEAM97). Considere o seguinte problema de minimização com restrições de igualdade.
minimizar f(x) sujeito a C(x) = 0.
Remark. Para simplificar a analise e a verificação que o método de Dennis e Vicente (DV97) gera sequências AKKT2, usaremos a mesma notação que o artigo (DV97).
Seja C : Rn→ Rm(m < n), C = (c
1, .., cm)T, onde cada cj, j ∈ {1, . . . , m}, é duas vezes diferen-
ciável. Cada iterado gerado pelo método é denotado por xk. Seja W
k a matriz cujas colunas formam
uma base linear de Ker∇C(xk)T. Seja H
k uma aproximação de ∇2ℓ(xk, µk), ˆHk = WkTHkWk e
ˆ
gk= WkT∇qk(snk), onde qké um modelo quadrático da função lagrangiana ℓ(x, µ) = f(x)+hλ, h(x)i
em (xk, λk) e sn
k é chamado de componente quase-normal de sk, onde sk é o passo do método. Ver
(DV97, 2.Algoritmo e hipóteses gerais).
O método de região de confiança está dado no Algoritmo 3.
Seja ˆΩ um conjunto aberto de Rn. Seguindo (DV97), suponha que todas os iterados xk e xk+ s k
estão em ˆΩ e que as seguintes hipóteses são satisfeitas.
A.1 As funções f e C possuem segunda derivada contínua em ˆΩ. A.2 A matriz ∇C(x) tem posto completo para todo x ∈ ˆΩ. A.3 As funções f, ∇f, ∇2f, C,∇C e ∇2c
i, i ∈ {1, . . . , m} são limitadas em ˆΩ. Além disso a matriz
(∇C(x)T∇C(x))−1 é limitada uniformemente em ˆΩ.
A.4 As sequências {Wk}, {Hk} e {λk} são limitadas.
A.5 A aproximação da Hessiana Hké exata, i.e. Hk=∇2xxℓk. Além disso, as hessianas ∇2f e∇2ci
4.1 CONDIÇÃO SEQUENCIAL DE SEGUNDA ORDEM: AKKT2 61 Algorithm 3 (DV97, ALGORITMO 2.1).
1. Escolha x0, δ0, λ0, H
0, W0 e ρ−1 ≥ 1. Escolha escalares positivos α1, η1, δmin, δmax, ¯ρ e r tais
que 0 < α1, η1 < 1, 0 < δmin≤ δmax, ¯ρ > 0 e r∈ (0, 1).
2. Para k= 0,1,2,. . . fazer (a) Se kWT
k∇ℓ(xk, λk)k + kC(xk)k + γk = 0 onde γk é dado por (DV97, (2.10)), parar o
algoritmo e usar xk como solução.
(b) Coloque sn
k = stk= 0.
Se C(xk) 6= 0 então calcule sn
k tal que as condições (DV97, (2.1),(2.2),(2.3)) sejam
satisfeitas e ksn
kk ≤ rδk.
Se kWT
k∇ℓ(xk, λk)k + γk6= 0 então calcule ¯stk satisfazendo (DV97, (2.6)).
Defina sk= snk+ stk= snk+ Wks¯tk.
(c) Calcule λk+1 satisfazendo (DV97, (2.8)).
(d) Calcule pred(sk, ρk−1). Ver (DV97, Algoritmo 2.1 (general trust-region algorithm). Item
2.4).
(e) Se ared(sk, ρk)/pred(sk, ρk) < η1, use δk+1 = α1kskk e rejeite sk. Caso contrário aceite
sk e escolha δk+1 tal que max{δmin, δk} ≤ δk+1 ≤ δmax.
(f) Se sk foi rejeitado, coloque xk+1 = xk e λk+1 = λk. Caso contrário xk+1 = xk+ sk e
λk+1 = λk+△λk, com k△λkk ≤ κ 3δk.
Agora, provaremos que o método gera sequências AKKT2 quando o multiplicador de Lagrange é atualizado de maneira consistente, (DV97, (4.7)).
Primeiro, provaremos que a expressão (4.1.2) da definição de AKKT2 vale para {λk} satisfazendo
somente a expressão (DV97, (2.8)). Das condições KKT existe um escalar γk ≥ 0, (DV97, (2.10)),
tal que: ˆ Hk+ γkWkTWk é semidefinida positiva; ( ˆHk+ γkWkTWk)¯sk =−¯gk; γk(¯δk− kWk¯skk) = 0. (4.1.19)
Além disso, desde que ˆHk+ γkWkTWk = WkT(Hk+ γkI)Wk é semi-definida positiva e Wk é a matriz
cuja coluna forma uma base de Ker∇C(xk)T. Do Lema 4.0.7, temos que para todo k ∈ N, existem
sequências θk i ≥ 0, i = 1, .., m tais que Hk+ m X i=1 θki∇ci(xk)∇ci(xk)T + (γk+ 1 k)I≻ 0. (4.1.20)
De (DV97, Teorema 3.10), a sequência {xk} satisfaz lim inf(kWT
k∇ℓ(xk, λk)k + kC(xk)k + γk) = 0.
Das suposições temos que {xk} é uma sequência limitada. Depois de tomar uma subsequência
adequada (se fosse necessário) de {xk}, podemos supor que xk→ x∗ para algum x∗ ∈ Rn,
γk→ 0, kC(xk)k → 0 e kWkT∇xℓ(xk, λk)k → 0. (4.1.21)
Deste modo, como γk → 0, deduzimos de (4.1.20) que a expressão (4.1.2) da definição de AKKT2
vale. Para provar que (4.1.1) da definição de AKKT2 também é satisfeita, escolha os multiplicadores de Lagrange λk como −(∇C(xk)T∇C(xk))−1∇CT
k∇f(xk), ver (DV97, Lema 4.2). Para cada k∈ N,
decomponha ∇xℓ(xk, λk) como:
onde Wkuk ∈ Ker(∇C(xk)T) e ∇C(xk)vk ∈ Ker(∇C(xk)T)⊥ = Im(∇C(xk)) para certos uk e vk.
Multiplicando (4.1.22) por (uk)TWT
k e usando lim kWkT∇xℓ(xk, λk)k = 0 temos que Wkuk → 0.
Multiplicando (4.1.22) por ∇C(xk)T e usando a existência da matriz inversa (∇C(xk)T∇C(xk))−1,
obtemos vk = (∇C(x)T∇C(x))−1∇CT
k∇f(xk) + λk = 0. Portanto, da expressão (4.1.22), temos
que ∇xℓ(xk, λk) = Wkuk → 0. Finalmente, de (4.1.21), segue que kC(xk)k → 0 e que x∗ é viável.
Assim, x∗ é um ponto AKKT2, como queríamos provar.