Lineer Regülatör Parametrelerinin Kalman Filtresi Kullanılarak En Çok Olabilirlik Yöntemiyle Tahmini
Esin KÖKSAL BABACAN* Levent ÖZBEK Ankara Üniversitesi, Fen Fakültesi, İstatistik Bölümü
Özet: Bu çalışmada lineer regülatör probleminde bulunan kayıp fonksiyonunda bilinmeyen parametre olması durumunda bu parametrelerin en çok olabilirlik yöntemiyle tahmini ele alınmıştır. Bu amaçla, ilk önce durum-uzay modellerinde model parametrelerinin tahmini için en çok olabilirlik yöntemi, daha sonra lineer regülatör problemi ve çözümü ile ilgili bilgi, son olarak kayıp fonksiyonunda bulunan bilinmeyen parametrelerin en çok olabilirlik yöntemiyle tahmini verilmiştir. Simülasyon çalışması ile yöntemin işleyişi gözlemlenmiştir.
Anahtar Kelimeler: Durum-uzay modeli, Kalman Filtresi, Lineer Regülatör.
Maximum Likelihood Estimation of Linear Regulator Parameters Using the Kalman Filter
Abstract: In this study, maximum likelihood estimation of loss function parameters in linear regulator problem is investigated. For this reason, in state- space models, maximum likelihood estimation of model parameters, linear regulator problem and this solution and maximum likelihood estimation of unknown parameters in loss function are explained. With simulation study working this giving method is observed.
Key Words: State-Space models, Kalman Filter, linear regüulator.
Kalman Filtresi ve En Çok Olabilirlik Yöntemi Ele alınan durum-uzay modeli,
n=0,1,2,...,N
olmak üzere1
n n n n
x
+= Ax + Bu + Gw
n n n
y = Hx + v
n 1 n n n
x
+= Ax + Bu + Gw
n n n
y = Hx + v
biçiminde olsun. Burada,
x
n∈ R
q gözlenemeyen sistem durum vektörü,y
n∈ R
m, sistem gözlem vektörü,w
n∈ R
q vev
n∈ R
m birbirinden bağımsız sıfır ortalamalı ve
,
( )
0 ,
n k
Q n k
Cov w w
n k
=
=
≠
,( ) ,
0 ,
n k
R n k
Cov v v
n k
=
=
≠
,
( )
0 ,
n k
Q n k
Cov w w
n k
=
=
≠
,( ) ,
0 ,
n k
R n k
Cov v v
n k
=
=
≠
* ekoksal@science.ankara.edu.tr
kovaryans matrisli normal dağılıma sahip hata terimleri ve
u
n∈ R
p, sistem kontrol vektörüdür. Gözlenemeyen durum vektörünü tahmin etmek için Kalman Filtresi;0 0
0
1
1
1 ' 1
(0)
[ ]
'( ' )
' ' ( ' ) '
n n n n n n
n n n
n n n n n
x x
P P
x Ax Bu AK y H x K P H HP H R
P AP A GQG AK HP H R K A
+
−
− +
=
=
= + + −
= +
= + − +
$
$ $ $
0 0
0
1
1
1 ' 1
(0)
[ ]
'( ' )
' ' ( ' ) '
n n n n n n
n n n
n n n n n
x x
P P
x Ax Bu AK y H x K P H HP H R
P AP A GQG AK HP H R K A
+
−
− +
=
=
= + + −
= +
= + − +
$
$ $ $
biçiminde verilir [1]. Burada,
P
n+1 denklemi Riccati denklemi olarak bilinir.Burada verilen
A B G H Q , , , , ve R
matrislerinde bilinmeyen parametreler olabilir. Bu parametrelerin bütünüΘ
vektörü ile gösterilsin.y
n nin{ y
n−1, y
n−2,..., y y
1,
0}
üzerine koşullu dağılımı, ortalamasıH x $
n ve varyansıHP H
n' + R
olan normal dağılıma sahip olduğundan negatif olabilirlik fonksiyonu [1, 2, 3];( )
10
ln[det( ' )] ( ' ) ( )( ) '
N
n n
n n n n
n
J θ HP H R iz HP H R
−y H x y H x
=
= ∑ + + + − $ − $
( )
10
ln[det( ' )] ( ' ) ( )( ) '
N
n n
n n n n
n
J θ HP H R iz HP H R
−y H x y H x
=
= ∑ + + + − $ − $
biçiminde yazılır ve bilinmeyen parametrelerin en çok olabilirlik tahminleri bu fonksiyonun minimizasyonu ile elde edilir. Bunu elde edebilmek için negatif olabilirlik fonksiyonunun türevlerinin alınması gerekir.
(
n)
n
y
nH x
δ = − $ ( ) n
n n'
δδ
δ δ
Γ =
0
1 ( )
1
N
n
N n
δδ δδ
=
Γ = Γ
+ ∑
( ) '
y n
P n = HP H + R
1 1 1
( ) ( ) ( )
n y y y
M = P
−n − P
−n Γ
δδP
−n
olmak üzere,
Θ
vektöründeki herhangi birθ
parametresine göreJ
fonksiyonunun türevi hesaplansın [3,4];
( )
( )
'
' 1
0 0
( ) (( ) )
N N
y n n
n n n y
n n
J P n
iz M iz δ δ P n
δ δ
θ θ θ θ
−
= =
∂ ∂ ∂
∂ = + +
∂ ∑ ∂ ∑ ∂ ∂
(1.3)
( )
( )
'
' 1
0 0
( ) (( ) )
N N
y n n
n n n y
n n
J P n
iz M iz δ δ P n
δ δ
θ θ θ θ
−
= =
∂ ∂ ∂
∂ = + +
∂ ∑ ∂ ∑ ∂ ∂
(1.3)( )
1 0
G = ( )
N y
n n
iz P n M
=
θ
∂
∑ ∂ ve ( )
'
' 1
2 0
G (( ) )
N
n n
n n y
n
iz δ δ P n
δ δ
θ θ
−
=
∂ ∂
= +
∂ ∂
∑
olarak alınırsa,
J
1 2G G θ
∂ = +
∂
olur.
G
1 ifadesinden başlanırsa,P n
y( )
matrisinin türevinin alınması gerekir;
( ) '
( ' ' )
y n
n n
P n H P H R
P H H H HP
θ θ θ θ θ
∂ ∂ ∂ ∂ ∂
= + + +
∂ ∂ ∂ ∂ ∂
( ) '
( ' ' )
y n
n n
P n H P H R
P H H H HP
θ θ θ θ θ
∂ ∂ ∂ ∂ ∂
= + + +
∂ ∂ ∂ ∂ ∂
Buna göre,
M
n matrisi ile sondan çarpılıp izi alınırsa,1
0
(2 ( ' ) ( ' ) ( ))
N
n
n n n n
n
P
H R
G iz P H M iz H M H iz M
θ θ θ
=
∂
∂ ∂
= + +
∂ ∂ ∂
∑
1
0
(2 ( ' ) ( ' ) ( ))
N
n
n n n n
n
P
H R
G iz P H M iz H M H iz M
θ θ θ
=
∂ ∂ ∂
= + +
∂ ∂ ∂
∑
elde edilir. Burada kovaryans matrisi,
1 '
1
' ' ( ' ) '
n n n n n
P
+= AP A + GQG − AK HP H + R
−K A
P
n+1= AP A
n' + GQG ' − AK HP H
n(
n' + R )
−1K A
n''
nin türevi
' '
' '
1
' '
n n
n n
P A P A G Q G
P A A A AP QG G G GQ
θ θ θ θ θ θ θ
∂
+∂ ∂ ∂ ∂ ∂ ∂
= + + + + +
∂ ∂ ∂ ∂ ∂ ∂ ∂
' 1 ' '
'
'
( ) ( )
' ( ' ) ' '
( )
n' ( ) '
y n y
n n n n n n
n y n y n
P n K P n
A K K A A HP H R K A AK K A
K A
AK P n A AK P n K
θ θ θ θ
θ θ
∂ ∂
−∂
− ∂ − + −
∂ ∂ ∂ ∂
∂ ∂
− −
∂ ∂
' '
' '
1
' '
n n
n n
P A P A G Q G
P A A A AP QG G G GQ
θ θ θ θ θ θ θ
∂
+∂ ∂ ∂ ∂ ∂ ∂
= + + + + +
∂ ∂ ∂ ∂ ∂ ∂ ∂
' 1 ' '
'
'
( ) ( )
' ( ' ) ' '
( )
n' ( ) '
y n y
n n n n n n
n y n y n
P n K P n
A K K A A HP H R K A AK K A
K A
AK P n A AK P n K
θ θ θ θ
θ θ
∂ ∂
−∂
− ∂ − + −
∂ ∂ ∂ ∂
∂ ∂
− −
∂ ∂
olur.
G
2 ifadesi için,( ) n ( y
nH x
n)( y
nH x
n) '
Γ
δδ= − $ − $
(
n)
n
y
nH x
δ = − $
( ) n ( y
nH x
n)( y
nH x
n) '
Γ
δδ= − $ − $
(
n)
n
y
nH x
δ = − $
olmak üzere( )
'(
n n n)
nn y H x
x H
δδ
δ
θ θ θ θ
∂Γ ∂ ∂ ∂
= − −
∂ ∂ ∂ ∂
$ $
(
n n n)
'n
y H x
x H
δ θ θ θ
∂ ∂ ∂
= − −
∂ ∂ ∂
$ $
( )
'(
n n n)
nn y H x
x H
δδ
δ
θ θ θ θ
∂Γ ∂ ∂ ∂
= − −
∂ ∂ ∂ ∂
$ $
(
n n n)
'n
y H x
x H
δ θ θ θ
∂ ∂ ∂
= − −
∂ ∂ ∂
$ $
bu türevin
P
y−1( ) n
ile çarpılması ve izinin alınması ile,µ µ
µ µ
' 1 ' 1
2 1 0
{( ) ( ) } ( )
N n n n n n
n n n n n y
n
x
y H x y H
G iz x H δ δ x H P n
θ θ θ θ θ θ
− −
−
=
∂ ∂ ∂ ∂ ∂ ∂
= − − + − −
∂ ∂ ∂ ∂ ∂ ∂
∑
µ µ
' 1 ' 1 ' 1
0
2 ( ( )) 2 ( ( )) 2 ( ( ))
N n n
n n y n y n y
n
y
H x
iz x δ P n iz δ P n iz H δ P n
θ θ θ
− − −
=
∂
∂ ∂
= − + −
∂ ∂ ∂
∑
µ µ
µ µ
' 1 ' 1
2 1 0
{( ) ( ) } ( )
N n n n n n
n n n n n y
n
x
y H x y H
G iz x H δ δ x H P n
θ θ θ θ θ θ
− −
−
=
∂ ∂ ∂ ∂ ∂ ∂
= − − + − −
∂ ∂ ∂ ∂ ∂ ∂
∑
µ µ
' 1 ' 1 ' 1
0
2 ( ( )) 2 ( ( )) 2 ( ( ))
N n n
n n y n y n y
n
H y x
iz x δ P n iz δ P n iz H δ P n
θ θ θ
− − −
=
∂
∂ ∂
= − + −
∂ ∂ ∂
∑
olur. Burada
$ x
n+1 türevi1
( ) ( )
n n n n n
n n n
K y
x A x H x
x A δ n K x H
θ θ θ θ θ θ θ
+
∂ ∂
∂ ∂ ∂ ∂ ∂
= + + + − −
∂ ∂ ∂ ∂ ∂ ∂ ∂
$ $ $
$ $
n 1 n n n
( )
n(
n n n)
K y
x A x H x
x A δ n K x H
θ θ θ θ θ θ θ
+
∂ ∂
∂ ∂ ∂ ∂ ∂
= + + + − −
∂ ∂ ∂ ∂ ∂ ∂ ∂
$ $ $
$ $
dir.
G
1 veG
2 ifadelerinin toplanması ile log-olabilirlik fonksiyonu elde edilir [3, 4].Parametre tahminleri hesaplandıktan sonra standart hataları aşağıdaki şekilde hesaplanır [4].
J
n( ) θ = ln[det( HP H
n' + R )] + iz y (
n− H x $
n) '( HP H
n' + R ) (
−1y
n− H x $
n)
(1.4) olmak üzere;
'
( ) ( )
1( ) ( (
n n) )
n
J J
S diag θ θ
θ θ
∂ ∂
−Θ = ∑ ∂ ∂
(1.5)biçimindedir.
1 1 ' 1
( ) ( ) ( ) ( )
n y y n n y
M = P
−n − P
−n δ n δ P
−n
olmak üzere,'
1
( )
1 ' 1( ) ( ( )
y) ( ) ( )
n n n
y y n n y
J P n
iz P n P n P n
θ δ δ
δ δ
θ θ θ θ
−
∂
− −∂ ∂ ∂
= + +
∂ ∂ ∂ ∂
' 1
( )
1( )
y( )
n y y n
P n P n P n
δ δ
θ
−
∂
−− ∂
'
1 1 '
( )
1 ' 1{(
y( )
y( )
n nP n
y)} {
n y( )
n n y( )
n}
iz P n P n iz δ P n P n δ
δ δ δ δ
θ θ θ
− −
∂ ∂
− −∂
= − + +
∂ ∂ ∂
1 '
( )
1{ P
yn
n} {
y( )
n n} iz M iz P n δ δ
θ θ
−
∂
−∂
= +
∂ ∂
dır.Lineer Regülatör
İndirimli stokastik regülator problemi göz önüne alınsın. Bu optimizasyon problemi,
{ }
(
' 1 ' 1 ')
0
min E 2
n
n
n n n n n n
u n
x R x u Q u x Wu β
∞
=
+ +
∑
(2.1)1
n n n n
x
+= Ax + Bu + Gw
(2.2){ }
(
' 1 ' 1 ')
0
min E 2
n
n
n n n n n n
u n
x R x u Q u x Wu β
∞
=
+ +
∑
(2.1)
x
n+1= Ax
n+ Bu
n+ Gw
n (2.2) biçimindedir [4].R
1,Q
1,W
,A
veB
matrisleriΘ
vektöründe bulunan parametrelere bağlıolsunlar. (2.1) ile verilen fonksiyon kayıp fonksiyonu olarak adlandırılır ve kayıp fonksiyonunda bulunan
R
1 veQ
1 matrisleri simetrik ve negatif olmayan matrislerdir. Bu bölümdeG = 0
varsayılıp işlemler yapılacaktır. (2.1) ve (2.2) eşitliklerinde verilen matrislerinΘ
vektöründe bulunan parametrelere göre türevlerinin bilindiği varsayılacaktır [4].Bu lineer regülator probleminin çözümü
u
n= − Fx
n ile verilir. Burada,F = ( Q
1+ β B P B '
1) (
−1β B P A W '
1+ ' )
(2.3)F = ( Q
1+ β B P B '
1) (
−1β B P A W '
1+ ' )
(2.3)ve
P
1= R
1+ β A P A '
1− ( W + β A P B Q '
1)(
1+ β B P B '
1) (
−1β B P A W '
1+ ' )
(2.4)( )( ) (
1)
1 1
'
1'
1 1'
1'
1'
P = R + β A P A − W + β A P B Q + β B P B
−β B P A W +
(2.4) şeklindedir [4]. Durum vektörü bilinmediğinde optimal kontrolü bulmak için, Kalman Filtresi ile durum tahmin edilerek$
nu
n= − F x
olarak kullanılır.Lineer Ragülatör parametrelerinin tahmini
Durum-uzay modelinde model denkleminde bilinmeyen parametrelerle birlikte optimal lineer regülator problemi için verilen kayıp fonksiyonunda da bilinmeyen parametreler olduğunda, durum vektörü,
1
n n n
x
+= Ax + Bu
x
n+1= Ax
n+ Bu
nolmak üzere, optimal kontrol
u
n= − Fx
n olarak elde edildiğinden bunun yerine yazılmasıyla,x
n+1= Ax
n+ B ( − Fx
n)
1
( )
n n
x
+= A BF x −
x
n+1= Ax
n+ B ( − Fx
n)
x
n+1= ( A − BF x )
nbiçiminde olacaktır.
Q
1 veR
1 matrisleri de bilinmeyen parametreler içerdiğinde bunların da tahmin edilmesi gerekir. Bu nedenle,1
( )
n n
x
+= A BF x −
x
n+1= ( A BF x − )
nolmak üzere,
A
0= ( A BF − )
alınarak benzer işlemler yapılabilir. Minimize edilecek fonksiyon burada aynıdır. Sistem geçiş matrisindeA
yerineA
0’ın alınmasıyla Kalman Filtresi eşitliklerinde değişimler olur veF
veP
1 matrislerinin hesaplanması gerekir. Buna göre Kalman Filtresi,1
1 1 ' 1 ( ' 1 )( 1 ' 1 ) ( ' 1 ')
P =R +βA P A− W +βA P B Q +βB P B − βB P A W+
1
1 1 1
( ' ) ( ' ')
F = Q + β B P B
−β B P A W +
1
( ) ( ) [ ]
n n n n n
x
+= A BF x − + A BF K y − − H x
$ $ $
'( ' )
1n n n
K = P H HP H + R
−1
(( ) ) (( ) ' ' ')
n n n n
P
+= A BF − − K H P A BF − − H K
1
1 1 ' 1 ( ' 1 )( 1 ' 1 ) ( ' 1 ')
P =R +βA P A− W+βA P B Q +βB P B − βB P A W+
1
1 1 1
( ' ) ( ' ')
F = Q + β B P B
−β B P A W +
1
( ) ( ) [ ]
n n n n n
x
+= A − BF x + A − BF K y − H x
$ $ $
'( ' )
1n n n
K = P H HP H + R
−1
(( ) ) (( ) ' ' ')
n n n n
P
+= A BF − − K H P A BF − − H K
biçiminde olur.Bilinmeyen parametrelerin tümü
Θ
vektörü ile gösterilmek üzere,A
0= ( A BF − )
olduğundanA
0 ınΘ
da bulunan herhangi bir bilinmeyenθ
parametresine göre türevi;A
0A B F
F B
θ θ θ θ
∂ ∂ ∂ ∂
= − −
∂ ∂ ∂ ∂
A
0A B F F B
θ θ θ θ
∂ ∂ ∂ ∂
= − −
∂ ∂ ∂ ∂
ve F nin türevi;
(
1 1)
1 1 1 1' ( ' ' P ' )
F Q B B
Q β B P B β P B β B B β B P F
θ θ θ θ θ
−
∂
∂ ∂ ∂ ∂
= − + + + +
∂ ∂ ∂ ∂ ∂
(
1)
1 1 1 1' '
' ( B ' P ' A W )
Q β B P B β P A β B A β B P
θ θ θ θ
−
∂ ∂ ∂ ∂
+ + + + +
∂ ∂ ∂ ∂
(
1 1)
1 1 1 1' ( ' ' P ' )
F Q B B
Q β B P B β P B β B B β B P F
θ θ θ θ θ
−
∂
∂ ∂ ∂ ∂
= − + + + +
∂ ∂ ∂ ∂ ∂
(
1)
1 1 1 1' '
' ( B ' P ' A W )
Q β B P B β P A β B A β B P
θ θ θ θ
−
∂ ∂ ∂ ∂
+ + + + +
∂ ∂ ∂ ∂
olarak elde edilir [4]. Burada
P
1θ
∂
∂
türevi yer aldığından bunun da hesaplanması gerekir,( )( ) (
1)
1 1 1 1 1 1 1
'
' ' ' ' '
F
P = R + β A P A − W + β A P B Q + β B P B
−β B P A W + 144444444444442 44444444444443
( )( ) (
1)
1 1 1 1 1 1 1
'
' ' ' ' '
F
P = R + β A P A − W + β A P B Q + β B P B
−β B P A W + 144444444444442 44444444444443
olduğundan;
1 1
1 1
' ' '
P R A P A
P A A A A P
β β β
θ θ θ θ θ
∂ ∂ ∂ ∂ ∂
= + + +
∂ ∂ ∂ ∂ ∂
1
1 1
( W A ' ' P ' ' B )
P B A A P F
β β β
θ θ θ θ
∂
∂ ∂ ∂
− + + +
∂ ∂ ∂ ∂
1
1 1
'( Q B ' ' P ' B )
F β P B β B B β B P F
θ θ θ θ
∂
∂ ∂ ∂
+ + + +
∂ ∂ ∂ ∂
1
1 1
' '
'( B ' P ' A W )
F β P A β B A β B P
θ θ θ θ
∂
∂ ∂ ∂
− + + +
∂ ∂ ∂ ∂
' 1 1
0 0 0 1 0
' '
P R A ' B
A A A F P A
β β β
θ θ θ θ
∂ ∂ ∂ ∂
= + + −
∂ ∂ ∂ ∂
( )
1 1' ' ' A W ' W ' ' Q
A F B P F F F F
β θ θ θ θ
∂
∂ ∂ ∂
+ − − − +
∂ ∂ ∂ ∂
1 1
1 1
' ' '
P R A P A
P A A A A P
β β β
θ θ θ θ θ
∂ ∂ ∂ ∂ ∂
= + + +
∂ ∂ ∂ ∂ ∂
1
1 1
( W A ' ' P ' ' B )
P B A A P F
β β β
θ θ θ θ
∂
∂ ∂ ∂
− + + +
∂ ∂ ∂ ∂
1
1 1
'( Q B ' ' P ' B )
F β P B β B B β B P F
θ θ θ θ
∂
∂ ∂ ∂
+ + + +
∂ ∂ ∂ ∂
'
1 1 1'
'( B ' P ' A W )
F β P A β B A β B P
θ θ θ θ
∂
∂ ∂ ∂
− + + +
∂ ∂ ∂ ∂
0' 1 0 1
'
0'
1 0P R A ' B
A A A F P A
β β β
θ θ θ θ
∂ ∂ ∂ ∂
= + + −
∂ ∂ ∂ ∂
( )
1 1' ' ' A W ' W ' ' Q
A F B P F F F F
β θ θ θ θ
∂ ∂ ∂ ∂
+ − − − +
∂ ∂ ∂ ∂
olarak bulunur [4].
Simülasyon Çalışması Durum-uzay modeli,
1
n n n n
x
+= Ax + Bu + Gw
n n n
y = Hx + v
1
n n n n
x
+= Ax + Bu + Gw
n n n
y = Hx + v
biçiminde olmak üzere,1.5 .5 .5 .5 A
n
=
−
,B
n= [ .5 ; − .5 ]
,1 0
n
0 1
G
=
veH
n= [ 2 0 ]
olarak alındığında,
[ ]
1
1.5 .5 1 0
.5 ; .5
.5 .5 0 1
n n n n
x
+ x u w
= + − +
−
[ 2 0 ]
n n n
y = x + v
( )
n.3
2Cov w = I
,Cov v ( )
n= .2
Cov w ( )
n= .3 I
2,Cov v ( )
n= .2
durum uzay modeli göz önüne alınsın.Burada regülatör problemi,
{ }
(
' 1 ' 1 ')
0
min E 2
n
n
n n n n n n
u n
x R x u Q u x Wu β
∞
=
+ +
∑
biçiminde olmak üzere amaç,
11 1
21
.1 .4 R r
r
=
,Q
1= q
1,1 W 1
=
matrislerinde bulunan bilinmeyen
r
11,r
21,q
1 parametrelerini belirlenmek olsun.Burada verilen gerçek kontrol terimi
u
n,{ } 0 ' '
( )
'0
.4 .1 1
min E 1 .1 2
.5 .4 1
n
n
n n n n n n
u n
x x u u x u
∞
=
+ +
∑
kontrol problemine göre
u
n= − Fx
n esasına göre elde edilmiş olsun. Bu kontrol altında yukarıda verilen durum-uzay modeline göre elde edileny
n gözlemleri kullanılarak bilinmeyen parametreler en çok olabilirlik yöntemine göre tahmin edilsin. Matlab programında negatif olabilirlik fonksiyonu oluşturulup bu fonksiyonun minimumunu alma işlemi sayısal optimizasyon problemlerinin çözümünde kullanılan fminunc komutu ile yaptırılırsa parametre tahminleri;r
11=0.3072,r
21=0.5761,q
1=0.1767 ve standart hataları sırayla 0.0115, 0.0124, 0.0283 olarak bulunur. Görüldüğü gibi değerler gerçek değerlere (r
11=0.4,r
21=0.5,q
1=0.1) oldukça yakındır ve standart hataları da oldukça küçüktür.Sonuç
Kimi zaman kayıp fonksiyonunda bulunan matrisler de bilinmeyen parametreler içerebilirler. Buna göre lineer raegülator problemi işletilirken bu parametrelerin de tahmini problemi ortaya çıkar. Kalman Filtresi kullanılarak bu parametreler en çok olabilirlik yöntemiyle tahmin edilebilir. Simülasyon çalışmasından da görüldüğü gibi tahmin değerleri gerçek değerlere oldukça yakındır ve standart hataları da oldukça küçüktür.
Kaynaklar
[1] Sweppe, F. C. 1973. Uncertain Dynamic Systems. Englewood Cliffs, NJ: Prentice-Hall.
[2] Anderson, B. D. O. and Moore, J. B. 1979. Optimal Filtering. Prentice Hall, Englewood Cliffs, New Jersey.
[3] Wilson, D., A and Kumar, A. 1982. Derivative Computations for the Log Likelihood Function, IEEE Transactions on Automatic Control, Vol. AC-27, No. 1.
[4] Anderson, E. W., Hansen, P. L., MCGrattan, Sargent, T. J. 1995. Mechanics of Forming and Estimating Dynamic Linear Economies, unpublished manuscript, Stanford University, Hoover