1/26
JJ
II
J
I
Back
Close
http://www.tsinghua.edu.cn
_&Ò©l9ÙA^
Blind Source Separation with Applications
ÜÜÜ ppp
uuuÆÆÆ gggÄÄÄzzzXXX UUUEEEâââXXXÚÚÚIII[[[:::¢¢¢���¿¿¿£££eeeèèèµµµ100084¤¤¤
Email: zxd-dau@tsinghua.edu.cn
pdfLATEX+pdfslide
2/26
JJ
II
J
I
Back
Close
!!!___&&&ÒÒÒ???nnn���©©©aaa
___&&&ÒÒÒ???nnn
���___&&&ÒÒÒ???nnn:¦¦¦^^^ÑÑÑÑÑÑ(***ÿÿÿ)êêêâââ
___&&&ÒÒÒ???nnn
ØØØ|||^^^ÑÑÑÑÑÑêêêâââ ,|||^^^ÑÑÑ\\\½½½XXXÚÚÚ���,,,
ÚÚÚOOOAAA555
'''���
���___&&&ÒÒÒ???nnn|||^^^&&&EEE���,JJJÝÝÝ___&&&ÒÒÒ???nnn|||^^^&&&EEEõõõ,NNN´´´¢¢¢yyy
3/26
JJ
II
J
I
Back
Close
~~~1 XXXÚÚÚEEE£££
- XXX ÚÚÚ -
ÑÑÑ\\\ ÑÑÑÑÑÑ
ããã1 XXXÚÚÚEEE£££
XXXÚÚÚEEE£££
xxxÝÝÝ(White Box):XXXÚÚÚ(((���®®®(SSSÜÜÜßßß²²²)
ÝÝÝ(Gray Box):XXXÚÚÚ(((���ÜÜÜ©©©®®®(ÔÔÔnnn*** ���)
çççÝÝÝ(Black Box):XXXÚÚÚ(((������,,,ØØØ(SSSÜÜÜÖÖÖççç)
~~~2 XXXÏÏÏ&&&&&&ÒÒÒ
• XXX888III&&&ÿÿÿ:888IIIÜÜÜééé
• ///���ttt&&&((((½½½///������XXXêêê):///���ÜÜÜééé
• £££ÄÄÄÏÏÏ&&&:^^^rrrÜÜÜééé,ÏÏÏLLL���OOO,DDDuuu���&&&ÒÒÒ,,,«««(((���
AAA555
4/26
JJ
II
J
I
Back
Close
ÏÏÏ&&&&&&���&&&ÒÒÒ���(((���AAA555
• &&&������AAA���(((���mmm(((���,ÌÌÌ´´´
���666///
• &&&ÒÒÒ���AAA���(((���mmm(((���"""
ÏÏÏ&&&&&&ÒÒÒ���mmm(((���
• ððð���(CM: constant modulus): NNNªªª!!!NNN!!!pppddd���ªªª£££
(GMSK)NNN&&&ÒÒÒäääkkkððð½½½���äää:
u(t) = ej[ωt+φ(t)]
• pppddd555: êêêiiiNNN&&&ÒÒÒ���©©©ÙÙÙpppddd©©©ÙÙÙ"""|||^^^ùùù555
,±±±¦¦¦^^^ppp���ÚÚÚOOOþþþ(XXXnnn���ÚÚÚooo���\\\ÈÈÈþþþ) ���OOO���
&&&���"""www,,,,ððð���&&&ÒÒÒ´´´pppddd&&&ÒÒÒ"""
• ÌÌ̲²²555
5/26
JJ
II
J
I
Back
Close
���!!!___&&&ÒÒÒ©©©lll���VVVããã
___&&&ÒÒÒ©©©lll(Blind Signal Separation)ÒÒÒ´´´lll***ÿÿÿ������AAA
&&&ÒÒÒ···ÜÜÜNNN¥¥¥¡¡¡EEEÑÑÑ���555���&&&ÒÒÒ½½½&&&
"""
1.���...bbb���
���&&&ÒÒÒ???nnn���...: x(t) = As(t)
A:
���AAAÝÝÝ
(kkk²²²(((���ÔÔÔnnnºººÂÂÂ)
���...: ÔÔÔnnn���...
___&&&ÒÒÒ©©©lll���...: x(t) = As(t)
A: ···ÜÜÜÝÝÝ
(vvvkkk???ÛÛÛÔÔÔnnnëëëêêê)
���...: &&&ÒÒÒ???nnn���...(ÔÔÔnnnÃÃÃ'''���êêêÆÆÆ���...)
6/26
JJ
II
J
I
Back
Close
___&&&ÒÒÒ©©©lll: 333vvvkkk'''uuu···ÜÜÜÝÝÝ
A���???ÛÛÛkkk���£££���¹¹¹
eee,|||^^^***ÿÿÿþþþxEEE£££···ÜÜÜÝÝÝ
A/½½½¡¡¡EEE¤¤¤kkk
&&&ÒÒÒ"""
s1(t)...
sn(t)
= s(t) - A···ÜÜÜÝÝÝ
-x(t) B©©©lllÝÝÝ
-y(t) y(t) =
y1(t)...
yn(t)
= sˆ (t)
ããã2 ___&&&ÒÒÒ©©©lll���nnnããã
333___&&&ÒÒÒ©©©lll¥¥¥,ÏÏÏ~~~±±±eeebbb���:
bbb���1: m× n···ÜÜÜÝÝÝ
A���÷÷÷,¿¿¿
m\\\n"""
bbb���2: s(t)¥¥¥���&&&ÒÒÒ©©©þþþsi(t)"""þþþ���²²²LLL§§§,ÙÙÙ¥¥¥õõõ
kkkpppddd&&&ÒÒÒ"""
bbb���3: 333zzzt,&&&ÒÒÒþþþs(t)���©©©þþþpppÚÚÚOOOÕÕÕááá"""
bbb���4: s(t)���©©©þþþÑÑÑäääkkküüü ���"""
7/26
JJ
II
J
I
Back
Close
bbb������nnnddd
•bbb���1333???ÛÛÛÔÔÔnnn¹¹¹eeeÑÑÑ´´´///AAA���½½½000¤¤¤ááá���;
•&&&ÒÒÒ???nnnooo´´´kkkïïïÄÄIJ²²&&&ÒÒÒ,,,,���âââ©©©ÛÛÛ²²²&&&ÒÒÒ,333___
&&&ÒÒÒ©©©lll���yyy���ããã,bbb���2´´´éééggg,,,���bbb���;
•bbb���3´´´&&&ÒÒÒ±±±___©©©lll���'''
bbb���""",,,ùùùbbb���´´´ééé
îîî���ÚÚÚOOObbb���,���§§§%%%´´´ÔÔÔnnnþþþ~~~ÜÜÜnnn���bbb���,ÏÏÏ
&&&ÒÒÒ
ÏÏÏ~~~´´´lll©©©lll���ÔÔÔnnnXXXÚÚÚuuuÑÑÑ���;
•bbb���4&&&ÒÒÒ©©©lll������
555kkk'''"""
2. ØØØ(((½½½555½½½���
555
dddAs = xEEE£££···ÜÜÜÝÝÝ
A333üüüaaa���
½½½ØØØ(((½½½555:
(1) &&&ÒÒÒüüü���^^^SSS���ØØØ(((½½½555
(2) &&&ÒÒÒÅÅÅ///(ÌÌÌ!!! )���ØØØ(((½½½555
8/26
JJ
II
J
I
Back
Close
···ÜÜÜÝÝÝ
A���������EEE£££¡¡¡A���ØØØ(((½½½555"""QQQ,,,AäääkkkØØØ(((
½½½555,¤¤¤±±±ØØØ555,bbb½½½
&&&ÒÒÒäääkkküüü ���,===rrr&&&ÒÒÒ
���ÌÌÌ
ÚÚÚ ���ÄÄÄ���CCCzzz888¿¿¿���···ÜÜÜÝÝÝ
A���AAA���¥¥¥"""
©©©lllÝÝÝ
(½½½¡¡¡)))···ÝÝÝ
)B���))):
B = (AG)−1 = ΛPA−1
3. ���CCCzzz&&&ÒÒÒ©©©lll
• ___&&&ÒÒÒ©©©lll���ÄÄÄ���555UUU¦¦¦:���CCCzzz555(equivariance)"""
���&&&ÒÒÒ
s½½½,|||^^^x = As���������&&&ÒÒÒ©©©lll(((JJJØØج¬¬ÏÏÏ···
ÜÜÜÝÝÝ
boldmath A���CCCzzz
uuu)))ØØØÓÓÓ���CCCzzz(���CCCzzz)"""
• &&&ÒÒÒ©©©lll������CCCzzz(111???nnn)���OOOììì���'''
555:JJJøøø___&&&ÒÒÒ©©©
lll���þþþ!!!555UUU"""
¦¦¦^^^���CCCzzz���OOOììì���___&&&ÒÒÒ©©©lll¡¡¡���CCCzzz&&&ÒÒÒ©©©lll"""333&&&ÒÒÒ
9/26
JJ
II
J
I
Back
Close
©©©lll¥¥¥,???ÛÛÛ���CCCzzz���&&&ÒÒÒ©©©lll{{{���555UUU···ÜÜÜÝÝÝ
(===&&&ÒÒÒ
DDDÑÑÑ���&&&���)������ÃÃÃ''',ùùùÒÒÒ´´´¤¤¤¢¢¢///þþþ!!!555UUU000���ºººÂÂÂ"""
///111???nnn���&&&ÒÒÒ©©©lll{{{���555UUU
&&&ÒÒÒXXXÛÛÛ···ÜÜÜÃÃÃ'''000
´´´···ÏÏÏ"""___&&&ÒÒÒ©©©lllAAATTTäääkkk���ÄÄÄ���555UUU"""
• ���CCCzzz���êêêÆÆƽ½½ÂÂÂ
---W (k),,,«««___&&&ÒÒÒ©©©lll{{{���©©©lll(¡¡¡)))···ÜÜÜ)ÝÝÝ
"""���
EEEÜÜܤ¤¤���···ÜÜܨ¨¨)))···ÜÜÜXXXÚÚÚC(k) =W (k)A,eeeC(k)÷÷÷vvv
C(k + 1) = C(k)− η(k)H(C(k)s(k))C(k)
¿¿¿
C(k)s(k))���ÝÝÝ
¼¼¼êêêH(C(k)s(k)) ···ÜÜÜÝÝÝ
ÃÃÃ''',KKK¡¡¡TTT___
&&&ÒÒÒ©©©lll{{{´´´���CCCzzz���"""
• æææpppdddÚÚÚpppddd&&&ÒÒÒ
10/26
JJ
II
J
I
Back
Close
½½½ÂÂÂ1: &&&ÒÒÒs(t)���888zzz¸¸¸ÝÝÝ
κs
∆
=
E{|s(t)|4}
[E{s2(t)}]2
pppddd&&&ÒÒÒ(Gaussian signal): 888zzz¸¸¸ÝÝÝ= 3 (EEEpppddd&&&ÒÒÒ
���888zzz¸¸¸ÝÝÝ= 2)"""
æææpppddd&&&ÒÒÒ(sub-Gaussian signal): ¸¸¸ÝÝÝ< 3���&&&ÒÒÒ(¸¸¸ÝÝÝ'''
pppddd���$$$,æææpppddd)
pppddd&&&ÒÒÒ(super-Gaussian signal): ¸¸¸ÝÝÝ> 3���&&&ÒÒÒ(¸¸¸ÝÝÝ
'''pppddd���ppp,pppddd)
½½½ÂÂÂ2µµµ888"""zzz¸¸¸ÝÝÝ
κs
∆
=
E{|s(t)|4}
[E{s2(t)}]2 − 3
¢¢¢pppddd&&&ÒÒÒ: """¸¸¸ÝÝÝ&&&ÒÒÒ
æææpppddd&&&ÒÒÒ: KKK¸¸¸ÝÝÝ&&&ÒÒÒ
pppddd&&&ÒÒÒ: ���¸¸¸ÝÝÝ&&&ÒÒÒ
11/26
JJ
II
J
I
Back
Close
nnn ___&&&ÒÒÒ©©©lll��� ²²²���äää{{{
s1(t)...
sn(t)
= s(t) - A
···ÜÜÜÝÝÝ
-
x(t)
B(t)
©©©lllÝÝÝ
-s
��
���
y(t)
y(t) =
y1(t)...
yn(t)
= sˆ(t)
ããã3 ggg···AAA___&&&ÒÒÒ©©©lll
���CCCzzz���___&&&ÒÒÒ©©©lll111???nnn{{{eeeCCC¤¤¤ggg···AAA{{{,KKK111
???nnn{{{JJJøøø///þþþ!!!555UUU000������kkkAAA:::òòò���ÙÙÙggg···AAA{{{¤¤¤UUU
«««"""
12/26
JJ
II
J
I
Back
Close
• ___&&&ÒÒÒ©©©lll��� ²²²���äää(((���
... ... ...
sn(t) -
s1(t) -
XXXÚÚÚ
ÄÄÄ���
-
-
²²²���äää
(���XXXÚÚÚ)t
t
-
-
ÆÆÆSSS{{{
ggg···AAA
-
-t
t
ff
ff
y1(t) = F (si)
yn(t) = F (sj)
x1(t)
xm(t)
www
ããã4 ___&&&ÒÒÒ©©©lll��� ²²²���äää{{{������nnnããã
---©©©lllÝÝÝ
W ,§§§���NNN���dddÆÆÆSSS{{{"""ããã5 xxxÑÑÑ
···ÜÜÜ
���...ÚÚÚ___&&&ÒÒÒ©©©lll���ccc""" ²²²���äää���(((���,ÙÙÙ¥¥¥(a)µµµããã,(b)
···ÜÜÜ©©©lll���...���[[[(((���"""
13/26
JJ
II
J
I
Back
Close
- A
s(t)
-����Σ+
?+
n(t)
x(t)
-
r(t) �
���
W -
y(t)t
-ÆÆÆSSS{{{
�
��
t
ff
(a) µµµããã
14/26
JJ
II
J
I
Back
Close
sn(t) > -
amn ����Σ
6
nm(t)
?
sn(t) > -a11 ����Σ?
n1(t)
6
- h
�
��
wnm
h
�
��
wn1
h
�
��
w1m
h
�
��
w11x1(t)
xm(t) t
t -����Σ -
6
t���
�
�
�
�
t
B
B
B
B
B
B
B >
am1
a1n
>
-����Σ? -
ÆÆÆ SSS
{{{
t
ff
t
ff
&&&ÒÒÒ︷︸︸︷
ÝÝÝ
︷ ︸︸ ︷
***ÿÿÿ���
···ÜÜÜ&&&ÒÒÒ︷ ︸︸ ︷ ²²²���äää︷ ︸︸ ︷
���©©©lll���
ÑÑÑÑÑÑ&&&ÒÒÒ︷︸︸︷
y1(t)
yn(t)
...... ...
...
...
...
(b) [[[(((���ããã
ããã5 ···ÜÜÜ���...___&&&ÒÒÒ©©©lll���ccc""" ²²²���äää
15/26
JJ
II
J
I
Back
Close
XXXããã5 ¤¤¤«««,---ccc""" ²²²���äää������XXXêêêwij, i = 1, · · · , n; j =
1, · · · ,m, P
���n×m���ÝÝÝ
W (t) = [wij(t)],KKK
y(t) =W (t)x(t)
W (t)333___&&&ÒÒÒ???nnn¥¥¥¡¡¡···ÜÜÜÝÝÝ
½½½)))···ÜÜÜ(de-mixing)ÝÝÝ
,333 ²²²���ää䥥¥¡¡¡âââ>>>���ÝÝÝ
"""
ccc¡¡¡QQQrrrNNNLLL,___&&&ÒÒÒ©©©lll���888���´´´ÏÏÏééé©©©lllÝÝÝ
B¦¦¦���BA =
G,ÙÙÙ¥¥¥G222ÂÂÂ���ÝÝÝ
"""ÏÏÏddd§§§···FFF"""¦¦¦^^^ggg···AAAÆÆÆSSS
{{{,¦¦¦ÂÂÂñññ������âââ>>>���ÝÝÝ
W∞÷÷÷vvv'''XXXªªª:
W∞A = G
ÏÏÏddd§§§ ²²²���äää333mmmt���
&&&ÒÒÒ©©©lll���555UUUdddÜÜܤ¤¤ÝÝÝ
T (t) ∆=
W (t)Aïïïþþþ,§§§£££ããã···ÜÜÜ–©©©lll���...y = T (t)s(t)¥¥¥&&&ÒÒÒ���©©©lllÕÕÕ
ááá©©©þþþ���///°°°(((ÝÝÝ000"""
,,,ããã5¥¥¥¦¦¦^^^���´´´ccc""" ²²²���ää䧧§���±±±¦¦¦^^^���ëëë���
"""(===444888) ²²²���äää"""---Wˆ (t)LLL«««{{{üüü444888 ²²²���äää333mmmt���
16/26
JJ
II
J
I
Back
Close
���ÝÝÝ
,KKK
yi(t) = xi(t)−
n∑
j=1
wˆij(t)yj(t)
ããã6(a)xxxÑÑÑ
{{{üüü444888 ²²²���äää(m = n)"""���ÑÑÑ���
´´´,éééuuunnn���ÃÃÃPPPÁÁÁ¹¹¹§§§444888ÚÚÚccc""" ²²²���äää���ÄÄÄ������...333eee
ããã^^^eee´´´���ddd���µµµ
W (t) =
[
I + Wˆ (t)
]−1
444888 ²²²���äää���êêêÆÆÆ���...:
y(t) = [I + Wˆ (t)]−1x(t)
ããã6(b)ccc"""ÚÚÚ"""???ééé���...,
(c)···ÜÜÜ���..."""
17/26
JJ
II
J
I
Back
Close
x(t) �
����
m
y(t)
��
m
s
k
�
��
Wˆ
ff
6
--
(a) {{{üüü���444888 ²²²���äää
x(t) k
�
��
��
m
Wˆ
��
n
�
��Σ y(t)��
n
s
k
�
��
Wˆ
- - -
6
ff
(b) ccc"""ÚÚÚ"""???ééé���...
x(t) �
����
m
k
�
��
Wˆ y(t)
��
n
��
m
s
k
�
��
Wˆ
-
ff
6
--
(c) ···ÜÜÜ���...
ããã6 ___&&&ÒÒÒ©©©lll��� ²²²���äää���...
18/26
JJ
II
J
I
Back
Close
bbb½½½¦¦¦^^^555 ²²²���äää???111ggg···AAA___&&&ÒÒÒ©©©lll,=== ²²²���äää
���ÑÑÑÑÑÑ
y(t) = NN(W ,x(t)) =Wx(t)
W : ²²²���äää������ÝÝÝ
NN(·): 555 ²²²���äää¼¼¼êêê
²²²���äää���???ÖÖÖ:ÏÏÏLLL������ÔÔÔööö,ggg···AAAòòò���ÝÝÝ
(===)))···ÝÝÝ
)W NNN������
W = ΛPA−1
ªªª¥¥¥ΛÛÛÛÉÉÉ���ééé���ÝÝÝ
,
P ���ÝÝÝ
"""
19/26
JJ
II
J
I
Back
Close
ooo ÕÕÕááá©©©þþþ©©©ÛÛÛ
1. ___&&&ÒÒÒ©©©lll{{{���©©©aaa
___&&&ÒÒÒ©©©lll���nnnaaa{{{:
• ÕÕÕááá©©©þþþ©©©ÛÛÛ (ICA: Independent Component Anal-
ysis):
***ÿÿÿêêêâââ²²²LLLCCC���,¦¦¦ØØØÓÓÓ&&&ÒÒÒ©©©þþþmmm���555(depen-
dency) ���zzz,dddComonuuu1994cccJJJÑÑÑ"""
• ��� (ME: Maximizing Entropy){{{:
^^^555DDD444¼¼¼êêêééé***ÿÿÿêêêâââ???111CCC,¦¦¦���ÑÑÑÑÑÑ©©©ÙÙÙ¹¹¹333
kkk���áááNNN¥¥¥;,,,���������zzzòòò½½½¦¦¦ÑÑÑÑÑÑ©©©þþþ¦¦¦UUU333
áááNNN¥¥¥þþþ!!!ÑÑÑÙÙÙ"""BellSejnowskiuuu1995cccJJJÑÑÑ"""���
zzzªªª������&&&ÒÒÒ©©©þþþÕÕÕááá555���aaaqqqÿÿÿÝÝÝ"""
20/26
JJ
II
J
I
Back
Close
• 555ÌÌÌ©©©þþþ©©©ÛÛÛ (PCA: Principal Component Anal-
ysis):
OjaKarhunen���<<
>>���VVVÇÇÇÝÝݼ¼¼êêê
���¦¦¦ÈÈÈ,===p˜y(y,W ) =
n∏
i=1
pi(yi,W )"""
eeeÑÑÑÑÑÑ©©©þþþyi(t)&&&ÒÒÒÕÕÕááá,KKKpy(y,W ) = p˜y(y,W )===D(W )
= 0"""LLL555,D(W ) = 0 → yi(t) pppÕÕÕááá"""
&&&ÒÒÒ©©©þþþmmm���KLÑÑÑÝÝݧ§§mmm���ppp&&&EEE���dddI(W ) ≡
D(W ),¿¿¿
ppp&&&EEEKKK,===I(W )\\\0"""ÏÏÏddd,���
===���ÑÑÑÑÑÑ©©©
þþþÕÕÕááá,ppp&&&EEE���(���uuu""")"""½½½���dddQQQãããppp&&&EEE´´´ÕÕÕááá©©©þþþ
22/26
JJ
II
J
I
Back
Close
©©©ÛÛÛ���ééé'''¼¼¼êêê,===
I(W ) = 0 iff W = ΛPA−1
ùùù(((JJJ´´´Comonuuu1994ccckkk���������"""
ppp&&&EEE±±±^^^���LLL«««:
I(W ) = D(W ) = −H(y,W ) +
n∑
i=1
H(yi,W )
ppp&&&EEE������^^^´´´:���H(y,W )���
∑n
i=1H(yi,W )"""ÏÏÏddd,ppp
&&&EEE���������ddd"""
ïïïþþþÑÑÑÑÑÑmmm���ÕÕÕááá555§§§ØØØ
|||^^^§§§mmm���������'''
¼¼¼êêê §§§777LLL¦¦¦^^^§§§mmm���ppp���ÚÚÚOOOþþþ"""ÏÏÏddd,777LLLéééÑÑÑÑÑÑ
þþþy(t)���©©©þþþ???111ÓÓÓ���555CCC, ---555CCCg(·),KKK
z(t) = [g(y1(t), · · · , g(yn(t)]T
®®®yyy²²²
maxH(y,W ) = maxH(z,W )
23/26
JJ
II
J
I
Back
Close
ÚÚÚ
∂H(z,W )
∂W
=W −T − E{φ(y)xT}
ªªª¥¥¥
φ(y) =
[
−g
′′(y1)
g′(y1)
, · · · ,−g
′′(yn)
g′(yn)
]T
###���ÝÝÝ
W���FFFÝÝÝ{{{
dW
dt
= η
H(z,W )
∂W
= η
(
W −T − E{φ(y)xT})
FFFÝÝÝ{{{¥¥¥���ÏÏÏ"""E{φ(y)xT}^^^]]]φ(y)xTOOO���,===������
ÅÅÅFFFÝÝÝ{{{:
dW
dt
= η
(
W −T − φ(y)xT)
Bell���<<<1995cccJJJÑÑÑ"""
ëëëêêêzzzXXXÚÚÚ���ÅÅÅFFFÝÝÝ```zzz{{{���ÌÌÌ""":::´´´ÂÂÂñññ'''���úúú"""ÏÏÏ
ddd§§§FFF"""kkk«««```zzz{{{QQQUUU
���333ÅÅÅFFFÝÝÝ{{{���{{{üüü555ÚÚÚêêê
24/26
JJ
II
J
I
Back
Close
½½½555§§§qqqUUU
������éééÐÐÐ���ìììCCCÂÂÂñññ555"""FFF"""ÙÙÙ555UUU···ÜÜÜÝÝÝ
AÃÃÃ''',±±±BBB===¦¦¦���A���CCCÛÛÛÉÉÉ,{{{UUU
óóó���éééÐÐÐ"""ùùù´´´
������±±±¢¢¢yyy���,ÏÏÏ®®®���222@@@£££���,XXXJJJòòò___ÝÝÝ
G−1^^^
uuuÅÅÅFFFÝÝÝ{{{(17) ¥¥¥���ÝÝÝ
:
dW
dt
= ηG−1
∂H(z,W )
∂W
KKK{{{���ÂÂÂñññ555UUUÚÚÚêêê½½½555UUUÑÑÑòòòkkk²²²www���JJJppp"""
1997ccc, YangAmarilllÝÝÝ
W���ëëëêêêmmm���Riemann(((
���ÑÑÑuuu,yyy²²²
ÝÝÝ
G���ggg,,,ÀÀÀJJJ
G−1
∂H(z,W )
∂W
=
∂H(z,W )
∂W
W TW
uuu´´´,IIIOOOFFFÝÝÝ{{{±±±UUU???
dW
dt
= η
(
W −T − E{φ(y)xT})W TW
= η(I − E{φ(y)yT})W
25/26
JJ
II
J
I
Back
Close
ÅÅÅFFFÝÝÝ{{{±±±UUU???
dW
dt
= η
(
W −T − φ(y)xT)W TW
= η(I − φ(y)yT )W
(///ýýýééé000)FFFÝÝݵµµ
∂H(z,W )
∂W
ggg,,,FFFÝÝݵµµ
∂H(z,W )
∂W
W TW
• ggg,,,FFFÝÝÝ{{{
W (k + 1) =W (k) + η(k)
[
I − φ(y(k))yT (k)]W (k)
dddggg,,,FFFÝÝÝ{{{´´´, ²²²���äääÂÂÂñññ���²²²ïïï:::���^^^´´´:
E{φ(y)yT} = I ½½½ E{φ(yi(t))yj(t)} = δij
26/26
JJ
II
J
I
Back
Close
éééFFFÝÝÝ: ∂H(z,W )
∂W W
T
• EASI (///ÏÏÏÕÕÕááá555������CCCzzzggg···AAA©©©lll){{{(Cardoso
and Laheld 1996)
W (k + 1) =W (k) + η(k)
[
I − φ(y(k))yT (k) + y(k)φ(yT (k))
−y(k)yT (k)]W (k)
• SSS¦¦¦___{{{(Cruces���<<<2000)
W (k + 1) =W (k) + η(k)
[
I − φ(y(k))f (yT (k))]W (k)