矩阵向量求导

矩阵(向量)求导 1. 矩阵 对标量 相当于每个元素求导后转置一下，注意 的矩阵求导后变成 了 2. 标量y对列向量X求导： 注意与上面不同，这次括号内是求偏导，不转置，对N×1向量求导后还是N×1向量 y = f(x1,x2,..,xn) --> dy/dX = (Dy/Dx1,Dy/Dx2,..,Dy/Dxn)' 3. 行向量Y'对列向量X求导：  注意1×M向量对N×1向量求导后是N×M矩阵。 将Y的每一列对X求偏导，将各列构成一个矩阵。  重要结论： dX'/dX = I  d(AX)'/dX = A' 4. 列向量Y对行向量X’求导： 转化为行向量Y’对列向量X的导数，然后转置。 注意M×1向量对1×N向量求导结果为M×N矩阵。 dY/dX' = (dY'/dX)' 5. 向量积对列向量X求导运算法则： 注意与标量求导有点不同。 d(UV')/dX = (dU/dX)V' + U(dV'/dX) d(U'V)/dX = (dU'/dX)V + (dV'/dX)U' 重要结论： d(X'A)/dX = (dX'/dX)A + (dA/dX)X' = IA + 0X' = A d(AX)/dX' = (d(X'A')/dX)' = (A')' = A d(X'AX)/dX = (dX'/dX)AX + (d(AX)'/dX)X = AX + A'X 6. 矩阵Y对列向量X求导： 将Y对X的每一个分量求偏导，构成一个超向量。 注意该向量的每一个元素都是一个矩阵。 7. 矩阵积对列向量求导法则： 8.    d(uV)/dX = (du/dX)V + u(dV/dX) d(UV)/dX = (dU/dX)V + U(dV/dX)  重要结论：  d(X'A)/dX = (dX'/dX)A + X'(dA/dX) = IA + X'0 = A 9. 标量y对矩阵X的导数： 类似标量y对列向量X的导数，  把y对每个X的元素求偏导，不用转置。  dy/dX = [ Dy/Dx(ij) ] 重要结论：  y = U'XV = ΣΣu(i)x(ij)v(j) 于是 dy/dX = = UV'  y = U'X'XU 则 dy/dX = 2XUU'  y = (XU-V)'(XU-V) 则 dy/dX = d(U'X'XU - 2V'XU + V'V)/dX = 2XUU' - 2VU' + 0 = 2(XU-V)U' 9. 矩阵Y对矩阵X的导数： 将Y的每个元素对X求导，然后排在一起形成超级矩阵。 · 伯特兰·罗素寄语未来 “最后一个问题，罗素勋爵，假定这段录像，将被我们的后人看到，如同死海古卷一般，在一千年后被人看见。您觉得有什么该对他们那一代人说的呢？有关您的一生，以及一生的感悟。” “我想要说两点，其一关乎智慧，其二关乎道德。有关智慧，我想对他们说的是： 不管你是在研究什么事物，还是在思考任何观点，只问你自己，事实是什么，以及这些事实所证实的真理是什么。 永远不要让自己被自己所更愿意相信的，或者认为人们相信了，会对社会更加有益的东西所影响。只是单单地去审视，什么才是事实。 这是我想说的，关乎智慧的一点。 我想对他们说的有关道德的一点，十分简单。 我要说：爱是明智的，恨是愚蠢的。 在这个日益紧密相连的世界，我们必须学会容忍彼此，我们必须学会接受这样一个事实：总会有人说出我们不想听的话。只有这样，我们才有可能共同生存。 而假如我们想要共存，而非共亡，我们就必须学会这种宽容与忍让，因为他们对于人类在这个星球上的存续，是至关重要的。” I should like to say two things, one intellectual and one moral. The intellectual thing I should want to say is this: When you are studying any matter, or considering any philosophy, ask yourself only what the facts are and what the truth that the facts bear out is. Never let yourself be diverted either by what you wish to believe, or by what you think would have beneficent social effects if it were believed. But look only, and solely, at what are the facts. That is the intellectual thing that I should wish to say. The moral thing I should wish to say…I should say love is wise, hatred is foolish. In this world which is getting more closely and closely interconnected we have to learn to tolerate each other, we have to learn to put up with the fact that some people say things that we don't like. We can only live together in that way and if we are to live together and not die together we must learn a kind of charity and a kind of tolerance which is absolutely vital to the continuation of human life on this planet. _1399740457.unknown _1399740577.unknown _1399740670.unknown _1399740679.unknown _1399740544.unknown _1399740243.unknown _1399740346.unknown _1399740428.unknown _1399740136.unknown