ベクトルや行列による微分の公式

ベクトルや行列に関する微分演算でよく使う式です。

小文字ボールド体はベクトル、大文字ボールド体は行列を表しています。

基本

$\displaystyle{ \frac{\partial}{\partial \mathbf{x}} \mathbf{a}^T\mathbf{x} = \mathbf{a} }$

$\displaystyle{ \frac{\partial}{\partial \mathbf{x}} \mathbf{A} \mathbf{x} = \mathbf{A}^T }$

$\displaystyle{ \frac{\partial}{\partial \mathbf{x}} \mathbf{x}^T\mathbf{A}\mathbf{x} = (\mathbf{A}+\mathbf{A}^T)\mathbf{x} }$

応用（基本の式から導出可能）

$\displaystyle{ \frac{\partial}{\partial \mathbf{x}} \mathbf{x} = \mathbf{I} }$

$\displaystyle{ \frac{\partial}{\partial \mathbf{x}} \| \mathbf{x} \|^2 = \frac{\partial}{\partial \mathbf{x}} \mathbf{x}^T\mathbf{x} = 2\mathbf{x} }$

$\displaystyle{ \frac{\partial}{\partial \mathbf{x}} \| \mathbf{x} \| = \frac{\partial}{\partial \mathbf{x}} \mathbf{x}^T\mathbf{x} \cdot \frac{\partial}{\partial \mathbf{x}^T\mathbf{x}} \sqrt{\mathbf{x}^T\mathbf{x}} = 2 \mathbf{x} \cdot \frac{1}{2 \sqrt{\mathbf{x}^T\mathbf{x}}} = \frac{\mathbf{x}}{\| \mathbf{x} \|} }$

$\displaystyle{ \frac{\partial}{\partial \mathbf{x}} \| \mathbf{x} - \mathbf{a} \|^2 = 2(\mathbf{x} - \mathbf{a}) }$

$\displaystyle{ \frac{\partial}{\partial \mathbf{x}} \| \mathbf{A}\mathbf{x}-\mathbf{b} \|^2 =2(\mathbf{A}^T\mathbf{A}\mathbf{x}-\mathbf{A}^T\mathbf{b}) = 2 \mathbf{A}^T (\mathbf{A}\mathbf{x}-\mathbf{b}) }$

$\displaystyle{ \frac{\partial}{\partial \mathbf{x}} (\mathbf{A}\mathbf{x} + \mathbf{c})^T (\mathbf{B}\mathbf{x} + \mathbf{d}) = 2 \mathbf{A}^T\mathbf{B}\mathbf{x} + \mathbf{A}^T\mathbf{d} + \mathbf{B}^T \mathbf{c} }$

その他

$\displaystyle{ \frac{\partial}{\partial X_{ij}} \left( \frac{1}{2} \| \mathbf{X}\mathbf{A}^T \|_{F}^{2} \right) = \left\langle \mathbf{X}\mathbf{A}^T\mathbf{A}, \mathbf{J}\right\rangle \:\: \text{where $\mathbf{J}$ has 0 entries except for $J_{ij} = 1$} }$

参考URL

注意

ベクトルで微分する際には分子レイアウト記法 (Numerator layout) と分母レイアウト記法 (Denominator layout) の2種類があり、この記事では暗黙的に後者をを仮定しています。詳しくは以下を参照。

yuki-koyama.hatenablog.com