数学
下記ライブラリのガウス過程回帰 (Gaussian Process Regression) の実装の際に悩んだ点をメモしておく。 github.com いつ行列式の対数 (log-determinant) を計算する必要があるか 例えば、多変量正規分布 (multivariate normal distribution) が関連する統計…
免責・注意:本記事は、その正しさを一切保証しない。できるだけ出典を記すようにするが、特に、要出典・要確認等と書かれただけの箇所は注意が必要である。また、現時点では未完成で、随時追記・更新していくつもりである。 右手系・左手系について 座標系…
2つの異なる記法と混乱 ベクトル(や行列)による微分には2つの異なるレイアウトが用いられる。 分母レイアウト記法 (Denominator Layout) 分子レイアウト記法 (Numerator Layout) これらは演算結果が異なるため、意識して用いないとしばしば混乱の元となる…
拡張ラグランジュ乗数法 等式制約あり最適化問題 *1を解くためのアルゴリズムとして、拡張ラグランジュ乗数法 (augmented Lagrangian algorithm) という手法があります。これは、同じく制約あり最適化問題を扱うための手法であるラグランジュの未定乗数法 (t…
CMA-ESについて CMA-ES (Covariance Matrix Adaptation Evolution Strategy) は連続最適化アルゴリズムの一種です。日本語では共分散行列適応進化戦略と呼ばれます。進化戦略に基づいて、目的関数 を最小化する点 を計算するために使用されます。特徴として…
ベクトルや行列に関する微分演算でよく使う式です。小文字ボールド体はベクトル、大文字ボールド体は行列を表しています。 基本 応用(基本の式から導出可能) その他 参考URL Matrix calculus - Wikipedia http://www.colorado.edu/engineering/CAS/courses…
目的:ガウス関数の微分 共分散行列 (バンド幅行列) を用いて表された多次元 (多変量) で異方性のガウス関数 (多変量正規分布) の微分 (勾配) を考えます。微分したいガウス関数の形は だとします。ただし は正値対称な共分散行列 (バンド幅行列) で、 です…
Multidimensional Scaling (MDS) について少し勉強したのでメモしておきます。 Multidimensional Scaling とは はじめに 日本語では「多次元尺度構成法」と呼ばれる統計テクニックの一つです。英語版ウィキペディアの記事が詳細です。多次元尺度構成法 - Wik…
はじめに RBF 補間とは RBF 補間とは、RBF (放射基底関数, radial basis function) を用いて入力となる散布データ (scattered data) の値を補間することです。または、与えられた散布データを元に非線形な関数をフィッティング (または近似) することだと考…
注意:本記事では厳密でない表現を随所に用いています。 優決定系の線形方程式 大雑把にいって、優決定系 (overdetermined system) とは変数の数に対して制約式が多く、解が存在しないような問題です。線形方程式 において、行列 が縦長の場合が優決定系と考…
はじめに 三次元的な回転や方向を表現する方法として、四元数 (Quaternion) は大変重要なツールです。先日、四元数同士を補間するプログラムを書いていて、ある不具合が起き、原因が分からずしばらく悩んでいました。日本語での情報が少ないようでなので、そ…