数学

ベクトルによる微分のレイアウト(分子レイアウト記法と分母レイアウト記法)

2つの異なる記法と混乱 ベクトル(や行列)による微分には2つの異なるレイアウトが用いられる。 分母レイアウト記法 (Denominator Layout) 分子レイアウト記法 (Numerator Layout) これらは演算結果が異なるため、意識して用いないとしばしば混乱の元となる…

等式制約あり最適化問題と拡張ラグランジュ乗数法

拡張ラグランジュ乗数法 等式制約あり最適化問題 *1を解くためのアルゴリズムとして、拡張ラグランジュ乗数法 (augmented Lagrangian algorithm) という手法があります。これは、同じく制約あり最適化問題を扱うための手法であるラグランジュの未定乗数法 (t…

最適化計算アルゴリズムCMA-ESのライブラリlibcmaesを使ってみる

CMA-ESについて CMA-ES (Covariance Matrix Adaptation Evolution Strategy) は連続最適化アルゴリズムの一種です。日本語では共分散行列適応進化戦略と呼ばれます。進化戦略に基づいて、目的関数 を最小化する点 を計算するために使用されます。特徴として…

ベクトルや行列による微分の公式

ベクトルや行列に関する微分演算でよく使う式です。小文字ボールド体はベクトル、大文字ボールド体は行列を表しています。 基本 応用(基本の式から導出可能) その他 参考URL Matrix calculus - Wikipedia http://www.colorado.edu/engineering/CAS/courses…

共分散行列を含む多次元のガウス関数の微分

目的:ガウス関数の微分 共分散行列 (バンド幅行列) を用いて表された多次元 (多変量) で異方性のガウス関数 (多変量正規分布) の微分 (勾配) を考えます。微分したいガウス関数の形は だとします。ただし は正値対称な共分散行列 (バンド幅行列) で、 です…

Multidimensional Scaling (多次元尺度構成法, MDS) の計算方法と実装

Multidimensional Scaling (MDS) について少し勉強したのでメモしておきます。 Multidimensional Scaling とは はじめに 日本語では「多次元尺度構成法」と呼ばれる統計テクニックの一つです。英語版ウィキペディアの記事が詳細です。多次元尺度構成法 - Wik…

RBF 補間 (Radial Basis Function Interpolation) の概要と実装

はじめに RBF 補間とは RBF 補間とは、RBF (放射基底関数, radial basis function) を用いて入力となる散布データ (scattered data) の値を補間することです。または、与えられた散布データを元に非線形な関数をフィッティング (または近似) することだと考…

優決定系の線形方程式の最小二乗解を与える際の式変形(導出)

注意:本記事では厳密でない表現を随所に用いています。 優決定系の線形方程式 大雑把にいって、優決定系 (overdetermined system) とは変数の数に対して制約式が多く、解が存在しないような問題です。線形方程式 において、行列 が縦長の場合が優決定系と考…

四元数を用いて方向や回転の補間を行う際の注意点

はじめに 三次元的な回転や方向を表現する方法として、四元数 (Quaternion) は大変重要なツールです。先日、四元数同士を補間するプログラムを書いていて、ある不具合が起き、原因が分からずしばらく悩んでいました。日本語での情報が少ないようでなので、そ…