鯨飲馬食 @ wiki - 機械学習/mixture model

この項の問題点

まだ書きかけ。

概要

EMアルゴリズムによるパラメータ推定

EMアルゴリズムのは以下の形。

はcategorical distributionにしたがうとします。
（categorical distributionはBernoulli distributionの拡張です。）
つまりと表し、を満たします。

Lagrange multiplierを用いて最大化を行い更新式を求めます。

を直接求めてもよいですが、単純にとなるように正規化すればよいです。

が多次元正規分布(multivariate normal distribution)の場合を考えます。
つまりGaussian mixtureの時です。

はベクトルで表現し、とはそれぞれ、平均ベクトルと共分散行列です。

平均と共分散、それぞれについて更新式を求めます。
微分についての詳しい説明は以下を参照してください。
See:http://en.wikipedia.org/wiki/Estimation_of_covariance_matrices
See:http://www.cs.berkeley.edu/~pliang/cs281a/recitation-0924.pdf(PDF)

---

｜