5.3EM算法

EM (expectation-maximization)算法又称期望最大化算法,是Dempster, Laind, Rubin于1977年提出的求参数极大似然估计的一种迭代优化策略, 用于含有隐变量（Hidden variable）的概率模型参数的极大似然估计（或极大后验概率估计），它可以从非完整数据集中对参数进行极大似然估计,是一种非常简单实用的学习算法。
如果模型涉及的数据都是可观察数据，可以直接使用极大似然估计或极大后验概率估计的方法求解模型参数。但当模型有隐变量时，不能简单使用极大似然估计，需要迭代的方法，迭代一般分为两步：E步，求期望；M步，求极大值。
如何更好理解EM算法？这里有几个问题，理解这些问题有助理解EM算法。
本节将回答如下几个问题：
• 何为隐变量？如何理解隐变量？采用隐变量的概率分布与全概率公式中完备概率有何区别？
• 为何使用EM算法？为何通过迭代方法能不断靠近极值点？迭代结果是递增吗？
通过简单实例说明如何使用EM算法。
• EM算法的推导过程
• 为何选择q(z│x,θ)作为逼近分布？
• EM算法是一种方法或思想，EM有哪些使用场景。

5.3.1 何为隐变量？

在统计学中，随机变量，如x_1=[1,3,7,4],x_2=[5,2,9,8]等变量称为可观察的变量，与之相对的往往还有一些不可观测的随机变量，我们称之为隐变量或潜变量。隐变量可以通过使用数学模型依据观测得的数据被推断出来。
为了更好说明隐变量，我们先看一个简单实例。
现在有两枚硬币1和2，假设随机抛掷后正面朝上概率分别为p_1,p_2。为了估计这两个概率，做如下实验，每次取一枚硬币，连掷5次，记录下结果，这里每次试验的硬币为一随机变量，连掷5次，每次对应一个随机变量，详细信息如下：
表1—硬币投掷试验
从表1可知，这个模型的数据都是可观察数据，根据这个试验结果，不难算出硬币1和2正面朝上的概率：

从表1可知，每个实验选择的是硬币1还是硬币2，是可观察数据，如果把抛掷硬币1或2正面朝上的概率作为参数\theta=(p_1,p_2 )，也可以极大似然估计的方法得到。
这个通过求极大似然估计得到的参数与前面用通常计算频率的完全一致。
如果不告诉你每次投掷的是哪个硬币，或不知道每次投掷的是哪个硬币，此时，每次投掷的是哪个硬币就是一个无法观察的数据，这个数据我们通常称作为隐变量。用隐变量z表示没观察数据，其它各项不变。表1就变成表2的格式。表2—含隐含变量z的硬币投掷试验

5.3.2 EM算法

5.3.3 EM算法简单实例

5.3.4 EM算法推导

5.3.5 EM算法的收敛性

5.3.6从变分推断看EM算法

5.3.7 为何选择变分函数p(z│x,θ)作为逼近分布,而不是其它函数？

5.3.8 EM算法应用于k-means聚类

5.3.9 EM算法应用于高斯混合模型

5.3.10 EM算法核心思想

EM算法是一类算法，该算法核心是解决了带隐变量的参数估计。通过迭代的方法求参数的极大似然估计。具体步骤为：
（1）初始化参数\theta_0；
（2）构建含隐变量的目标函数,如Q(\theta,\theta_t)函数，或欧氏距离等。
（3）求目标函数的极值，得到参数\theta_t
重复第（2）和（3）步，直到收敛或指定迭代次数。
极大似然估计和EM算法，与其说是一种算法，不如说是一种解决的框架，如拉格朗日乘数法、蒙特卡洛算法等一样，针对特定场景的特定算法，和线性回归，逻辑回归，决策树等一些具体的算法不同，极大似然和EM算法更加宽泛，是很多具体算法的基础。

5.3.11 EM算法的应用场景

EM算法的应用场景，一般而言，就是处理含有隐变量的极大似然估计问题，具体可分为以下一些具体情况：
1、存在缺失数据：缺失数据包括类别标签或缺失某些特征的值等情况。
2、无监督学习：聚类：对个样本所属族作为隐变量
3、隐马尔科夫模型：训练隐马尔科夫模型中的参数
4、运用在语言模型上：对文本进行分类
5、生成模型（VAE,GAN等）中应用
6、Gibbs采样中应用

5.3.12 EM算法的推广