生成模型和判别模型
生成模型
- 混合高斯模型和其他混合模型
- 隐马尔可夫模型 (HMM)
- 朴素贝叶斯
- LDA 文档主题生成模型
生成式模型 由数据学习联合概率分布 \(P(X, Y)\)，然后求出条件概率分布 \[P(Y|X)=\frac{P(X,Y)}{P(X)} \] 作为预测的模型，即生成模型。
- 能还原出联合概率分布\(P(X, Y)\)
- 收敛速度更快
- 当存在隐变量时只能用生成方法学习
判别模型
- KNN
- 感知机
- 决策树
- 最大熵模型
- Logistic 回归
- 线性判别分析 (LDA)
- 支持向量机 (SVM)
- Boosting
- 条件随机场算法 (CRF)
- 线性回归
- 神经网络
判别式模型 直接学习决策函数 \(f(X)\) 或条件概率分布 \(P(Y|X)\) 作为预测的模型。
- 往往准确率更高
- 可以简化学习问题
学习策略（损失函数）
学习算法
生成模型朴素贝叶斯和 HMM 的监督学习，最优解即极大似然估计值，可以由概率计算公式直接计算。
- 判别模型中，感知机，逻辑斯蒂回归，最大熵模型，条件随机场都可以用 SGD，拟牛顿法学习。这些都是无约束最优化问题。
- 判别模型中 SVM，可以解凸二次规划的对偶问题。有序列最小最优化算法等方法。
- 判别模型中决策树，是基于启发式算法，正则化的极大似然估计。
- 判别模型中，提升方法式加法模型，损失函数是 指数损失函数，学习方法是启发式的从前往后逐步学习模型。
- 判别模型中，EM 算法是利用迭代求解隐变量概率模型。
上述模型中，SVM/LR/ 最大熵 /CRF 四个是凸优化问题，全局最优解保证存在，其他问题不是凸优化问题，不做保证。