模型 \[f(x)=\operatorname{sign}(w \cdot x+b) \] 感知机的几何解释 \(wx+b\) 对应于特征空间中的一个分离超平面 \(S\)，其中 \(w\) 是 \(S\) 的法向量，\(b\) 是 \(S\) 的截距。\(S\) 将特征空间划分为两个部分，位于两个 ...
建炎以来系年要录：EM 算法
EM 算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计。每次迭代由两步组成： - \(E\) 步，求期望 (expectation) - \(M\) 步，求极大值 (maximization)，直至收敛为止。 算法 \(E\) 步：\(\theta(i)\) 为 \(i\) 次迭 ...
建炎以来系年要录：朴素贝叶斯
模型 先学习先验概率分布 \[P\left(Y=c_{k}\right), \quad k=1,2, \cdots, K \] 然后学习条件概率分布 \[P\left(X=x | Y=c_{k}\right)=P\left(X^{(1)}=x^{(1)}, \cdots, X^{(n)}=x^{(n ...
高祖功臣侯者年表：陈涉世家——xDeepFM 算法
Motivation DeepFM 的思想比较直观，另外一个细节就是模型中 FM 与 Deep 共享 Embedding。DCN 的设计非常巧妙，引入 Cross 层取代 Wide & Deep 的 Wide 层，Cross 层的独特结构使其可以显示、自动地构造有限高阶的特征叉乘。 Mode ...
高祖功臣侯者年表：绛侯周勃世家——DCN
嵌入和堆叠层 \[x_{e m b e d, i}=W_{e m b e d, i} x_{i} \] 交叉网络 \[x_{l+1}=x_{0} x_{l}^{T} w_{l}+b_{l}+x_{l}=f\left(x_{l}, w_{l}, b_{l}\right)+x_{l} \]
高祖功臣侯者年表：留侯世家——wide & deep
motivation 模型 wide 模型 \[y=\mathbf{w}^{T} \mathbf{x}+b \] deep 模型 \[a^{(l+1)}=f\left(W^{(l)} a^{(l)}+b^{(l)}\right) \] 联合训练 \[P(Y=1 | \mathbf{x}) ...
高祖功臣侯者年表：曹相国世家——FFM 算法
\[y(\mathbf{x})=w_{0}+\sum_{i=1}^{n} w_{i} x_{i}+\sum_{i=1}^{n} \sum_{j=i+1}^{n}\left\langle\mathbf{v}_{i, f_{j}}, \mathbf{v}_{j, f_{i}}\right\rangle ...
高祖功臣侯者年表：萧丞相世家——FM 算法
线性模型 \[y=\omega_{0}+\sum_{i=1}^{n} \omega_{i} x_{i} \] 二阶多项式模型 \[y=\omega_{0}+\sum_{i=1}^{n} \omega_{i} x_{i}+\sum_{i=1}^{n-1} \sum_{j=i+1}^{n} \o ...