模型 $$f(x)=\operatorname{sign}(w \cdot x+b)$$ 感知机的几何解释 $wx+b$ 对应于特征空间中的一个分离超平面 $S$，其中 $w$ 是 $S$ 的法向量，$b$ 是 $S$ 的截距。$S$ 将特征空间划分为两个部分，位于两个 ...

EM 算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计。每次迭代由两步组成： - $E$ 步，求期望 (expectation) - $M$ 步，求极大值 (maximization)，直至收敛为止。 算法 $E$ 步：$\theta(i)$ 为 $i$ 次迭 ...

模型 先学习先验概率分布 $$P\left(Y=c_{k}\right), \quad k=1,2, \cdots, K$$ 然后学习条件概率分布 \[P\left(X=x | Y=c_{k}\right)=P\left(X^{(1)}=x^{(1)}, \cdots, X^{(n)}=x^{(n ...

Motivation DeepFM 的思想比较直观，另外一个细节就是模型中 FM 与 Deep 共享 Embedding。DCN 的设计非常巧妙，引入 Cross 层取代 Wide & Deep 的 Wide 层，Cross 层的独特结构使其可以显示、自动地构造有限高阶的特征叉乘。 Mode ...

嵌入和堆叠层 $$x_{e m b e d, i}=W_{e m b e d, i} x_{i}$$ 交叉网络 $$x_{l+1}=x_{0} x_{l}^{T} w_{l}+b_{l}+x_{l}=f\left(x_{l}, w_{l}, b_{l}\right)+x_{l}$$

略

motivation 模型 wide 模型 $$y=\mathbf{w}^{T} \mathbf{x}+b$$ deep 模型 $$a^{(l+1)}=f\left(W^{(l)} a^{(l)}+b^{(l)}\right)$$ 联合训练 \[P(Y=1 | \mathbf{x}) ...

\[y(\mathbf{x})=w_{0}+\sum_{i=1}^{n} w_{i} x_{i}+\sum_{i=1}^{n} \sum_{j=i+1}^{n}\left\langle\mathbf{v}_{i, f_{j}}, \mathbf{v}_{j, f_{i}}\right\rangle ...

线性模型 $$y=\omega_{0}+\sum_{i=1}^{n} \omega_{i} x_{i}$$ 二阶多项式模型 \[y=\omega_{0}+\sum_{i=1}^{n} \omega_{i} x_{i}+\sum_{i=1}^{n-1} \sum_{j=i+1}^{n} \o ...