motivation
模型
wide 模型
\[y=\mathbf{w}^{T} \mathbf{x}+b \]
deep 模型
\[a^{(l+1)}=f\left(W^{(l)} a^{(l)}+b^{(l)}\right) \]
联合训练
\[P(Y=1 | \mathbf{x})=\sigma\left(\mathbf{w}_{w i d e}^{T}[\mathbf{x}, \phi(\mathbf{x})]+\mathbf{w}_{d e e p}^{T} a^{\left(l_{f}\right)}+b\right) \]
训练的方法:
- Wide 模型:FTRL
- Deep 模型:AdaGrad