高祖功臣侯者年表:留侯世家——wide & deep

motivation

模型

wide 模型

\[y=\mathbf{w}^{T} \mathbf{x}+b \]

deep 模型

\[a^{(l+1)}=f\left(W^{(l)} a^{(l)}+b^{(l)}\right) \]

联合训练

\[P(Y=1 | \mathbf{x})=\sigma\left(\mathbf{w}_{w i d e}^{T}[\mathbf{x}, \phi(\mathbf{x})]+\mathbf{w}_{d e e p}^{T} a^{\left(l_{f}\right)}+b\right) \]

训练的方法:

  • Wide 模型:FTRL
  • Deep 模型:AdaGrad