Variable Selection Networks

变量选择网络 Variable Selection Networks
ls-type:: annotation
hl-page:: 7
hl-color:: yellow

• 作用 :-> 每一个时间步选择相关的输入变量 select relevant input variables at each time step
  ls-type:: annotation
  hl-page:: 6
  hl-color:: yellow

• $\tilde{\boldsymbol{\xi}}t=\sum{j=1}^{m_\chi} v_{\chi_t}^{(j)} \tilde{\boldsymbol{\xi}}_t^{(j)}$ #card

  • 时间点 t 有 $m_x$ 个变量，类别变量和连续变量都转换成 $d_{model}$ 维度

  • 非线性处理后特征 $\tilde{\boldsymbol{\xi}}t^{(j)}=\operatorname{GRN}{\tilde{\xi}(j)}\left(\boldsymbol{\xi}_t^{(j)}\right)$

    • 变量有单独 GRN，所有时间步中共享

    • $\boldsymbol{\xi}t^{(j)} \in \mathbb{R}^{d{\text {model }}}$，时间 t 第 j 个变量

• #card 特征选择的权重 a vector of variable selection weights

ls-type:: annotation
hl-page:: 8
hl-color:: yellow
$\boldsymbol{v}{\chi_t}=\operatorname{Softmax}\left(\operatorname{GRN}{v_\chi}\left(\boldsymbol{\Xi}_t, \boldsymbol{c}_s\right)\right)$
+ 历史输入序列 $\boldsymbol{\Xi}_t=\left[\boldsymbol{\xi}_t^{(1)^T}, \ldots, \boldsymbol{\xi}t^{\left(m\chi\right)^T}\right]^T$

+ $\boldsymbol{\xi}_t^{(j)} \in \mathbb{R}^{d_{\text {model }}}$ j-th varaible at time t

+ $c_s$ [\[\[Static Covariate Encoders\]\]](/post/logseq/Static%20Covariate%20Encoders.html) 结果

• 针对静态、过去和未来输入，分别用 不同 的 VSN