TFT Interpretability Use Cases

以往基于 attention 进行神经网络解释的方法，侧重于用注意力权重对特定样本的解释。当前方法聚焦如何汇总整个数据集中的模式 #card

• ((6432d3ce-c32e-4581-ab80-1e7042686dc8))

检查每个变量对预测的重要性 ((6432d340-a04a-42be-8a1b-413137d1858b)) [[Feature Importance]] #card

• 通过分析特征在 [[Variable Selection Networks]] 中的权重大小 (同时考虑 10th，50th，90th 分位数)
• 结果
  • Static Covariates 可以区分不同物品的特征权重大
    • ((643eb58b-fa10-41ed-8c4e-8b88c92af8a5))
    • ((643eb541-53d0-44b0-8bc7-dd67834ecd75))
  • Past Inputs 目标（log sales）是关键，预测是对过去观察结果的外推
    • ((643eb5d0-13f9-4f6a-af5b-2b03860ffea6))
    • ((643eb54f-295b-4d06-aac5-004916bb8011))
  • Future Inputs 促销和公共假日比较重要
    • ((643eb56d-e307-45dd-b9f1-8c68be62b85a))
• 识别相似的持续模式 ((64400132-8408-4327-8c52-bfbdfe477fc9))

可视化持续时序模式 ((6432d311-1808-4775-bcb6-5a10de67af93)) #card

• 把不同分位数损失下的自注意力层权重（或均值）绘制出来。
• 结论
  • 前三个数据集上，自注意力层的权重值都表现出了于数据特征相符的周期性

识别重大事件 ((6432d308-d7a6-4ad6-ad96-15f7545f03e8)) #card

• 用注意力的相异度（距离）来判断是否有重大事情发生
• ((64400408-c178-42c7-9895-dd76545a0d49)) [[regime switching model]]
  • 随着回报特征（波动性）被观察到在不同的制度之间突然变化 ((6440053d-5d7a-4e3c-971b-96e7324a929b))
  • 识别这样的转变为寻找显著事件提供洞见 ((6440058b-448f-4404-96f3-e1e6046ee66a))
• 结论
  • 波动性特征大的时候，注意力的相异度的值也特别大。

Temporal Fusion Transformer的可解释性 - 知乎 (zhihu.com)

• [[@”Why Should I Trust You?”: Explaining the Predictions of Any Classifier]] 2016 年 KDD #card
  • LIME Local Interpretable Model-Agnostic Explanations 提供一种与模型无关的方法，使用可解释的模型和可解释的特征，局部达到和复杂模型相似的效果。
• [[SHAP]] 从博弈论角度考虑，特征如何影响原始模型的预测值。

[[TFT 关键实验]]

+

网络回响