DeepGBM 已看文章

DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks

Summary

本文读下来最大的工作就是GBDT2NN,如何把树的知识蒸馏到神经网络中

Research Objective作者的研究目标。

GBDT有两个问题：

1. 不适合online learning
2. 不适合sparse feature
   NN 有问题：
3. 不适合dense numerical feature因为容易过拟合陷入局部最小值

   Problem Statement问题陈述，需要解决的问题是什么？

   如何解决上面那个问题

   Method(s)作者解决问题的方法/算法是什么？是否基于前人的方法？

   CAT2NN就类似DeepFM反正都是适用于稀疏性的。
   GBDT2NN

   Evaluation作者如何评估自己的方法，实验的setup是什么样的，有没有问题或者可以借鉴的地方。

   就做实验

   Conclusion作者给了哪些结论，哪些是strong conclusions, 哪些又是weak的conclusions?

   GBDT2NN超过了一些同等地位的baseline

   Notes(optional) 不符合此框架，但需要额外记录的笔记。

   online prediction有两大任务: tabular input space and online data generation
   Tree-like NN
   

Reference