今天，读了IN-CONTEXT REINFORCEMENT LEARNING WITH ALGORITHM DISTILLATION。其将强化学习建模成了顺序预测问题，通过历史预测下一个动作，同时历史可以看成context。算法步骤就是通过source RL算法生成数据，然后在给定先前learning history作为context，通过自回归与预测action，来训练causal Trasnformer（这个过程就是文中说地算法蒸馏）。然后，又看了离线强化学习经典论文CQL。