Introduction： XGBoost模型训练，预测及解析 树模型训练：   模型迭代更新流程   迭代更新流程图

Introduction XGBoost知识点 XGBoost相对于传统GBDT的优点 1）将正则项加入目标函数中，控制模型的复杂度，防止过拟合。2）对目标函数进行二阶泰勒展开，同时用到了一阶导数和二阶导数。3）实现了可并行的近似直方图算法。4）实现了缩减和列采样（借鉴了GBDT和随机森林）。5）实现了快速直方图算法，引入了基于loss-guide的树构建方法（借鉴了LightGBM）。6）实现了求解带权值的分位数近似算法（weighted quantile sketch）。7）可根据样本自动学习缺失值的分裂方向，进行缺失值处理。8）数据预先排序，并以块（block）的形式保存，有利于并行计算...

Introduction 复习一下policy gradients Evaluating the objective 首先要说一下pg的推导过程。  Direct policy differentiation 其实最主要的就这三行公式。然后再有：总而言之就是让好的轨迹出现的概率增大，让差的轨迹出现的概率减小。但是因为pg的方差比较大。比如origin的值-5，5，5会使得分布变成其中一个样子，但是同时增加10之后成为0，10，10会使得分布变成另一个样子。但其实按照逻辑来讲两者本质相同。不应该差距那么大。所以我们要设置一个baseline来减小方差。当然也有其他办法。 Causality 限定...

Introduction 主要记录RL的模型分类 Types of RL algorithms   Model-based RL algorithms  Direct Policy Gradient   Actor Critic   Why so many algorithms   Examples of specific algorithms   Summary 主要复习了一下RL算法的分类。

Introduction cs285是伯克利深度强化学习课程。准备追了 Imitation learning 看起来很美好，关键不work。因为数据的分布和策略的分布不同，监督学习不太能适应distribution shift的情况。那怎么办呢？要让机器学习错误并且纠正的过程。有没有更加省力的方法？为何不让data的分布和策略的分布相同呢？于是来了DAgger算法：但这个算法需要人力的参与有点讨厌，而且有可能学不到expert behavior。 Causal confusion 有一种有趣的情况是给的学习信息越多，反而学习效果越差：比如左边，信息给的太完整，导致模型学到的概念是下面指示灯亮就...

贝叶斯学习路线 https://www.cnblogs.com/bayesianML/p/6377588.html#belief_propagation

Introduction 团树算法 Correctness of clique tree algorithm  Convergence of clique tree algorithms   Answering queries   Running intersections and independences   Implications   VE implications   Summary 复习一下团树算法

Introduction 复习下概率图1:聚类图示例聚类图消息传递机制  Belief propagation Algorithm BP is an Approximate algorithm. Running intersection property   Bethe cluster graph   Convergence -> Calibration   Reparameterization 一个博客：https://www.cnblogs.com/tornadomeet/p/3504914.html Summary 复习一下聚类图。

Introduction 这次基本了解一下torch distribution的库。torch distribution和tf probability库差不多，所以学习的时候可以参照tf probability的库来学习。ref: Deep Bayes slides Shape shape这里有几点要明确。batch_shape和event_shapebatch_shape: 有几个分布event_shape：每个分布维度是多少维这篇博客讲解了rsample和sample的区别：https://blog.csdn.net/geter_CS/article/details/90752582tf ...

Introduction 本篇记录隐式和半隐式变分推断，转载请注明。reference：Deep Bayes slidesVariational inference solves an optimization problem.Minimizing the KL = Maximizing the ELBOVariational inference finds to maximize  Mean field Variational Inference   Expressive Implicit Distribution   Density ratio estimation   Semi-Impl...

Introduction 这篇主要记录了Monto Carlo Markov Chain。转载请注明。ref：Deep Bayes slideshttps://blog.csdn.net/qy20115549/article/details/54561643 MCMC Probabilistic model:MCMC methods construct samples from using only Usage:   Markov chain properties   Gibbs sampling    Can be applied both for discrete and continuo...

Introduction 这里记录的是skip-gram模型的改进。转载请注明。Ref：Deep Bayes slides Skip-gram model Distributional hypothesis: similar words appear in similar contexts.Gradient update:  Summary learns high-quality semantically rich embeddingsSparse gradientsVery efficient parallel training Problem For some words only one...

Introduction 这篇记录的是推荐系统的召回策略。转载请注明。reference：WWW18 tutorial Methods of Representation learning DSSM 问题：序列的顺序信息丢失，词袋模型不能保证顺序信息 CDSSM，LSTM-DSSM CNN和RNN都可以维持一些顺序信息。CNN可以维持短期信息，RNN可以维持长期信息。 CNTN   Extension to Representation learning methods 问题：之前的表示学习做文本匹配起来都太过粗糙解决办法：add-fine-grained signals, include M...

Introduction 这篇是记录高斯过程的，转载请注明。Ref：1.Deep Bayes Slides The Gaussian Distribution The marginal and conditional distributions are also Gaussians.  Functional classes   Gaussian processes   Mean values and CovariancesMean value is constructed from a priori given deterministic function:Covariance matrix ...