元学习

深度学习应用篇-元学习[16]：基于模型的元学习-Learning to Learn优化策略、Meta-Learner LSTM 1.Learning to Learn Learning to Learn by Gradient Descent by Gradient Descent 提出了一种全新的优化策略， 用 LSTM 替代传统优化方法学习一个针对特定任务的优化器。 在机器学习中，通常把优化目标 f(θ)f(\theta)f(θ) 表示成 θ∗=argmin⁡θ∈Θf(θ)\theta^{*}=\operatorname{argmin}_{\theta \in \Theta} f(\th...

深度学习应用篇-元学习[15]：基于度量的元学习：SNAIL、RN、PN、MN 1.Simple Neural Attentive Learner(SNAIL) 元学习可以被定义为一种序列到序列的问题， 在现存的方法中，元学习器的瓶颈是如何去吸收同化利用过去的经验。 注意力机制可以允许在历史中精准摘取某段具体的信息。 Simple Neural Attentive Learner (SNAIL) 组合时序卷积和 soft-attention， 前者从过去的经验整合信息，后者精确查找到某些特殊的信息。 1.1 Preliminaries 1.1.1 时序卷积和 soft-attention 时序...

深度学习应用篇-元学习[14]：基于优化的元学习-MAML模型、LEO模型、Reptile模型 1.Model-Agnostic Meta-Learning Model-Agnostic Meta-Learning (MAML)： 与模型无关的元学习，可兼容于任何一种采用梯度下降算法的模型。 MAML 通过少量的数据寻找一个合适的初始值范围，从而改变梯度下降的方向， 找到对任务更加敏感的初始参数， 使得模型能够在有限的数据集上快速拟合，并获得一个不错的效果。 该方法可以用于回归、分类以及强化学习。 该模型的Paddle实现请参考链接：PaddleRec版本 1.1 MAML MAML 是典型的...