26秋招百度推荐算法一面
1.实习介绍
2.简历拷打
3.除了MMOE还用过其他的方案吗?cgc或者ple有尝试过吗?
4.如何解决mmoe输出特征一样,专家的参数最终会趋于一致的现象?
在网络参数随机初始化的情况下,不会发生问题中提到的问题。核心原因在于数据存在multi-view,只要每一个expert网络参数初始化是不一样的,就会导致每一个expert学到数据中不同的view。
5.多任务loss调整中回归损失会主导训练任务是怎么处理的?
在我的场景中是采用包序累积多分类替代了回归,也可以通过映射label上界或者禁止回传的方法,都试过。
6.transformer的参数量是多少?
层数(L):Encoder/Decoder 的堆叠层数
注意力头数(H):多头注意力 的并行任务数
隐藏层大小(D):特征向量的维度
序列长度(T):
输入/输出的最大 token 数 公式:总参数量 ≈ L×(4D^2+2D×H×T)
7.介绍一下encoder和decoder?
Encoder(编码器)作用:将输入序列(如文本)转换为上下文相关的表示向量。
Decoder(解码器)作用:根据编码器输出生成目标序列(如翻译或回答)。
8.在你场景中用的是二阶段的训练如何调整成一阶段的?
代码 给一个整数数组a,对a中的相邻整数进行浮点除法,如a=[2,3,4],即为2/3/4 在任意位置添加任意数目的括号,来改变算数的优先级,使得值最大,输出表达式
2.简历拷打
3.除了MMOE还用过其他的方案吗?cgc或者ple有尝试过吗?
4.如何解决mmoe输出特征一样,专家的参数最终会趋于一致的现象?
在网络参数随机初始化的情况下,不会发生问题中提到的问题。核心原因在于数据存在multi-view,只要每一个expert网络参数初始化是不一样的,就会导致每一个expert学到数据中不同的view。
5.多任务loss调整中回归损失会主导训练任务是怎么处理的?
在我的场景中是采用包序累积多分类替代了回归,也可以通过映射label上界或者禁止回传的方法,都试过。
6.transformer的参数量是多少?
层数(L):Encoder/Decoder 的堆叠层数
注意力头数(H):多头注意力 的并行任务数
隐藏层大小(D):特征向量的维度
序列长度(T):
输入/输出的最大 token 数 公式:总参数量 ≈ L×(4D^2+2D×H×T)
7.介绍一下encoder和decoder?
Encoder(编码器)作用:将输入序列(如文本)转换为上下文相关的表示向量。
Decoder(解码器)作用:根据编码器输出生成目标序列(如翻译或回答)。
8.在你场景中用的是二阶段的训练如何调整成一阶段的?
代码 给一个整数数组a,对a中的相邻整数进行浮点除法,如a=[2,3,4],即为2/3/4 在任意位置添加任意数目的括号,来改变算数的优先级,使得值最大,输出表达式
全部评论
相关推荐
腾讯成长空间 1129人发布
查看27道真题和解析