02-13 04:30 中南大学 算法工程师
关注
日常实习百度文心一言大模型算法二面
整体面试还是不错的，但是没后续了，不知道是哪里出了问题
1、 attention中数据shape是batch first还是seq_len first
2、Prompt长度加倍，首token延迟加倍吗
3、模型选型时是否做定性定量对比ab test，客观数据验证文心性能不好了吗
4、专家的负载均衡是什么，怎么解决
5、如何定性定量评估数据集质量，单条和整体数据集质量
6、单一分类模型，细分分类模型和MOE融合的优劣
7、MHA手写
8、说一下 simpo 的原理，它是怎么解决 dpo 微调序列过长的问题的
9、deepspeed 的每一段的通信比较，zero3分别是0和2的多少倍
1、 attention中数据shape是batch first还是seq_len first
2、Prompt长度加倍，首token延迟加倍吗
3、模型选型时是否做定性定量对比ab test，客观数据验证文心性能不好了吗
4、专家的负载均衡是什么，怎么解决
5、如何定性定量评估数据集质量，单条和整体数据集质量
6、单一分类模型，细分分类模型和MOE融合的优劣
7、MHA手写
8、说一下 simpo 的原理，它是怎么解决 dpo 微调序列过长的问题的
9、deepspeed 的每一段的通信比较，zero3分别是0和2的多少倍
全部评论
相关推荐
查看13道真题和解析