字节秋招筋斗云大模型算法一面
1.如果训练出来的模型在某一类任务上表现比较差,如何解决这个问题?
2.如果DPO训练的过程中发现loss不降,如何定位原因?从数据构造和训练参数两个角度分析。
3.有没有尝试过动态prompt,训练数据如何构造,如何保证policy正确?
4.如果想把判别式任务转化成生成式任务,学术界有哪些常用方法,哪一种效果比较好有对比过吗?
5.数据的难度分层是如何做的,为什么没使用困惑度?
6.如何确保分层的准确性,用大模型进行分层为什么没有尝试更大的模型?
7.做CPT时的数据量级,数据处理的pipeline?
8.CPT的数据配比是什么样的,有没有考虑CPT后通用能力的退化问题?如何检验CPT后模型的通用能力?
手撕:
1、寻找重复数(转化成环形链表找入口来求解)
2、手撕对比学习的loss计算
3、手撕多头注意力
2.如果DPO训练的过程中发现loss不降,如何定位原因?从数据构造和训练参数两个角度分析。
3.有没有尝试过动态prompt,训练数据如何构造,如何保证policy正确?
4.如果想把判别式任务转化成生成式任务,学术界有哪些常用方法,哪一种效果比较好有对比过吗?
5.数据的难度分层是如何做的,为什么没使用困惑度?
6.如何确保分层的准确性,用大模型进行分层为什么没有尝试更大的模型?
7.做CPT时的数据量级,数据处理的pipeline?
8.CPT的数据配比是什么样的,有没有考虑CPT后通用能力的退化问题?如何检验CPT后模型的通用能力?
手撕:
1、寻找重复数(转化成环形链表找入口来求解)
2、手撕对比学习的loss计算
3、手撕多头注意力
全部评论
相关推荐
点赞 评论 收藏
分享
点赞 评论 收藏
分享
SHEIN希音公司福利 232人发布