10-16 21:14 门头沟学院 推荐算法
关注
字节筋斗云大模型算法一面面经
如果训练出来的模型在某一类任务上表现比较差，如何解决这个问题？
如果DPO训练的过程中发现loss不降，如何定位原因？从数据构造和训练参数两个角度分析。
有没有尝试过动态prompt，训练数据如何构造，如何保证policy正确？
如果想把判别式任务转化成生成式任务，学术界有哪些常用方法，哪一种效果比较好有对比过吗？
数据的难度分层是如何做的，为什么没使用困惑度？
如何确保分层的准确性，用大模型进行分层为什么没有尝试更大的模型？
做CPT时的数据量级，数据处理的pipeline？
CPT的数据配比是什么样的，有没有考虑CPT后通用能力的退化问题？如何检验CPT后模型的通用能力？
手撕：
1、寻找重复数（转化成环形链表找入口来求解）
2、手撕对比学习的loss计算
3、手撕多头注意力
如果DPO训练的过程中发现loss不降，如何定位原因？从数据构造和训练参数两个角度分析。
有没有尝试过动态prompt，训练数据如何构造，如何保证policy正确？
如果想把判别式任务转化成生成式任务，学术界有哪些常用方法，哪一种效果比较好有对比过吗？
数据的难度分层是如何做的，为什么没使用困惑度？
如何确保分层的准确性，用大模型进行分层为什么没有尝试更大的模型？
做CPT时的数据量级，数据处理的pipeline？
CPT的数据配比是什么样的，有没有考虑CPT后通用能力的退化问题？如何检验CPT后模型的通用能力？
手撕：
1、寻找重复数（转化成环形链表找入口来求解）
2、手撕对比学习的loss计算
3、手撕多头注意力
全部评论
相关推荐
基恩士成长空间 426人发布 
查看17道真题和解析 点赞 评论 收藏
分享
09-28 11:38
门头沟学院 前端工程师 
点赞 评论 收藏
分享
11-04 22:03
武汉理工大学 Java 
菜菜菜小白菜菜菜：我在字节实习了四个月，有转正的压力所以周末大部分也在公司自学，也是因为一些原因转正拖的很久，这个点还没答辩，过段时间才回去答辩。整个不确定性的焦虑贯穿了我的秋招三个月，我也曾经犹豫过是不是应该放弃转正走秋招更快，最后因为沉没成本一直舍不得放弃，前前后后七个月真的挺累的，尤其是没有来字节实习的同学已经校招拿到意向时更加焦虑。这段时间也跟mentor聊了很多次，他告诉我未来工作上或者生活上，比这些更头疼的事情会更多，关键还是要调整好自己的心态。转正没有通过从过程上来看其实跟你自身没太大的关系，拖了三个月不出结果显然是ld的问题，并且今年美团最近的开奖大家似乎都不是很乐观，所以不去也罢。我在字节实习的时候，6月份有一个赶上春招末期的25届同事刚面进来，也拿到了小sp的薪水。不要对这件事有太大的压力，时代的问题罢了 点赞 评论 收藏
分享