字节秋招筋斗云大模型算法一面

1.如果训练出来的模型在某一类任务上表现比较差,如何解决这个问题?

2.如果DPO训练的过程中发现loss不降,如何定位原因?从数据构造和训练参数两个角度分析。

3.有没有尝试过动态prompt,训练数据如何构造,如何保证policy正确?

4.如果想把判别式任务转化成生成式任务,学术界有哪些常用方法,哪一种效果比较好有对比过吗?

5.数据的难度分层是如何做的,为什么没使用困惑度?

6.如何确保分层的准确性,用大模型进行分层为什么没有尝试更大的模型?

7.做CPT时的数据量级,数据处理的pipeline?

8.CPT的数据配比是什么样的,有没有考虑CPT后通用能力的退化问题?如何检验CPT后模型的通用能力?

手撕:
1、寻找重复数(转化成环形链表找入口来求解)

2、手撕对比学习的loss计算

3、手撕多头注意力
全部评论

相关推荐

11-11 11:35
已编辑
字节跳动_字节hr
“面试官好,我之前在字节跳动实习过……”“您说的是字节跳动?”原本在低头圈画简历的三位面试官瞬间停了手,握着的笔顿在半空,会议室里只有键盘余温散出的微弱声响,都变得格外清晰。“就是那个靠算法推荐,把短视频和资讯信息流做到顶流的字节跳动?”我微微颔首,保持着平稳的语气:“嗯,主要在抖音后端研发团队实习,负责用户行为埋点链路优化、推荐策略效果迭代的工程落地,参与过流量峰值容灾方案设计和线上故障排查,把接口响应耗时压到了毫秒级。”其中一位面试官身体前倾,声音都亮了几分:“天啊!是那个做出抖音、TikTok,还把飞书、剪映做到行业标杆的字节跳动?”另一位面试官手忙脚乱摸出手机:“不好意思,我先拍个抖音,刚好想发条‘面到字节实习生’的动态蹭波流量。”话还没落地,最后一位面试官已经把一份写满薪资数字的 offer 意向书推到我面前:“现在就能签吗?股票期权随便谈,级别我们直接给你定到 P6!”我抬眼扫过三人,礼貌而从容地回应:“Thank you very much for the offer. I still need to compare different opportunities, and I’ll get back to you once I’ve made my decision.”说完,我合上桌边一本印着 “ByteDance” 蓝色 logo 的笔记本,微笑点头后离开了会议室。走到走廊尽头时,我忍不住轻叹了口气:“唉,手里的 offer 都堆不下了,到底选哪个好呢?要是字节的技术口碑没这么硬就好了。”都看到这里了 不投一下吗【字节跳动-校园招聘】内推链接:https://job.toutiao.com/s/KTaYC1Kvckg,内推码:MNW17D7。心脏和字节一起等你跳动~~~(通过此链接投递计入内推,内推简历优先筛选~)参考文献[1] "老师好,我之前在蚂蚁集团实习过", 国家一级产品交付工程师.[2] “面试官好,我之前在拼多多集团实习过……”,I_can_do_better.作者:I_can_do_better链接:https://www.nowcoder.com/来源:牛客网
投递字节跳动等公司10个岗位
点赞 评论 收藏
分享
评论
1
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务