字节筋斗云大模型算法一面面经

如果训练出来的模型在某一类任务上表现比较差,如何解决这个问题?

如果DPO训练的过程中发现loss不降,如何定位原因?从数据构造和训练参数两个角度分析。

有没有尝试过动态prompt,训练数据如何构造,如何保证policy正确?

如果想把判别式任务转化成生成式任务,学术界有哪些常用方法,哪一种效果比较好有对比过吗?

数据的难度分层是如何做的,为什么没使用困惑度?

如何确保分层的准确性,用大模型进行分层为什么没有尝试更大的模型?

做CPT时的数据量级,数据处理的pipeline?

CPT的数据配比是什么样的,有没有考虑CPT后通用能力的退化问题?如何检验CPT后模型的通用能力?

手撕:
1、寻找重复数(转化成环形链表找入口来求解)

2、手撕对比学习的loss计算

3、手撕多头注意力
全部评论

相关推荐

继续来分享下之前的面经~欢迎友好讨论,信息共享1. 看一下你的 AI 基础。介绍一下transformer 基本原理?解释一下注意力机制?解释一下什么是扩散模型?2. 讲一下你对 agent 和 Workflow 的理解3. 你知道 lovart 吗?你认为他是 agent 还是 Workflow?你怎么判断的?4. 目前这种产品二次编辑能力很差,让你来设计这个二次编辑功能你会怎么做?subject agent 的设计思维考察(意图、环境、function)5. 聊点业务上的,目前广告产品已经有很多工具能力,生成素材、投放等工具,目前我们有两个策略:A-all in one ,B 让做多个产品。你支持什么策略?为什么?6. 好在你的理解上,以广告素材生成为例,我们不只做工具,如何证明这个功能/产品的商业价值?工具生成的内容 reward 如何衡量?7. 好的,想象一个场景。我们希望打造一个产品,用户做广告不再是过去哪个先建广告组、做素材、定目标···而是交给 agent,用户只需要输入商品和基本信息,其他交给 agent 去做。那在这个过程中,main agent 发出指令,subject agent 执行。如果 subject agent 认为需要再做一个素材,这个过程应该如何流转?这个关系你会如何思考设计?
查看7道真题和解析
点赞 评论 收藏
分享
03-17 00:07
已编辑
哈尔滨工业大学 golang
📍面试公司:字节跳动🕐面试时间:2.6投简历 推到2.26一面 2.27二面 3.2三面 3.6hr面 3.16 oc❓面试问题:一面面试官比较新手,先自我介绍一下,然后好奇了一下我的比赛都在做什么。然后考了一点八股链表和数组的区别/应用场景快排的原理哈希表的实现和冲突解决红黑树和avl树的区别和应用(读多写少/读少写多)dp是什么,思路进程线程协程的区别goroutine的gmp模型死锁是什么,怎么避免linux io模型和复用虚拟内存和页表的过程tcp的三次握手四次挥手tcp/udp的区别和应用tls的握手过程go的runtime负责做什么,如何垃圾回收然后拷打20min项目最后给了两个简单的算法题,一个是字符串中最长的不重复字符串,一个是矩形网格左上走到右下权值最小路径二面二面拷打的比较厉害,比较紧张记不太清了上来先问了问八股,没问算法相关的,直接问的操作系统相关的仔细问了问线程切换和协程切换,c++的协程和goroutine有啥区别goroutine的工作窃取怎么做的深入拷打死锁,还有银行家算法怎么做的拷打项目,比较深入,结合这个项目为啥这么设计和怎么调试(因为我讲了中间遇到竞态问题)三面三面就面试了半小时,没怎么问八股聊了聊python,golang,c++的区别,应用场景解释器和编译型区别,为啥要用golang 还有runtime逃逸分析啥的,比较聊天然后聊了聊agent开发(有一个相关项目)的事,还问了问用没用过openclaw 有啥感想最后问了下期望的工作地点和到岗时间就结束了
查看26道真题和解析
点赞 评论 收藏
分享
评论
2
6
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务