阿里大模型算法实习二面 1h

1. 在LLM推理里,我们经常听到一个词叫prefill,能解释一下它是什么意思吗?
2. 我们来聊聊Transformer的基础吧。能先介绍一下Softmax函数吗?然后整体讲讲Transformer模型,特别是里面的QKV(Query, Key, Value)机制,能详细说说这个过程吗?
3. Transformer的训练复杂度还挺高的,尤其是在处理长序列时。你了解哪些工作是致力于降低它训练时间复杂度的?
4. 长上下文(long context)是现在LLM的一个研究热点,你都知道有哪些方法可以解决或者缓解长下文问题?
5. GQA(Grouped-Query Attention)的原理是什么?它又是怎么实现的?
6. 现在主流的大模型,像GPT系列,大多都用的是Decoder-only架构。为什么不采用像T5那样的Encoder-Decoder架构呢?
7. LoRA作为一种高效的微调方法,它的核心原理是什么?能讲讲吗?
8. 为了优化推理速度,KV Cache是一个很关键的技术。它的原理是什么?
9. 我们来聊聊你的项目经历吧。可以挑一个你觉得最有意思的实习、论文或者科研项目详细讲讲。
10. 来个场景题吧。假设我们是做电商的,你觉得可以怎么用大语言模型来解决我们的一些实际业务问题?
11. 最后来做两道算法题吧。第一道是“无重复字符的最长子串”,第二道是“排序链表”
全部评论
说实话,难度这的太大了
点赞 回复 分享
发布于 02-10 16:10 江西
楼主,岗位链接能分享一下嘛
点赞 回复 分享
发布于 01-30 22:12 四川

相关推荐

02-07 12:06
已编辑
华侨大学 测试开发
最近看到很多 92 的,甚至是硕士,开始往测开赛道卷,说实话有点看不懂。先把话说清楚,大厂里的测开,绝大多数时间干的还是测试的活,只是写点自动化脚本、维护测试平台、接接流水线,真正像开发一样做系统、做架构、做核心平台的测开少得可怜,基本都集中在核心提效组,而且人很少,外面进去的大概率轮不到你,我想真正干过人都清楚。很多人被洗脑了,以为测开也是开,和后端差不多,只是更简单、更轻松、还高薪。现实情况是,测开和开发的职业路径完全不一样。开发的核心是业务和系统能力,测开的核心是稳定性和覆盖率,前者是往上走,后者天花板非常明显。你可以见到很多开发转测开,但你很少见到干了几年测开还能顺利转回开发的。更现实一点说,92 的高学历如果拿来做测开,大部分时间就是在做重复性很强的杂活,这种工作对个人能力的放大效应非常弱。三年下来,你和一个双非的,甚至本科的测开差距不会太大,但你和同龄的后端、平台开发差距会非常明显。这不是努不努力的问题,是赛道问题。所谓测开简单高薪,本质上是把极少数核心测开的上限,当成了整个岗位的常态来宣传。那些工资高、技术强的测开,本身就是开发水平,只是挂了个测开的名。普通人进去,99% 做的都是项目兜底型工作,而不是你想象中的平台开发。测开不是不能做,但它绝对不是开发的平替,也不是性价比最优解。如果你是真的不想做开发,追求稳定,那测开没问题。但如果你只是觉得测开比后端容易,还能进大厂,那我劝你冷静一点,这只是在用短期安全感换长期天花板。有92的学历,如果你连测开这些重复性工作都能心甘情愿接受,那你把时间精力用在真正的开发、系统、业务深度上,回报大概率比卷测开要高得多。想清楚再下场,别被岗位名和话术带偏了,就算去个前端客户端也是随便占坑的,测开是一个坑位很少赛道,反而大面积学历下放,不用想也能知道会是什么结果,我想各位在JAVA那里已经看到了
小浪_Coding:工作只是谋生的手段 而不是相互比较和歧视
点赞 评论 收藏
分享
未知的命运:重新优化一下项目吧,不然你没机会了
点赞 评论 收藏
分享
评论
点赞
1
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务