NLP算法岗offer求比较，小米—小爱同学和百度B2B

工作内容：负责学生辅导、答疑、作业及考前辅导等工作人员要求：1.985/211院校本科大三以上学生，擅长算法/cuda优先；2.英语四六级500+/雅思6.5+/托福90+；3.做事认真且有责任心，能在规定的时间内完成相应的工作内容，不拖稿；有创业经历的优先；硬件要求：1.家中有安装宽带；2.有计算机可顺畅进行远程工作；薪资待遇：200-5000不等，根据内容难度和时间紧张程度来规定；工资一单一结算；备注：来源+学校+专业

被拷打了一个半小时， 感觉也寄了。1.自我介绍2. 针对字节的实习，问我 flask 和 go 的 gin 框架的体验和区别（我黑人问号，以为走错了，不记得了，随便说了几句。3.你熟悉 C++，说一下堆和栈的区别4.数据结构中堆栈队列介绍一下。5. 拷打第二份实习大模型的具体内容， 主要还是我介绍。6. 你知道预训练的一些并行方式吗？（说没接触过预训练， 大概讲了一下知道的两种常用并行，就是数据并行和模型并行解释了一下）7.你知道预训练的数据应该怎么预处理吗？（没懂，我说针对质量进行过滤吧？8.换句话说， 如果我不需要对所有的数据都训练，只需要对每一部分有权重的取数据怎么做？（我：最暴力的方法就是每一块都按比重选一定数量再用于训练）你这个是离线方式，我在线想要调试各种方式怎么做？（我：随机数然后映射到对应的数据去随机取？）9.你知道 Llama 用了多少 token 数据训练吗？（我 这真没记）10. 你知道 flask attention 吗？（没用过，不知道原理，只知道这个东西存在。。11.那你知道 flask attention 能有多大的性能提升吗？ 不知道12. 你知道最早的 attention 做机器翻译，它的注意力怎么得的吗？（不记得，瞎说一通）13. 这个 attention 和 self attention 的 QKV 怎么来的？（attention 应该是初始化的吧？巴拉巴拉瞎说14. 有了解过最近那些超长文本大模型的预训练吗？（没有了解具体原理，但是应该就是加大数据训练长度， 用外推更好的位置嵌入吧？）15. 你说到外推性，那你了解常见的提高外推能力的方式吗？（主要还是位置编码吧？ 给他讲解了一下 ALIBI 这个方式）16 讲一下你对旋转位置编码的理解。17 位置和注意力分数的曲线是什么样子的呢？（一条向上的抛物线，位置越远注意力越小）18. 这个曲线会不会和三角函数一样呢？（我觉得如果是用 Transformer 原本的位置嵌入可能会吧。。。。其他的应该不会？）19 回到我们刚刚说的数据处理， 你能不能用代码实现一下看看？（自己电脑没装 Python  pytorch，就用 Cpp 写，简单写了个逻辑， 随机数有点问题，也跑不通，大概说了一下方式）在写个反转链表反问：

拿了某大厂的算法日常实习，但是因为学校原因只能实习2个月不到，想问问要不要去

1、对多模态大模型的了解2、目前的文生图、图生图的方法？3、目前的图像或者视频编码器？4、vit的大概原理5、文本编码器？6、目标检测iou计算代码7、对chatgpt的了解8、transformer结构介绍9、transformer中encoder和decoder的区别10、clip代码（面试过程有提到自己了解clip）