大模型应用开发实习选干dirty work的大厂还是能学到东西的国企

整体面试还是不错的，但是没后续了，不知道是哪里出了问题1.项目介绍2.介绍GRPO，DPO和SFT3.介绍PPO4.怎么重新设计奖励，不稀疏5.稀疏奖励怎么平滑6.LayerNorm和RMSNorm区别7.介绍transformer8.介绍GAN和VAE的区别9.介绍diffusion10.介绍GQA，怎么能和MHA性能相当手撕，反转链表的left到right的节点

发一下问题给大家参考，攒攒人品！有面试过同岗的朋友欢迎评论区交流项目拷打Transformer1.Transformer结构介绍2.自注意力机制介绍CUDA:1.Safe Softmax和普通softmax的区别?2.如何实现的online softmax科大讯飞iFLYTEK3.代码实现online softmax4.CUDA开发流程5.如何在CUDA上求一个数组的和?如何在CUDA上划分和合起来6.编译命令?nvcc有哪些常用参数?7.GCC有哪些参数?链接动态库?头文件查找路径?8.动态库和静态库的区别Pytorch:1.一个Tensor[1,2,3,4]想转成[4,3,2,1]有那些函数可以做到?(permute)2.介绍一个熟悉的继承自nn.Module的类推理加速中的FlashAttention了解吗?

发一下问题给大家参考，攒攒人品！1.实习经历项目2.Python列表与生成器区别3.两个张量 一个为1*2*3，一个为3*2*1 二者能进行哪些操作4.8B大模型用int8量化会占用多少硬盘内存5.如何让大模型能够实现128K的上下文6.后训练中强化学习方法介绍

被横向挂了，希望发出来对大家有帮助！1* 简单概述你简历中的两个项目，包括项目背景以及你的具体分工，是独立完成还是团队协作2* 项目的数据来源是什么？你是如何确定优化目标的？3* 比如数据从 100 条扩充到 1.2 万条，是否全通过自动化生成？生成的样本具体是什么样的？举个例子说明一下生成前后的对比4* 怎么保证自动化生成数据的正确性呢5* 在通过调整参数直到模型回答正确为止的过程中，是否意味着生成的CoT中存在错误逻辑？6* 经过数据清洗后，最终用于SFT的有效数据量是多少？7* 在做微调时，除了 LoRA 是否对比过其他的微调算法8* 你是如何评价微调效果的？测试集的比例是多少？微调前后的准确率分别是多少？原有的模型性能保留了多少？9* LLM常用的结构是什么？10* 说一下Transformer 的整体结构11* 目前主流大模型最常用的位置编码是什么？。12* 写一下多头注意力机制的数学公式。13* 公式中为什么要除以 \sqrt{d_k}？其对梯度消失或梯度爆炸有什么影响？14* 在 Transformer 的 Encoder 和 Decoder 中，哪些部分是可以并行计算的，哪些不可以？15* 除了 LoRA，你还了解哪些微调方法？16* 大模型训练通常使用什么损失函数17* 在机器学习基础中，二分类问题、多分类问题以及回归问题分别使用什么损失函数？18* 你了解哪些优化算法19* 模型训练中出现过拟合的常用解决方案有哪些？20* Dropout 在训练阶段和预测阶段的处理方式是否一致？为什么要这样做？21* 大模型中的“复读机问题重复生成是什么原因导致的？如何从解码策略或训练层面解决？22* 幻觉问题产生的原因是什么？目前常用的工程解决方案有哪些？23* 写出逻辑回归的数学公式。