大模型实习简历求拷打

1.Prompt是如何生成的，优化目标是什么，任务是什么？2.减少大模型幻觉，你用过哪些方法？3.介绍一下 beam search原理，与直接sample的区别？4.搜索准确性不高你怎么排查？5.召回、排序哪个阶段最可能出问题？6.在简历项目中，你用到Bert，你能不能介绍一下 BERT和GPT的训练方式(预训练任务训练细节)的区别？7.你在项目中做过哪些相关性优化？有没有量化结果？8.生成式搜索能否保证 top-1 的准确性？怎么提高？9.agent 服务高可用、稳健性是怎么保证的？10.生成式排序你了解吗？11.如何构造排序模型训练数据？如何解决正负样本不均？

一般来说训练都需要优化，而优化就是需要优化器，整体训练我们都当作的赛车，模型就是车。优化器：这个优化器从SGD和BGD讲起，SGD：是随机梯度下降，（下降一点点）BGD是基础梯度下降，（全量）实际上都不会单独使用，现在是混合使用，mini-SGD：就是SGD+BGD。然后基于SGD进化出来了，Adam->AdamW。也就是主流优化器，基本上都是用AdamW：这个有两个特点：动量：类似惯性，比如前面几个生成正的，下面一个也就生成正的，自适应步长：自动给频繁更新的参数减速，同样的，冷门的参数会加速，还能显式剥离梯度的权重衰减，解决Transformer的架构容易过拟合的问题。过拟合：学的太好...

约面不少，但面的字节京东九坤全g，算法题全秒，是项目太浅了吗，求支招

作业帮大模型算法面经讲一下kv cache是怎么节省空间的？kv cache的计算流程kv cache有没有改进空间参数怎么调整的？有什么意义？top k/top p/温度参数一个大的模型，怎么得到一个小模型？ Tokenizer 训练用了什么模型？讲一下 Grouped Query Attention 讲一下 RoPE旋转位置编码 git操作 如何拉取一个分支的代码到本地如何讲一个分支的代码提交远端？如果批量的对一批文件做移动操作？旋转位置编码可以加强长上下文，如果这个时候输入了一个超过最大长度的句子，该怎么处理？如何量化评价模型？