大模型求教

1．项目介绍2．讲讲你对 transformer 的了解3．有哪些常用的解码策略， topp 和 topk 的具体细节，以及实现上的差别4. 意图分流的 agent 怎么做微调的，用了多少数据5.如何做 embedding 微调的，如何构造正负样例，训练的 loss 是什么6.RAG有哪些可优化的地方7．你的 RAG 项目中用到了 agent 吗，一般 agent 会用在RAG 链路中的哪些部分8．做 sft 时是怎么做数据配比的，参数具体怎么设置的9.RLHF的流程，有没有训过 PPO10. deepseed 的原理，zero1,2,3怎么做的11.了解过排序模型吗，讲几个经典的排序模型吧12．说一下 vllm 部署8*7B的 MOE 模型每秒大概能推多少token13．对比学习了解吗，讲一下（比较突然，不知道为啥要问）14.code :实现rand5到rand7

总结：40分钟，八股比较深入，没有手撕。八股部分1.面向对象有哪些特点？2.Java对象中访问权限有哪几种？3.追问：枚举类的构造函数是什么访问权限？4.线程池的核心参数有哪些？5.提交任务到线程池后的执行流程是怎样的？6.追问：如何封装一个自己的线程池，要求是：如果核心线程数不够，且线程数没有超过最大线程数，就生成一个临时线程执行（先执行后塞入等待队列的情景）7.你了解Java中的垃圾回收算法吗？8.G1回收算法的特点是什么？9.虚拟机如何确定对象是可回收的？10.GC Roots有哪些类型？11.选择垃圾回收器时的主要评价标准是什么？如何计算垃圾回收的吞吐量？12.为什么选择使用Spring框架？13.Spring框架中的AOP和依赖倒置原则为何设计？14.AOP中的单例对象在多线程环境下是否线程安全？15.AOP（面向切面编程）是如何实现的？16.你能具体讲一下在日志管理中如何使用AOP实现的实现方式吗？17.AOP在哪些场景下可能会失效或出现问题？18.对于服务质量方面的保障措施有哪些？（功能测试，性能测试，兼容性测试）反问环节1.部门业务是什么做大模型的输出内容的安全审查。2.技术栈是什么内容安全相关的技术栈主要包括后端技术栈，如数据库（MySQL、PostgreSQL）、中间件（Kafka、RabbitMQ）、缓存（Redis）等，同时涉及大数据技术如Flink实时计算平台，以及针对大模型输出内容的安全审查和算法校验。

一面: 1.项目介绍2.面试官是同校大我三届的师兄，一眼被他看出项目深度不够，于是简单了解完之后直接开始八股3.问kv cache相关4.decoder的 qkv输入分别来自哪5.除了MHA还知道哪些(GQA MQA MLA)讲原理6.问DPO PPO GRPO DAPO 原理、公式、为什么这么做7.有没有看过原论文有什么自己的理解8.DPO的训练和PPO的奖励模型的训练过程是否一样9.问有没有看过deepseekqwen的技术报告，问MoE10.告诉我快手新发了几篇强化学习的论文让我去看(ARPOAEPO)11.然后问了三道智力题:一个开关灯、一个烧绳子计时、一个水桶倒水12.出了两道编程题:题目难度不小，都是力扣困难题，还不是原题，涉及到改编

1. 自我介绍2. 介绍一下AI编程项目3. 这个项目实际应用了吗？4. 这个项目用了哪些大模型？5. 最终选择了那个模型？6. 相对哪个模型生成的效果比较好？7. 生成什么类型的项目？8. 提示词怎么写的？9. 介绍一下图床项目？10. 协同编辑怎么实现的？11. 实习经历12. 为什么离职？13. Java基础怎么样？14. 什么场景下会用到锁？15. 数据库的事务16. es在什么场景下会用到？17. 以文搜图？18. 常用的设计模式(模板方法模式 和 策略模式)19. 你对自己未来规划？实习期望？20. HTTP 和 HTTPS 区别？21. 消息队列一般用在什么场景？22. 反问？