大模型RAG难点、痛点、常见面试题

1.八股：Transformer底层原理，为啥能替代RNN2.八股：大模型预测token的损失是怎么算的？有哪几种常见的损失函数？3.项目：看你做过RAG，讲讲从数据清洗到检索服务上线这整个链路是怎么搭的，怎么做chunk切分的4.项目：你觉得当前RAG的最大瓶颈在哪？你做过哪些改进来提升Recall5.项目：传统RAG有什么痛点；介绍GraphRAG，GraphRAG的难点是什么；GraphRAG如何应对增量场景6.项目：RAG中知识库搭建，对知识库的文件文档进行动态增量更新，怎么来避免新旧文档的文单的分布不一致导致的这种检索偏差问题7.项目：RAG怎么评估，RAG评估体系中最重要的是什么8.项目：常见的量化方式有哪些，QLoRA为什么选的是NF4和FP16这组组合，而不是别的组合？你能说说NF4的分布拟合逻辑吗9.项目：模型部署相关，说下模型部署的参数量和需求硬件之间的关系10.项目：部署一个MOE架构的千分三的235b的一个模型，他所需要的算力大概是多少？11.代码题：lc54. 螺旋矩阵

offer1:苏州思必驰（java 开发），早 9 晚 8，晚上八点有餐补，每个月有额外餐补，薪资 17k×13-14+1k×12 加每月 1k 的苏州人才补贴，没有强制提前实习offer2:武汉哈啰，后端开发，早 10 晚九，16k×15，需提前实习三个月，实习期间有八百的住宿补贴家人觉得哪个offer更好点？

有百度文心一言大模型后端开发和腾讯微信的推荐架构等实习，双非本，中流211硕，请问这个背景有希望进阿里(非阿里云)后端开发的暑期实习和秋招吗，会被卡学历吗

拷打实习内容（30min）介绍实习项目，问实习项目的价值和使用范围，RAG和Prompt使用场景。项目：1.介绍一下项目中实现的缓存击穿和缓存穿透2.布隆过滤器怎么更新和删除内容，有实现的思路吗？2.分布式锁原理、redission锁延长八股：1.ConcurrentHashMap底层原理，synchronized和reentrantlock区别，synchronized锁升级。2.mysql索引底层，B+树时间复杂度，主键索引是否有速度优势。3.项目中有提到binlog，问了mysql日志手撕：区间合并