中信建投证券信息技术部待遇

1️⃣一面1.自我介绍和项目介绍2.介绍一下了解的大模型有哪些，这些模型在结构上有什么差异3.说一下大模型常用的位置编码有哪些，各有什么优缺点4.介绍一下大模型的预训练后训练以及推理是怎么做的，并且详细问了 RLHF 的做法，包括 PPO 算法的原理，以及 DPO 和 PPO 的区别5.大模型的超长上下文是怎么做的，比如说 KIMI6.大模型智能体是怎么工作的，有哪些组件7.场景题：如何训练一个大模型，可以做到精确的提取摘要8.代码:股票的四个题121. 买卖股票的最佳时机122. 买卖股票的最佳时机 II123. 买卖股票的最佳时机 III188. 买卖股票的最佳时机 IV✴️整体来说一面偏基础，没有太多发散性的问题，整个面试一个半小时多2️⃣二面1.自我介绍2.因为之前是做 CV 的，所以面试官问了 CV 和 NLP 的区别和联系，在 Transformer 的大背景下，CV、NLP，包括语音等，能否实现大一统3.训练大模型的时候数据怎么清洗，怎么处理，怎么配比，怎样操作能更容易使模型达到更好的性能4.什么是大模型的幻觉，如何减轻幻觉问题5.大模型的复读问题是怎么产生的，业内一般有什么解决办法6.大模型的工具调用怎么实现7.Agent 有哪几部分构成，了解哪些具体的实现方法8.开放题：之前训练大模型的时候遇到过什么困难，你是怎么解决的9.代码：实现一个 Tokenizer，只能用 PyTorch 基础语法✴️二面相比于一面更加看重综合素质，喜欢考察分析问题解决问题的能力，二面也面试了一个多小时，面试官还是挺专业的。3️⃣三面1.首先过项目，但是问的特别细致，尤其是一个 Agent 的项目，从背景，到动机，再到做法，最后的结果，都问的非常细，大概有半个小时的时间2.开放题：你觉得当前大模型还存在怎样的问题，有什么解决办法吗3.开放题：让你自己设计一个 Agent，会怎么做，为什么这样做4.找工作比较在意的点是什么，除了薪资还有什么5.对文心一言这个产品了解吗，有哪些优点和值得改进的点6.如果给你发 Offer，你到这个团队能做出什么贡献✴️三面整体来说更加综合，不止有一些技术问题，还有职业规划这些问题，更加考察整体的能力。面试官应该是这个团队的大老板，看问题更加系统和全面，整体面下来还是比较有压力的。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

自我介绍 项目java中的线程池？如果要自己设计一个线程池要怎么做？线程池中的队列是用来保存运行中的线程还是等待中的线程？线程池有哪些拒绝策略？最大核心线程数是能运行的最多的线程数吗？线程池中有些线程在运行，有些线程是阻塞在等待，要对线程进行调度，那么这个调度的过程是阻塞的还是非阻塞的？（没太理解）要自己设计LRU要怎么做？对于缓存要设置过期时间，过期的缓存要处理，有什么方案吗？除了自己设计的方案，有了解Redis中的缓存淘汰策略吗？缓存+数据库的设计模型中，读写的过程大概是怎么样的？数据更新的逻辑大概是怎么样的？缓存与数据库不一致的问题，有什么解法吗？对于数据库并发更新的问题，有什么解决方案...

1️⃣一面时间：9.12  时长：1hcode：统计岛屿数量、最大岛屿面积，DFS方法解了然后介绍实习项目，面试官非常耐心地听，没有打断八股1.bert和gpt的区别？（从模型架构、训练方式、使用场景方面回答的）2.训练/微调一个LLM的流程？3.实习时用的 megatron 框架吗，对分布式训练框架了解多少？（回答了deepspeed和megatron区别，以及几种并行方式，以及deepspeed的三种zero）4.了解强化学习吗，跟SFT有什么区别？5.反问：业务，对岗位的期望💣评价：有点紧张，算法题有一个小失误没注意到2️⃣二面时间：9.14  时长：1h八股1.写一下 attention 公式（代码实现了下）2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗3.transformer和传统seq2seq模型有什么区别？4.计算attention时为什么要除以d_k，这个d_k的含义是？5.attention计算时还有哪些scale处理？6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？7.解释数值上溢、下溢问题8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt9.讲一下SFT，会对哪部分计算loss？为什么？10.讲一下deepspeed11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？12.训练模型时用了几张卡，有遇到什么异常中断问题吗？反问： 在乎候选人什么能力？对面试表现有哪些改进意见？💣评价： 基础不够扎实，网上有的知识都能回答上来，在同龄人里算比较优秀，欠缺一些多机多卡实践经验。  

与哪些因素有关后端服务器集群节点数量，数量越多，QPS越高后端服务器节点的运行配置：运行内存、Cpu核数等等，硬件资源决定单节点处理能力接口本身做的事情 a. 做的事情多耗时长（预估QPS会相对应低） b. 做的事情少耗时短（预估QPS会相对应高） 4.系统架构 a. 完善的流量负载均衡架构，实现流量的有效分发和负载均衡，避免成为QPS瓶颈 b. 缓存技术，减轻数据库的压力，避免数据库成为QPS瓶颈 c. 集群模式的数据库，避免数据库成为QPS瓶颈 d. 静态资源通过CDN加速，避免成为QPS瓶颈如何预估？首先需要知道一个请求处理完毕的时间（这个请求里可能做很多事情，但是这个我们暂时不管），一...