大模型面经 - 字节

1.讲一下项目结构，怎么分层的2.交互流程的核心数据结构讲一下3.用的哪家大模型api?如何考虑的?4.为什么自己写消息队列组件?5.你说轻量化，跟谁对比呢?为什么他们比较重?你做了什么让他轻量化的?6.怎么考虑数据库表的设计的?7.项目为什么使用ddd?8.为什么用mongodb持久化不用mysql?9.讲一讲mongodb存储机制?10.看见你git记录里核心模块有重构，原方案和新方案分别是什么？为什么要重构?11.算法怎么样?(回答算法能力不好，面试官直接说不好就不给你出算法了)12.看一下你云服务器呢?怎么部署的服务的?有考虑被攻击的问题吗？

LORA 原理：解释 LORA(Low-RankAdaptation)的核心思想，如何通过低秩矩阵实现参数高效微调?数学形式如何表达?Self-Attention机制：自注意力机制中 O/K/ 矩阵的作用是什么?如何通过缩放点积计算注意力权重?公式推导并解释Softmax 的意义。位置编码：Transformer为何需要位置编码?主流 LLM(如 LLaMA、GPT)使用哪种位置编码(如 ROPE)?相比绝对/相对位置编码有何优势?Seq2Seg 模型：Seq2Seq模型的核心组件是什么?Encoder-Decoder结构如何解决长程依赖问题?RAG技术：RAG(检索增强生成)的完整链路包含哪...

   网易大模型量化面经0.常见的量化方法有哪些？原理及适用场景，并分析它们在计算复杂度和精度损失上的差异1.PTQ 和 QAT 咋选？2.低比特量化在智能音箱能用吗？3.语音识别量化有啥难题和办法？4.模型量化和其他压缩技术配合经验5.QAT中，量化噪声模拟的作用是什么？6.在多头注意力机制 前馈神经网络 ，量化策略有何不同?7.针对 ARM 架构的芯片 如何优化量化模型的推理速度?

上期写道刚开始面试的时候，这期写一写5月11号时候，这个时候手上就已经有两三家offer了，然后去北京的前一两天又发了三家offer随便选了个离公司近的工资高点的就去了。那么这期还是讲一下怎么去面试。其实面试的东西都一样，就是说你干过什么，回答问题就行了你要考虑的，不是这么去背八股文，而是要去琢磨到底要不要去实习，我个人而言，我最开始是因为电脑配置带不动才去好点的公司有好的卡给我用，然后呢去了也有工资，但是我的自由被限制了，我没法再天天琢磨新玩意我很痛苦，然后学会了怎么摸鱼，人家都是9点半来，我一开始是8点40到，我现在就吃了早饭再去差不多9点能到（就尽力偷懒还是最勤奋的那一批，因为人家都是老...