26秋招字节大模型Agent一面

1.请介绍 Transformer 的结构组成及各部分作用
2.如何降低 Transformer 的计算复杂度？常见的稀疏注意力变体有哪些？
3.LoRA微调的原理是什么？秩 r 的选择会对模型表现产生什么影响？
4.kv cache是什么？为什么能极大地提升推理速度？
5.RAG的完整流程，构建向量检索库时如何处理时间衰减对召回的影响？
6.微调时的训练数据是怎么构建的？如何保证样本多样性和质量？
7.在 RAG+知识图谱的 Agent 系统中，知识图谱更新的机制是怎样的？是怎样保证实时性的？
8.训练 LoRA 模型时，你是如何选择冻结层的？依据是什么？
9.在高并发查询 Agent 系统中，你会如何优化召回和生成阶段的延迟？
10.大规模 Agent 系统在多线程/多进程场景下的资源调度策略如何设计？
11.如果你要在 GPU 资源有限的条件下同时提供推理和微调服务，如何做资源分配和任务调度以保证时延和吞吐？
12.代码：lc15 三数之和