字节AI infra校招一面面经 1h

最近闲下来了整理下之前的面经攒攒人品！项目拷打，实习拷打1.MLA为什么比MHA好?2.权重吸收中间遇到的问题。3.KVcache的离线计算与非常用kvcache的卸载加载4.还有什么kvcache优化的相关的tricks

我自己在搞 AI Infra/HPC，有两个一直在维护的仓库：一个是用 C++/CUDA 从零写的深度学习框架：OriginDL另一个是工作中一点点积累下来的 AI Infra/HPC 知识地图：ai‑infra‑hpc链接先丢这儿，感兴趣可以先 star 了再说：https://github.com/jinbooooom/OriginDLhttps://github.com/jinbooooom/ai-infra-hpc如果你是刚开始找工作，或者准备投大模型 AI Infra/HPC 方向的岗位，可以把下面这份当成一个「复习清单」：面试高频会围着哪些点打转、我当时是怎么系统整理的、以及怎么用...

感觉面的还可以发些面经攒攒人品1.ep的dispatch和combine2.vm最近有什么新的比较好的特性3.dpsk的结构4.tp的allreduce的次数5.kv cache的大小计算6.MQA和GQA手撕

自我介绍根据自身具体情况回答项目介绍看个人项目了进程和线程的区别进程是资源分配的基本单位，线程是CPU调度的基本单位进程拥有独立地址空间，线程共享进程的地址空间进程切换开销大，线程切换开销小进程间通信复杂（需IPC），线程间可直接读写共享数据进程通信方式管道：匿名管道（父子进程）、命名管道消息队列：内核中的消息链表共享内存：最快方式，需配合信号量同步信号量：计数器，用于同步互斥信号：通知事件发生Socket：跨网络通信 线程是否有共享内存有共享内存：同一进程的线程共享堆、全局变量、代码段私有部分：每个线程有自己的栈、寄存器、线程局部存储（TLS） 用户态和内核态区别用户态权限低，不能直接访问硬...