粤财控股

发一下问题给大家参考，攒攒人品！有面试过同岗的朋友欢迎评论区交流项目拷打Transformer1.Transformer结构介绍2.自注意力机制介绍CUDA:1.Safe Softmax和普通softmax的区别?2.如何实现的online softmax科大讯飞iFLYTEK3.代码实现online softmax4.CUDA开发流程5.如何在CUDA上求一个数组的和?如何在CUDA上划分和合起来6.编译命令?nvcc有哪些常用参数?7.GCC有哪些参数?链接动态库?头文件查找路径?8.动态库和静态库的区别Pytorch:1.一个Tensor[1,2,3,4]想转成[4,3,2,1]有那些函数可以做到?(permute)2.介绍一个熟悉的继承自nn.Module的类推理加速中的FlashAttention了解吗?

全是智力题，纯脑筋急转弯，最后来了个滑动窗口也是hot100上的，就是一串01数组，最多可以把k个0变成一问你最长连续1的串多少（我印象中题目是这个，我不会读错题了吧，让我讲了一下思路，时间到了就让我走了，不晓得什么情况，本来是准备了一个八股的，但是是java的，我是cpp技术栈就放弃问我了，项目一个没问。第一题40E个不重复数字找几个数在不在里面，我搁哪里扯了半天结果不如位数组存，纯小丑了，我全是在算法的层面考虑的，鼠鼠感觉要是单纯算法角度已经没法优化了，谁知道一个位数组秒了

给我面没招了，感觉自己好菜、面试很难，还是要多多练习项目深挖1. Flash Attention：核心优化点是什么？（分块加载QKV、Online Softmax、显存复杂度O(N^2)->O(N)）2. Self-Attention：为什么要除以 √d？（防止点积过大导致Softmax梯度消失）3. 回调函数怎么实现？4. 显存越界怎么排查？

我的春招：刷题 -> 投简历 -> 看看保底的薪资 -> 觉得没必要这么卷 -> 躺一会 -> 焦虑 -> 继续刷题。无限循环中……