大模型算法岗求助

1️⃣一面时间：9.12  时长：1hcode：统计岛屿数量、最大岛屿面积，DFS方法解了然后介绍实习项目，面试官非常耐心地听，没有打断八股1.bert和gpt的区别？（从模型架构、训练方式、使用场景方面回答的）2.训练/微调一个LLM的流程？3.实习时用的 megatron 框架吗，对分布式训练框架了解多少？（回答了deepspeed和megatron区别，以及几种并行方式，以及deepspeed的三种zero）4.了解强化学习吗，跟SFT有什么区别？5.反问：业务，对岗位的期望💣评价：有点紧张，算法题有一个小失误没注意到2️⃣二面时间：9.14  时长：1h八股1.写一下 attention 公式（代码实现了下）2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗3.transformer和传统seq2seq模型有什么区别？4.计算attention时为什么要除以d_k，这个d_k的含义是？5.attention计算时还有哪些scale处理？6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？7.解释数值上溢、下溢问题8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt9.讲一下SFT，会对哪部分计算loss？为什么？10.讲一下deepspeed11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？12.训练模型时用了几张卡，有遇到什么异常中断问题吗？反问： 在乎候选人什么能力？对面试表现有哪些改进意见？💣评价： 基础不够扎实，网上有的知识都能回答上来，在同龄人里算比较优秀，欠缺一些多机多卡实践经验。  

一般来说想要成为C++开发工程师，不仅需要不断学习C++技术，同时还需要做好面试工作。那么C++编程需要学到什么程度才能面试工作呢？C++编程学到什么程度可以面试工作？简单说，如果仅仅学C/C++本身的话，学到什么程度你都找不到工作。学习掌握某种编程语言的语法只是一个基础，一个起点。因为语言只是一种工具，学会语法特性仅仅是知道这种工具长什么样子、能拧能钻能铣能刨，如此而已。想要找到工作，你需要能够使用这件工具创造价值——你不能仅仅知道钢锉能挫铁，还要学会看图纸、会在给你的料子上合理规划、挫出符合图纸要求的合格元件来。废话不多说，今天给大家分享一个C++一站式就业知识库，解决大家C++不知道学什...

背景如下：双非本+国科大硕女生，目前研一组里是做多模态的，个人来看肯定发不了顶会论文，就一篇ccfc现在有点迷茫就是以后毕业去做开发还是算法开发做java还是算法做搜推、多模态这种组里也不放实习，但是后面想试试跟老师谈谈希望大家给点建议。谢谢大家！

今天给大家分享的是一位粉丝的提问，非计算机科班转码学习C++求有效的学习路线和建议！接下来把粉丝的具体提问和我的回复分享给大家，希望也能给一些类似情况的小伙伴一些启发和帮助。同学提问： 本科双非通信，现在西电研一电子信息，如果按照本专业就业大概率只能去待遇不好的研究所。目前想着转码，学C++，再去刷力扣，对UEC++开发感兴趣，如果不行的话，当个普通程序员也可以。不是计算机科班不太清楚学习路线和可行性，求指点。Yt回答：作为一个本科双非通信，然后西电电子信息，计算机相关专业，你绝对是够一个知名企业，就是你能够说得上来的这种私企，国企不知道，研究所不知道，但是私企基本上应该都是有面试机会的，而且...