大模型推理

【社招】阿里巴巴 大模型推理优化工程师 高性能通信方向部门：阿里控股-爱橙科技-技术风险与效能部Base：杭州职位描述负责设计、实现、维护 AI 和高性能计算所需要的高性能网络通信框架和大模型推理场景的性能优化，聚焦模型通信场景的能力建设，完善集合通信、点对点通信等通信方式与推理框架的联合方案设计，追求极致的推理性能。职位要求1. 熟悉 cpp 语言编程，熟悉 python 编程，具备优秀的系统开发、调试、优化能力和经验；2. 具备扎实的计算机理论基础，对数据结构及算法有较强的功底，有网关、高性能通信相关经验优先；3. 有开发集合通信库如 nccl、分布式并行优化相关经验，了解 NvLink、Infiniband、RoCEv2 等高性能通信技术优先；4. 熟悉 Cuda 开发，了解 GPU 工作原理，有 kernel 算子开发优化经验优先；5. 了解主流模型及模型架构，熟悉开源常见推理框架（如：VLLM、sglang、TensorRT）优先；6. 优秀的分析问题和解决问题的能力，对解决具有挑战性问题充满激情；具有良好的沟通能力和团队合作精神，有比较强的推动能力；小组负责大模型推理的通信相关，目前缺人，主管比较急，流程会推进很快。说有3-4个hc，p5～p8都可以。感兴趣可以直接扫我的内推码投递，可以加我微信帮看进度：liyuhang1919        

如题，要准备投暑期实习了开始焦虑hhhbg双九科班，实验室是体系结构方向，AI Infra和搜广推都有过大厂实习没想好就业选什么方向，AI Infra的hc太少，搜广推又似乎瓶颈了

RT  投算法每次能过简历但是一面试就说我bg偏工程…但是看开发岗也没有跟大模型推理沾边的  就很迷惑          

摘要：能够进行扩展的推理链（chain-of-thought reasoning）的推理语言模型（Reasoning Language Models），在需要复杂逻辑推理的任务上展现出了卓越的性能。然而，对所有问题都应用复杂的推理过程常常会导致显著的计算效率低下，特别是当许多问题本身就存在简单直接的解决方案时。这引发了这样一个开放性问题：大型语言模型（LLMs）能否学会何时进行思考？为了回答这一问题，我们提出了 Thinkless，这是一个可学习的框架，能够使 LLM 根据任务的复杂性以及模型自身的能力，自适应地在简短推理和长篇推理之间进行选择。Thinkless 在强化学习范式下进行训练，并...

现在有两个地方看起来比较合适，一个是去做业务场景落地，比如大模型应用到业务上，微调，agent这些；一个是去做基础技术，比如大模型 KV cache 等等优化，针对多模态场景的 KV cache 等等。两个平台都不错，图片上就是第二个。我的情况是，博士读书期间主要做科研，写论文，做的是多模态算法，改改网络结构，发发论文这些。感觉很多师兄师姐都是去做业务场景落地，不过工作可能也比较偏数据处理，业务调优等等。好处就是这个岗位需求大，跳槽也容易。坏处就是卷。。。基础技术研发感觉比较偏底层，做 kv 复用，kv检索等等，里面研究员，博士比较多。这个岗位好处是技术比较深，坏处可能需求量少，做模型基础平台技术不需要太多人请问大家这两个应该怎么选呢        

bg一段芯片厂推理框架开发实习一个推理框架开发的项目一面一面的面试官是搞算法的，可能对推理相关的内容了解的不多，主要是针对CUDA的内容问的，比如内存模型，加速方法等，不算深入。顺便还考了一个softmax的CUDA手撕。其他的就是针对简历上提到的一些工作进行了提问，因为面试官本身也了解不深入，所以算是给他回答一些疑惑。手撕除了上面说到的CUDA，还有LC19删除链表的倒数第N个节点。二面一开始就是对项目和实习进行了询问，属于聊天型的。然后从简历出发，考了一些八股，flash attention、attention的计算复杂度，llama模型结构，为什么注意力分数计算要除以根号d，KV cac...

https://mp.weixin.qq.com/s/96NdHInxMUnd_et5WQQMBw